Isteri Ong, Ling Siew May, meninggal dunia pada 30 Julai 1999 selepas penyakit barahnya kambuh. Beliau berumur 62 tahun.

Ong pula meninggal dunia pada 8 Februari 2002 akibat penyakit limfoma pada pukul 8:14 malam di rumahnya setelah dibenarkan keluar dari hospital beberapa hari sebelumnya. Beliau berumur 66 tahun dan meninggalkan dua orang anak, Tze Guan dan Tze Boon.

Keluarga Ong memutuskan untuk tidak menjalankan upacara pengebumian negara kerana tarikh kematiannya terlalu dekat dengan perayaan Tahun Baru Cina. Sebelum Ong meninggal, beliau pernah berpesan bahawa abunya harus disemadikan di Pusat Menyimpan Abu Mayat Mandai bersama rakyat jelata daripada dimakamkan di Tanah Perkuburan Negara Kranji. Buat kali pertama, bendera Singapura dikibarkan setengah tiang di semua bangunan pemerintah sebagai penghormatan terakhir.[16]