Pada akhir 1884, Yap Ah Loy jatuh sakit menghidap bronkitis dan abses paru-paru kiri. Pada bulan Mac 1885, dia membuat pemulihan sedikit sebelum dia meninggal dunia pada 15 April 1885 pada usia 47 tahun. Doktor memeriksa badan Yap dan kemudian mengesahkan bahawa kematiannya sama ada disebabkan oleh kegagalan jantung atau keracunan oleh asap arang batu bara. Doktor juga melihat kecerahan matanya yang luar biasa.[8] Beliau dikebumikan di Tanah Perkuburan Kwong Tong yang besar di Kuala Lumpur.