Pada mulanya, ia bermula sebagai sebuah surau yang diasaskan oleh Tuan Haji Salleh yang turut mewakafkan tanah milik beliau. Pembinaannya dilaksanakan oleh masyarakat kampung dengan bantuan tukang-tukang Cina.

Surau ini kemudiannya telah mengalami pengubahsuai dan pembesaran pada tahun 1980, 1984 dan 1986 dengan pembiayaan oleh Kerajaan Negeri dengan jumlah RM80,000.00. Bangunan asalnya dipanggil dengan nama Madrasah Al-Rahmah pada tahun 1985, sebelum dinaiktaraf sebagai masjid pada tahun 2004.