Sejarah masjid ini bermula sejak dari tahun 1928. Tempat asalnya ialah di kawasan Bukit Cempedak. Masjid ini telah didirikan oleh orang tua-tua dahulu berupa bangunan kayu lama dengan tiang dan kayunya dibawa dari hutan yang berhampiran secara gotong royong. Pada tahun 1950, bangunan lama ini telah diubah suai dan dibawa kawasan kampung Ramuan China Besar. Menurut cerita orang-orang tua, tiang yang terdapat di dalam masjid yang sebanyak empat batang telah didirikan secara beramai-ramai dengan mengunakan tali dan beberapa peralatan kerana tiang tersebut tingginya dua puluh kaki dengan saiz besarnya iaitu enam kali enam setiap sebatang.