Sejarah Masjid Kampung Baru telah bermula semenjak lebih 100 tahun dahulu oleh penduduk kampung yang sedar tentang kepentingan agama dalam masyarakat. Pada awal masjid dibina menggunakan 4 batang tiang seri yang diambil dari hutan Tanjung Tuan, Alor Gajah Melaka. Ianya beratapkan zink dibina seluas 30 x 35 kaki persegi dan boleh memuatkan 100 orang jemaah.

Ianya telah dibesarkan sebanyak 3 kali sumbangan iaitu semasa Yg. Bhg Tun Abdul Ghafar bin Baba (Bekas Timbalan Perdana Menteri Malaysia), Allahyarham Datuk Hj. Mohammad b. Jais (Bekas Wakil Rakyat) dan Yg. Bhg. Datuk Hj. Ibrahim b. Durum. Masjid ini dibina pada tahun 1964 daripada bantuan kerajaan.