Masjid Tanjong Rimau pertama kali di bina pada tahun 1893 secara gotong-royong dengan menggunakan kayu-kayu hutan dan beratapkan rumbia. Keluasan asalnya lebih-kurang 20 kaki x 30 kaki sahaja.

Masjid Tanjong Rimau dibina semula pada tahun 1935 dari sumbangan beberapa orang tokoh dermawan. Ia menggunakan atap zink, berdinding papan dan berlantaikan simen, dengan keluasan lebih kurang 30 kaki X 50 kaki.

Masjid Tanjong Rimau masa ini dibina pada tahun 1951 ditapak yang sama dengan bantuan Kerajaan dengan kos RM 25,000.00. Ia mempunyai satu jawatankuasa yang dinamakan Lembaga Masjid dan Adat Istiadat Kampung Tanjong Rimau.