Pembinaan Masjid Jamek Ar Rahman yang ketika itu dikenali dengan nama Masjid (Baru) Ar-Rahman[1] telah diusahakan sejak tahun 2007.[2] Pada 21 Oktober 2013, pembersihan tapak masjid yang berkeluasan 2.5 ekar (1.01 hektar) telah dimulakan.[perlu rujukan] Perasmian pembinaan masjid ini telah dilakukan pada 28 Disember 2015 oleh Datuk Wira Hj Ahmad Hamzah selaku Ahli Parlimen Jasin.[3] Pembinaan masjid bermula pada penghujung tahun 2015[nota 1] dan telah siap sepenuhnya pada 8 Februari 2018 setelah kira-kira dua tahun dalam tempoh pembangunan.[5]

Pembinaan masjid ini menelan kos perbelanjaan sebanyak RM 7 juta[6] dengan RM4.46 juta peruntukan adalah daripada Unit Penyelarasan Pelaksanaan (ICU) Jabatan Perdana Menteri manakala RM340 ribu pula diperoleh daripada Majlis Agama Islam Melaka dan sumbangan orang ramai.[3] Perasmian masjid ini telah dilakukan pada 2 Mac 2018 oleh Tuan Yang Terutama Tun Datuk Seri Utama Dr Mohd Khalil bin Yaakob, Gabenor Negeri Melaka serta dihadiri oleh Ketua Menteri Melaka ketika itu, Datuk Seri Idris Haron dan Anggota Dewan Undangan Negeri (ADUN) Serkam, Datuk Zaidi Attan.[2][6][7]