Usaha kutipan zakat fitrah dan derma Kerajaan Negeri Perlis serta derma dari pegwai-pegawai kerajaan yang beragama Islam dan saudagar-saudagar Islam untuk pembinaan masjid ini bermula semenjak tahun 1920-an lagi semasa pemerintahan Pegawai Penasihat British, Mr. M.C. Hay.[3] Pembinaan masjid ini bermula pada tahun 1931 dan pada bulan Februari 1933 semasa pemerintahan Mr. O.E. Venables, masjid ini telah disiapkan.[2] Dengan perbelanjaan pembinaan sebanyak RM64,684, masjid ini dibuka dengan rasminya pada 3 Syawal 1350 bersamaan 10 Februari 1932 oleh Raja Syed Alwi.[3] Masjid ini telah diisytiharkan warisan negara pada tahun 1988 di bawah Akta Warisan Kebangsaan 2005.[4]