Disebabkan pengaruh kecil Islam di Jerman sebelum pembinaan masjid pada tahun 1900-an, Masjid Berlin didahului oleh struktur kayu kecil yang dibina di luar Berlin, yang telah dimusnahkan pada tahun 1923.[5] Tidak lama kemudian, Pergerakan Ahmadiyah Lahore, yang melihat keperluan untuk membina sebuah masjid di Jerman, berbuat demikian. minaret yang tinggi di Masjid Berlin telah rosak teruk dalam Perang Dunia II akibat serangan tentera Rusia. Bukan sahaja menara-menara itu rosak tetapi kubah itu turut mengalami kerosakan. Selepas menerima dana daripada Jabatan Monumen Berlin untuk memulihkan bangunan itu, masjid itu dapat dibuka semula pada tahun 1952.