Struktur asal dibina pada tahun 1904 menurut reka bentuk jurubina Nikolay Zhukov dan telah mengalami beberapa pembinaan semula sejak kemudian. Masjid ini kadangkala dipanggil "Masjid Tatar" kerana jemaahnya kebanyakannya terdiri daripada etnik orang Tatar. Dari segi sosial, Masjid Jamik Moscow selalu dianggap masjid pusat di Rusia. Ia merupakan satu daripada empat masjid di Moscow.

Masjid lama dirobohkan pada 11 September 2011. Keputusan merobohkannya menimbulkan perbalahan.[1] Pada Jun 2008, masjid ini diiktiraf sebagai objek warisan budaya. Walau bagaimanapun, pada akhir tahun 2008 ia dibuang daripada senarai monumen bersejarah dan seni bina. Oleh itu, pada masa perobohan, ia tidak dilindungi.[2] Terdapat rancangan membina semula masjid ini, dan projek pembinaan semula direka oleh jurubina Ilyas Tazhiyev. Salah satu sebab pembinaan semula kerana bangunan asalnya tersimpang beberapa darjah daripada arah kiblat Mekah. Projek ini termasuk menyahpasang masjid, mengumpulkan semua batu, dan memasang semula dengan arah yang betul. Pada tahun 2009, walau bagaimanapun, Majlis Mufti memecat Tazhiyev, pertama mendakwa mereka akan membuat projek pembinaan semula lagi, dan kemudian merobohkan bangunan mendakwa ia hampir runtuh.[2] Tazhiyev menyatakan selepas perobohan bahawa pembinaan semula masih boleh jadi, dan bangunan tidak hampir runtuh.[2]

Masjid Katedral Moscow menjadi bangunan agama dirobohkan yang pertama di Moscow sejak tahun 1978.[2]