Menurut keimanan umat Islam, Haram sheriff telah dibangunkan oleh malaikat sebelum kejadian manusia oleh Allah S.W.T. dan Allah mentasbihkan satu tempat sembahyang untuk mencerminkan al-Baytu l-Makmur, tempat para malaikat mengerjakan solat mereka. Umat Islam mempercayai bahawa Kaabah berada betul-betul di bawah "Arasy" atau Singgahsana Allah.

Kaabah pertama sekali dibina oleh Nabi Adam dengan bantuan para malaikat. Kaabah sudah beberapa kali rosak ditimpa bencana dan pelbagai punca lain. Nabi Ibrahim dengan bantuan anaknya, Nabi Ismail , telah memperbaiki Kaabah, setelah diperintah oleh Allah S.W.T. untuk memperbaiki Kaabah dan membina masjid di sekitar Kaabah.

Zaman Rasulullah s.a.w.

Imam Abul Hassan Mawardi meriwayatkan bahawa di zaman Rasulullah sehinggalah ketika Saidina Abu Bakar r.a. diangkat menjadi Khalifah, Masjidil-Haram ini tidak mempunyai dinding. Perluasan Masjidil-Haram bermula pada tahun 638 Masihi oleh Saidina Umar ibn Khattab. Beliau telah membeli rumah-rumah di sekeliling Ka'abah dan diruntuhkan kesemuanya bagi tujuan perluasan. Perluasan Masjid diteruskan lagi oleh Saidina Usman ibn Affan pada kira-kira tahun 647 Masihi.

Pada tahun 696 Masihi, cucu Saidina Abu Bakar As Siddiq bernama Abdullah ibn Zubair telah memperluaskan kawasan masjid ini dengan membeli gedung-gedung yang terdapat di sebelah timur dan selatan Masjid. Sementara di bahagian utara dan barat pula telah diperluaskan oleh Zaid bin Abdullah al-Harisi dibawah perintah Abu Ja'afar al-Mansur, Khalifah Bani Abas kedua.

Orang-orang seperti Abdul Malik ibn Marwan,Umar, Al-Walid, Ziad bin Abdullah, Musaal-Mahdi, adalah antara mereka yang awal menghiasi masjid ini. Kalimah-kalimah al-Quran disulami dengan corak-corak Islam, batu-batu mamarnya telah diukir dengan indah dan tiang-tiangnya disalutkan emas.

Zaman Abbasiyah

Pada tahun 986 Masihi, Harun Ar-Rashid telah memasukkan gedung Dar An-Nadwah di sebelah utara ke dalam masjid dan membina pintu Bab Ibrahim di sebelah barat. Pintu besar Bab As-Salam telah diperbaiki pada tahun 1243 Masihi oleh Ali bin Umar dari Yaman.

Amir Zainal Abidin al-Usmani (1379 Masihi) telah mengutuskan Sudun Pasca mencantikkan pintu masjid dengan hiasan yang indah, memperbaiki atap dan pancuran air di Ka'abah. Pada tahun 1399 Masihi, suatu kebakaran besar telah berlaku pada Masjidil-Haram. Banyak bahagian telah musnah begitu juga dengan hasil kesenian yang indah-indah yang sukar dicari ganti. Amir Besar Az-Zahiri telah memperbaikinya pada tahun berikutnya dan selesai pada tahun 1401 Masihi.

Sultan Salim II (1572-1577 Masihi) telah memperbaharui dan memperkemaskan lagi Masjidil-Haram ini dengan memasukkan kubah dan relung-relung yang indah di dalamnya. Atas arahan Sinan Pasha dari Mesir, kerja-kerja pembinaan telah diusahakan oleh Ahmad Bey dan seorang jurutera bernama Muallim Muhammadal-Misri. Bila Sultan Salim meninggal dunia, anaknya Sultan Murad telah meneruskan pekerjaan bapanya sehingga selesai.

Zaman Arab Saudi

Reka bentuknya kekal dari zaman Umawi, Abbasiah hingga dilakukan perluasan kerajaan Arab Saudi. Mereka melihat Masjidil Haram bakal menampung pertambahan jumlah jemaah yang kian meningkat setiap tahun. Program perluasan kota itu bermula oleh Raja Abdul Aziz pada 1955. Ia menyaksikan keluasan bertambah dalam masa 20 tahun daripada 19,000 meter persegi kepada 160,000 meter persegi, hampir lapan kali ganda keluasan asalnya. Penambahan itu dibuat tanpa menjejaskan keaslian binaan asal dari zaman Turki.

Ruangan tawaf juga dibesarkan tiga kali ganda dari keluasan asal. Daun pintu Kaabah juga diganti baru, dilapisi emas tulen. Raja Fahd menambah kawasan sai dengan laluan bertutup berhawa dingin. Begitu juga laluan bertingkat dan jambatan bagi mengurangkan kesesakan ketika musim haji demi keselesaan umat Islam.

Selepas 13 tahun projek pembesaran Al-Haram siap, Raja Fahd melancarkan satu lagi projek pembesaran masjid ini. Pada 2 Safar 1409, projek ketiga perluasan Masjidil Haram oleh Kerajaan Saudi dirasmikan. Kos pembinaan bernilai 6.8 bilion Riyal Saudi dan melibatkan pertambahan masjid dan kompleks yang menempatkan kedai di barat Masjidil Haram iaitu di hadapan bab al-Umrah dan bab al-Malik.

Kemudian, di bawah pentadbiran Almarhum Raja Abdullah Abdul Aziz As-Saud, Baginda merancang untuk membesarkan lagi Masjid Al-Haram. Projek terbaru yang dilaksanakan baginda ialah membesarkan lorong Mas'a (tempat bersai) daripada 2 lorong kepada 4 lorong. Kerja-kerja pembinaan telah bermula pada 2006, dengan mengambil sedikit dari bahagian dataran sembahyang di Bab As-Salam.

Pada 11 September 2015, sekurang-kurangnya 111 orang maut dan 394 orang tercedera apabila sebuah kren runtuh di kawasan masjid.[3] Kerja pembinaan ditunda selepas insiden tersebut akibat krisis minyak pada 2010-an. Kerja pembinaan diteruskan pada September 2017.[4]

Pada 5 Mac 2020, berikutan pandemik COVID-19, langkah-langkah keselamatan mula diambil di masjid, termasuk penghentian ibadah umrah dan penutupan masjid pada waktu malam.[5] Pada 20 Mac, kawasan Masjid al-Haram telah ditutup kepada orang awam akibat perkembangan wabak di Arab Saudi.[6]