Sejarah Makkah bermula apabila Nabi Ibrahim menerima perintah daripada Allah supaya meninggalkan anaknya Ismail dan isterinya Siti Hajar di sebuah gurun yang kering kontang untuk pergi mengajak manusia kepada Allah ke Palestin. Selepas Nabi Ibrahim meninggalkan isteri dan anaknya itu di sebuah gurun beliau kembali ke tempat asalnya.

Apabila air yang dibawa oleh Siti Hajar habis, Ismail yang ketika itu masih lagi seorang bayi mula menangis meminta susu. Siti Hajar yang mula gelisah mula mencari air di antara Bukit Safa daripada Jabal Qubais hinggalah ke Bukit Marwa. Dalam suasana yang kelam kabut itu Ismail yang sedang menangis menghentakkan kakinya di atas tanah. Dengan izin Allah, maka air keluar daripada tanah yang dihentak Ismail tadi. Sebuah telaga dibina kemudian dan dikenali sebagai Telaga Zamzam. Akibat daripada peristiwa tadi maka selamatlah Siti Hajar dan anaknya.

Dengan kemunculan Telaga Zamzam itu, pedagang-pedagang dan kabilah-kabilah perdagangan mula muncul. Mereka mula tinggal di situ dan membuka penempatan baru. Dengan itu lahirlah Kota Makkah. Ibrahim melawat tempat di mana dia meninggalkan anak dan isterinya tadi.

Setelah Nabi Ibrahim lulus dugaan menyembelih anaknya yang disayangi Nabi Ismail, maka Allah menghadiahkan kepada Ibrahim dan Ismail perintah untuk membina Kaabah.

Pada tahun kelahiran Muhammad, Makkah hendak diserang oleh tentera Abrahah yang cemburu dengan kemajuan Makkah sebagai pusat keagamaan di kawasan Semenanjung Arab. Mujur dengan kuasa Allah, tentera Abrahah ditewaskan. Tahun kejadian itu digelar sebagai Tahun Gajah.

Makkah juga merupakan tanah kelahiran Muhammad. Muhammad hidup dalam kalangan masyarakat yang menyembah berhala tetapi Muhammad tetap tidak lupa akan ajaran Nabi Ibrahim.

Satu hari sewaktu Muhammad yang ketika itu berumur 40 tahun sedang berada di dalam sebuah gua yang bernama Gua Hira, baginda didatangi oleh Malaikat Jibril yang menyampaikan wahyu daripada Allah. Wahyu itu memerintahkan supaya Muhammad menyampaikan ajaran Islam kepada seluruh penduduk Makkah. Muhammad menyampaikan ajaran Islam kepada penduduk Makkah tetapi kebanyakkan mereka menentangnya. Muhammad kemudiannya berhijrah ke Madinah pada tahun 622 Masihi.

Ajaran Islam kemudiannya berkembang ke seluruh Semenanjung Arab. Nabi Muhammad kemudiannya kembali ke Makkah pada tahun 628 Masihi bersama-sama ribuan pengikut baginda. Mereka memasuki Makkah tanpa mengalirkan darah. Peristiwa itu dinamakan sebagai Pembukaan Kota Makkah. Penduduk Makkah akhirnya menganuti ajaran Islam dan ini menjadikan Makkah pusat perkembangan Islam.