Madrasah tidak wujud pada zaman awal Islam. Penubuhan madrasah berkemungkinan dapat dijejak kepada amalan orang Islam yang berkumpul di masjid-masjid bagi membincangkan persoalan-persoalan agama. Pada tahap awal ini, Muslim awam cenderung berkumpul bersama orang-orang berilmu dan mendapatkan ilmu daripada mereka. Guru-guru informal ini dikenali sebagai syeikh, dan mereka mengadakan pertemuan yang disebut majlis ilmu.

Ditubuhkan pada tahun 859 M, Ǧāmiʿat al-Qarawiyyīn (terletak di dalam Masjid al-Qarawiyyin) di bandar Fez, Maghribi, dianggap universiti tertua di dunia oleh beberapa sarjana,[1]. Walaupun kadang kalanya kewujudan institusi seperti universiti masih diperbahaskan.

Universiti ini diasaskan oleh Fatimah al-Fihri, anak perempuan seorang saudagar kaya, Muhammad al-Fihri. Universiti al-Karaouine kemudiannya diikuti dengan penubuhan Universiti al-Azhar pada tahun 959 m di Kaherah, Mesir.

Pada lewat zaman Abbasiyyah, wazir Seljuk, Niẓam al-Mulk menubuhkan sebuah institusi akademik utama yang dikenali sebagai Madrasah Niẓamiyyah. Madrasah Nizamiyyah diasaskan atas majlis ilmu. Nizam al-Mulk menubuhkan sebuah sistem madarasah negara (dikenali sebagai "Nizamiyyah" bersempena namanya) di dalam beberapa bandar Abbasiyyah pada penghujung abad ke-11.

Dinasti pemerintah Fatimiyyah[2] dan Mamluk[3] serta pemerintah-pemerintah negara pengganti juga menubuhkan madrasah melalui sistem wakaf,iaitu pemberian untuk mendapat keberkahan. Bukan sahaja madrasah ini menjadi tanda kedudukan, ia juga menjadi cara yang berkesan bagi pemindahan kekayaan dan kedudukan kepada pewaris. Ini jelas terutamanya semasa zaman Mamluk, di mana hanya anak hamba boleh menjadi pemerintah; anak-anak golongan bangsawan tidak boleh mewarisi hak orang tua mereka, justeru jawatan di dalam madrasah dapat mengekalkan status mereka. Madrasah-madrasah yang dibina semasa era ini termasuklah Masjid Sultan Hassan di Kaherah.