Maktab Mahmud telah ditubuhkan pada hari hari Jumaat 29 Rabiul Awal 1355 H bersamaan 19 Jun 1936. Perletakan batu asas telah disempurnakan oleh DYMM Tunku Mahmud Ibni Al Marhum Sultan Ahmad Tajuddin Mukarramul Shah, selaku Raja Pemangku dan Presiden Majlis Negeri Kedah. Maktab Mahmud kemudiannya dibuka secara rasminya oleh DYMM Sultan Abdul Hamid Halim Shah, Sultan Negeri Kedah Darul Aman pada ketika itu.

Tujuan utama Baginda adalah untuk menjadikan sebagai pusat penyebaran agama Islam, Bahasa Arab serta melahirkan tokoh-tokoh agama. Tambahan pula Baginda berpendapat Negeri Kedah memerlukan Kolej Islam setanding dengan sekolah-sekolah Inggeris pada masa itu, sistem pendidikannya menggunakan sistem pendidikan Mesir (Al-Azhar) [1].

Maktab ini ditadbirkan oleh satu Jawatankuasa Penasihat yang dilantik dengan perkenan Sultan Kedah. Menteri Besar biasanya menjadi Pengerusi Jawatankuasa Penasihat itu dan Guru Besar Maktab sebagai Setiausaha. Jawatankuasa dilantik daripada golongan ulama dan Sheikul Islam dan kuasa pentadbirannya terletak di bawah kuasa pejabat Hal Ehwal Agama Islam Kedah [2].

Sumbangan Maktab Mahmud melahirkan tokoh-tokoh perjuangan kemerdekaan menentang Malayan Union dengan menubuhkan Persatuan Ulama Kedah pada 9 Februari 1946 yang telah berjaya menyatukan keseluruhan ulama Kedah menentang Malayan Union.

Maktab Mahmud dibiayai sepenuhnya oleh Kerajaan Negeri Kedah Darulaman dan dinaungi oleh Sultan Kedah. Maktab Mahmud hanya terdiri daripada pelajar-pelajar putera sahaja semenjak awal penubuhannya sehingga 31 Disember 1972. Sekolah Agama Tarbiah Islamiah, Jalan Pegawai dicantumkan dengan Maktab Mahmud dan disatukan dibawah pentadbiran Lembaga Maktab Mahmud menurut Enakmen Lembaga Maktab Mahmud 1967. Lembaga yang ditubuhkan bertanggungjawab menguruskan urusan-urusan pentadbiran, kewangan, perkhidmatan, pendidikan dan lain-lain. Bermula dari penyatuan itu, Maktab Mahmud telah membuka peluang pendidikan kepada pelajar-pelajar puteri.

Penubuhan 12 Maktab Mahmud di 12 daerah di Kedah melambangkan iltizam kerajaan negeri dalam memartabatkan pendidikan agama Islam di Kedah dan memastikan rakyatnya mendapat pendidikan yang sempurna [3].