Sekolah Menengah Kebangsaan Abdullah Munshi menempa sejarah kewujudannya sejak 1 Januari 1964 lagi. Semasa itu sekolah ini diberikan dengan nama Sekolah Menengah Kebangsaan Jalan Residensi yang bertempat di Sepoy Lines Road. Bilangan muridnya ialah 453 orang dan 18 orang guru mengendalikan sekolah itu. Pemangku Guru Besar sekolah ialah Encik Zainal Arshad Bin Haji Zainal Abidin.

Pada tahun 1965 bangunan yang ada sekarang ini mula dibina. Bangunan ini merangkumi kawasan seluas 5 ekar dan menelan belanja sebanyak 1 juta ringgit. Sekolah ini mengandungi 3 blok iaitu, blok A, B dan C dengan dilengkapi dengan makmal sains di blok A dan B dan perpustakaan di blok C. Selain  itu, sekolah ini dilengkapi dengan sebuah dewan, kantin dan 2 bilik Sains Rumah Tangga serta 2 bilik Seni Perusahaan.  Pada masa itu,  bilangan murid adalah 962 orang.

Pada 1 Januari 1966, nama sekolah ini ditukar kepada Sekolah Abdullah Munshi sempena nama pengarang Melayu terkenal, Abdullah Munshi. Bilangan murid telah bertambah kepada 1,500 orang. Pengetua pada masa itu ialah Encik Salleh bin Hussain. Timbalan Pengetua ia En Zainal Arshad bin Haji Zainal

Sekolah Abdullah Munshi pernah menempatkan 2,000 orang murid, iaitu pada 16 Januari 1967. Sekolah ini terbahagi kepada dua sesi iaitu, 33 buah kelas untuk sesi pagi dan      17 buah kelas untuk sesi petang. Seramai 80 orang guru mengendalikan tugas bakti mereka.  Pada 3 April 1967, Sekolah Abdullah Munshi dirasmikan oleh Perdana Menteri Malaysia Pertama iaitu Yang Teramat Mulia Tunku Abdul Rahman Putra al-Haj. Ketika itu Menteri Pelajaran ialah Encik Mohd. Khir Johari dan Encik Kum Boo menjadi Pengarah Pendidikan Pulau Pinang.

Untuk mengelakkan pertambahan bilangan murid sekolah ini, pada tahun 1970 murid-murid perempuan disalurkan ke Sekolah Menengah Perempuan Sri Mutiara, Jalan Air Itam. Semenjak itu juga 2 bilik Sains Rumahtangga dipinda menjadi 2 makmal Sains yang serba lengkap. Namun demikian, pelajar-pelajar perempuan masih dikekalkan di peringkat tingkatan 6 sahaja. Mereka ini datang dari sekolah-sekolah yang berhampiran. Mulai bulan Januari 1989, Sekolah Abdullah Munshi mulai mengambil semula pelajar-pelajar perempuan. Sebuah blok baru empat tingkat telah dibuka pada 1 Disember, 1993. Bangunan baru ini terdiri daripada 5 buah bilik darjah, sebuah surau, sebuah perpustakaan, sebuah kantin, bilik sumber, bilik komputer, bilik guru dan 4 buah tandas. Dengan pembukaan blok baru ini Sekolah Abdullah Munshi akan mengadakan persekolahan untuk sesi pagi sahaja mulai 1 Disember 1993.

Sekolah Abdullah Munshi telah maju ke hadapan lagi apabila mendapat anugerah Sekolah Harapan Negara pada tahun tahun 1997. Kemudiannya, Sekolah Abdullah Munshi maju setapak lagi apabila dipilih sebagai Sekolah Bestari pada tahun  1999.  Pada bulan Jun 2009, dijangka dua buah blok baru akan dibuka untuk kegunaan kelas , Pusat Sumber dan kegunaan bilik-bilik  lain. Pada tahun 2009,  SMK Abdullah Munshi mempunyai  6  buah blok 4 tingkat, sebuah bangunan makmal Sains, sebuah bangunan makmal Kemahiran Hidup, sebuah bangunan surau dan sebuah padang.  Pengetua sekarang ialah Puan Hajah Zaimah bt. A. Latiff yangmula bertugas mulai bulan Disember 2008.