SMK Aminuddin Baki ditubuhkan sebagai Sekolah Menengah Melayu, Kuala Lumpur pada tahun 1958. Sekolah ini ditempatkan secara sementara di Sekolah Kebangsaan Kampung Baru dan Sekolah Kebangsaan Maxwell. Pada tahun 1963, lokasi sekolah ini dipindahkan ke tempat sementara baharu di Sekolah Menengah Cochrane.

Pada 24 Mac 1964, Sekolah Menengah Melayu menukar nama kepada SMK Aminuddin Baki sempena seorang tokoh pendidikan dan Ketua Penasihat Pendidikan Malaysia waktu itu, Aminuddin Baki. Di samping itu, sekolah ini juga telah berpindah sekali lagi ke sebuah tapak yang kekal hingga kini.

Dari permulaan pertubuhannya, SMK Aminuddin Baki telah menawarkan tempat untuk murid tingkatan 1 hingga tingkatan 5. Namun, pada tahun 1966, kelas Tingkatan Enam telah diperkenalkan.SMK Aminuddin Baki juga telah dikategorikan sebagai Sekolah Kawalan pada tahun 1987 dan membina asrama harian untuk pelajar perempuan yang ingin tinggal di situ pada 1997.

SMK Aminuddin Baki juga menjadi perintis untuk beberapa program kerajaan seperti:

• Sekolah Tenaga Diperbaharui & Kecekapan Tenaga (TDKT) - 1998
• Sekolah Pintar (Smart School) - 1999
• Projek Rintis Sumber Persiarann Terbuka (Open Source Software) - 2006