SMAPK telah ditubuhkan pada 1 Disember 1989 dan terpaksa menumpang di Sekolah Menengah Agama Persekutuan Labu buat sementara waktu bersama pengetua pertama, Ustaz Mohd Saim Bin Ithnin serta 5 orang guru perintis. Pada 12 Julai 1990, Sekolah Menengah Agama Persekutuan Kajang telah berpindah ke lokasi tetapnya di Batu 13, Jalan Cheras, Kajang. Sehingga 2001, 4 orang pengetua telah menjadi peneraju SMAPK. Pengetua kedua ialah Ustaz Marzuki Abdul Hamid diikuti Pengetua ketiga, Ustazah Hajah Jumaiyah bt Haji Hashim, Ustazah Norhayati bt Lebai Isa, Syed Baharom Syed Hussien, Hajah Aminah binti Idris, Haji Sakijan Bin Muri dan kini, Tuan Hj Abdul Aziz bin Mahmud.

Kedudukannya yang strategik berhampiran dengan Putrajaya serta Kuala Lumpur dan juga pelbagai universiti awam dan swasta menyebabkan Sekolah Menengah Agama Persekutuan Kajang telah menjadi terkenal di seluruh negara.

Pencapaian para pelajar Sekolah Menengah Agama Persekutuan Kajang yang begitu membanggakan antaranya Eliza Hanim Ibrahim sebagai pemain catur kebangsaan (1991), mewakili negara dalam Olimpiad Matematik di Argentina pada tahun 1997, mewakili negara dalam Kongres Remaja Sedunia di Sarajevo pada tahun 2000, memasuki perlawanan akhir Bahas Dato' Abdul Shukor pada tahun 2000, dua kali berturut-turut melayakkan diri ke perlawanan akhir Bahas Bahasa Inggeris Piala Perdana Menteri pada tahun 2000 dan 2001, serta melayakkan diri ke peringkat akhir Pidato Piala Diraja pada tahun 1998.

Pada tahun 2003, SMAPK telah berjaya memenangi Pertandingan Bahas Piala Perdana Menteri kategori Bahasa Melayu buat kali pertama. Bahas Piala Perdana Menteri atau singkatannya (PPM) merupakan piala bahas paling berprestij buat sekolah-sekolah berasrama penuh yang mula dipertandingkan sejak 1974. Kejayaan ini diteruskan apabila memenangi pertandingan yang sama pada tahun 2005, 2008, 2009, 2013 dan terbaharu pada 2017. SMAPK juga muncul Naib Juara Bahas Piala Perdana Menteri pada tahun 2014 dan 2015.

SMAPK juga terlalu sinonim dengan kumpulan nasyid kebanggaan mereka, All For Ummah (A.F.U) yang akhirnya berjaya melahirkan artis nasyid rakaman yang menamakan diri mereka sebagai kumpulan Saujana. All For Ummah telah menaikkan nama sekolah apabila berjaya memenangi Johan Festival Nasyid Kebangsaan 3 kali berturut-turut dari tahun 2004, di Festival Nasyid Kebangsaan yang pertama kali diadakan sehinggalah tahun 2006 dan berjaya melayakkan diri ke peringkat kebangsaan 7 tahun berturut-turut dan pelbagai lagi kejayaan telah dicapai sama ada di peringkat SBP, Kebangsaan dan Negeri.

Pencapaian di peringkat akademik termasuklah kejayaan merangkul 2 kali 100% pangkat 1 dalam SPM pada tahun 1993,1997 dan 1999. Sehingga tahun 2000, 3 orang pelajarnya telah berjaya merangkul semua A dalam setiap mata pelajaran dalam SPM. SMAPK juga pernah beberapa kali tersenarai dalam ranking 10 sekolah terbaik Malaysia dalam beberapa siri peperiksaan awam terutamanya SPM. Tahun 2009 juga menyaksikan sejarah tercipta apabila SMAPK diumumkan sebagai 5 buah sekolah agama terbaik di Malaysia apabila lebih 100 orang pelajarnya meraih keputusan 9A dan 8A.

Sehingga ke hari ini, SMAPK telah melahirkan ribuan pelajar yang kini telah melanjutkan pelajaran masing-masing ke Institut Pengajian Tinggi Awam dan Swasta, universiti-universiti terkemuka luar negara dalam pelbagai jurusan. Bagi yang telah bekerja, mereka telah menjawat pelbagai jawatan penting sama ada di sektor awam mahupun swasta.

Pada awal tahun 2011, persatuan bekas-bekas pelajar SMAPK telah ditubuhkan dengan cadangan nama Pertubuhan Anak Didik SMAPK (AnNadi) di Dewan Nik Mahyudin Wan Musa. Bagaimanapun, nama rasmi yang didaftarkan akhirnyaialah Persatuan Alumni Sekolah Menengah Agama Persekutuan Kajang dengan singkatan AnNadi dikekalkan. Penubuhan persatuan tersebut bertujuan memudahkan komunikasi antara semua bekas pelajar dan juga mereka yang masih belajar di SMAPK untuk sama-sama memacu SMAPK ke arah kegemilangan dan terus mempertahankan etos kecemerlangan yang telah dipupuk sejak penubuhannya.

Pada tahun 2013 pula, SMAPK telah berjaya diumumkan sebagai salah sebuah Sekolah Berprestasi Tinggi (SBT).