Mesyuarat Jemaah Menteri pada 3 Julai 1996 telah bersetuju dengan cadangan penyusunan semula mahkamah-mahkamah Syariah seluruh Malaysia. JKSM telah diisytiharkan penubuhannya pada bulan November 1998 oleh YB Dato’ Haji Abdul Hamid bin Othman, Menteri di Jabatan Perdana Menteri di Pusat Islam Malaysia, Jalan Perdana, Kuala Lumpur.

Di awal penubuhan, JKSM ditempatkan di Aras 3, Bangunan Sulaiman, Jalan Damansara, Kuala Lumpur yang merupakan Mahkamah Syariah Wilayah Persekutuan. Pada tahun 1999, pejabat JKSM berpindah ke lokasi Aras 3, Blok Perpustakaan Awam Islam JAKIM, Jalan Perdana, Kuala Lumpur. Lokasi JKSM seterusnya berpindah ke Aras 6, Rumah Persekutuan, Jalan Hishamuddin, Kuala Lumpur. Kemudian pada 10 Julai 2001, ibupejabat JKSM telah ditempatkan di Aras 2 & 3, Blok D7, Kompleks D, Pusat Pentadbiran Kerajaan Persekutuan Putrajaya sehingga Januari 2017. Pada Februari 2017 JKSM telah berpindah ke Blok C, Kompleks Islam Putrajaya,No. 20, Jalan Tunku Abdul Rahman,62100 Putrajaya, Malaysia sehingga sekarang.