Upacara meletakkan batu asas sekolah ini dilakukan oleh Tun Hamdan Sheikh Tahir, Ketua Pengarah Pelajaran Malaysia pada hari Rabu, 23 Mei 1973.

Kumpulan pertama pelajar SMSJ ditempatkan sementara di Maktab Sultan Abu Bakar, Johor Bahru sehinggalah sekolah ini siap dibina dan mula digunakan pada bulan April 1974. Pengetua pertama ialah Tuan Syed Ahmad Omar Al-Atas dan sejak tahun 1974, 13 orang pengetua telah mentadbir sekolah ini.

Lokasinya yang terletak kira-kira satu kilometer dari bandar Kluang dengan kawasan seluas 32 ekar, SMSJ menyediakan pelbagai kemudahan untuk pelajar peringkat menengah dari tingkatan satu hingga lima. Kelas tingkatan enam dibuat pada tahun 1974 dengan 28 orang pelajar dan program ini tamat pada tahun 1984. Dari tahun 1985 sehingga 1989, sekolah ini menjalankan program GCE A-level. Sejak tahun 1990 sehingga sekarang, sekolah ini menerima pelajar tingkatan satu hingga lima sahaja. Mulai tahun 1994 sehingga 1998, sekolah ini menerima pelajar tingkatan satu daripada keluarga berpendapatan rendah.

Padang utama siap pada tahun 1976 dan padang kedua siap pada tahun 1988. Kelas komputer dijalankan mulai tahun 1976. Semua pelajar tingkatan 1, 2 dan 3 digalakkan mengikuti kursus komputer selama 3 tahun. Surau yang boleh menampung seramai 800 orang telah siap dibina pada tahun 1993 dan telah menjadi pusat kecemerlangan rohani. Sekolah ini juga telah mendapat bangunan tambahan yang dijadikan sebagai koperasi sekolah.

Pada tahun 1996, empat buah kelas tingkatan 4 telah dikhaskan untuk aliran Sains Kejuruteraan dan hanya sebuah kelas untuk Sains Tulen dan kini, sekolah ini mempunyai tiga kelas sains tulen dan dua kelas sains teknikal. Sekolah ini telah terpilih menjadi sekolah bestari pada tahun 1999.