JI ditubuhkan sebagai satu konfederasi kumpulan-kumpulan Islam. Sekitar tahun 1969, dua orang lelaki, Abu Bakar Basyir dan Abdullah Sungkar, menghidupkan semula operasi pergerakan untuk mewujudkan negara Islam Darul Islam yang diisytiharkan oleh Kartosuwiryo pada tahun 1949.

Perjuangan Kartosoewirjo berakhir ketika Soekarno menangkapnya setelah melalui perburuan panjang di wilayah Gunung Rakutak di Jawa Barat pada 4 Jun 1962. Pemerintah Indonesia kemudian menghukum mati Kartosoewirjo pada September 1962.

Basyir dan kawannya mencipta kelengkapan radio cetak rompak untuk berkhutbah kepada yang miskin dan yang ditindas di Indonesia. Bashir mewujudkan sekolah asrama di Jawa. Moto sekolah ini adalah, "Kematian dalam cara Allah adalah cita-cita kita yang tertinggi."

Bashir dan Sungkar keduanya telah dipenjarakan oleh diktator Indonesia kerajaan Suharto sebagai sebahagian dari tindakan keras pada kumpulan radikal seperti Komando Jihad, dimana kedua orang adalah ahli. Mereka menghabiskan masa beberapa tahun sekitar jangka masa itu.

Bashir dan pengikut-pengikutnya melarikan diri ke Malaysia pada tahun 1982. Dia mula merekrut pengikut-pengikut dari Malaysia, Singapura dan Filipina. Kumpulan itu secara rasmi menamakan diri mereka Jemaah Islamiyah sekitar waktu itu.

Pada pertengahan dan akhir tahun 1980-an, ramai ahli JI, termasuk Sungkar dan Hambali menyertai golongan Mujahideen di Afghanistan bagi menentang pencerobohan Soviet ke atas Afghanistan. Mereka disertai oleh kumpulan-kumpulan Muslim seluruh dunia.

Di Asia Tenggara, ahli-ahli JI mencetak dan menyebarkan risalah-risalah di seluruh rantau itu.

Bashir bertemu dengan Riduan Isamuddin, (lebih dikenali sebagai Hambali) sekitar awal tahun 90-an di sebuah sekolah pondok yang ditubuhkan oleh Bashir. Bashir menjadi pemimpin spiritual kumpulan berkenaan sementara Hambali menjadi ketua bersenjata.

Hambali mengkehendaki sebuah kerajaan Islam yang besar ditubuhkan di Asia Tenggara dengan disertai Indonesia, Malaysia, Singapura, Thailand, Filipina, Brunei, dan Kemboja. Sebuah negara yang sebegitu rupa akan mempunyai populasi seramai 420 juta orang (anggaran). Ini akan mengukuh cengkaman ke atas laluan perkapalan Laut China Selatan yang mana merupakan satu gerbang di antara Asia Timur dan bahagian Asia yang lain.

JI mula membentuk dirinya sebagai sebuah kumpulan pengganas yang membekalkan sumber kewangan dan logistik kepada operasi Al-Qaeda di Asia Tenggara. Hambali menubuhkan sebuah syarikat yang dikenali sebagai Konsojaya untuk menolong mengumpulkan wang bagi melancarkan operasi mereka.

Pemimpin-pemimpin JI kembali ke Indonesia pada tahun 1998 apabila kerajaan pimpinan Suharto dijatuhkan rakyat.

Pada tahun 2000, Hambali menjalankan beberapa siri pengeboman gereja-gereja Kristian. Semakin banyak perhatian diterima oleh kumpulan selepas peristiwa pengeboman Bali. Mereka juga mengebom Hotel J.W. Marriott di Jakarta pada 2003.

Akibatnya, JI telah disenaraikan sebagai petubuhan pengganas oleh Pertubuhan Bangsa-Bangsa Bersatu dan diharamkan di Amerika Syarikat.

Bashir ditangkap oleh polis Indonesia dan dijatuhkan hukuman ringan kerana mengkhianat. Hambali pula ditangkap di Thailand pada 11 Ogos 2003 dan kini sedang dipenjarakan di Jordan.

JI juga disiasat berhubung dengan insiden pengeboman di luar Kedutaan Australia pada 9 September 2004.