IDF menyusur-galur akar umbinya daripada organisasi separa tentera Yahudi di dalam Yishuv Baru, bermula dengan Aliyah Kedua. Organisasi seperti itu pada permulaannya adalah Bar-Giora, ditubuhkan pada bulan September 1907. Ia telah ditukarkan kepada Hashomer pada April 1909, yang beroperasi sehingga Mandat British Palestin mula wujud dalam tahun 1920. Hashomer telah merupakan sebuah organisasi elit dengan ruang keterangkuman sempit iaitu untuk melindungi harta daripada dicuri oleh kumpulan penjenayah. Selepas rusuhan Arab terhadap Yahudi dalam bulan April 1920, kepimpinan Yishuv telah nampak akan keperluan untuk mewujudkan satu organisasi pertahanan seluruh negara, dan Haganah telah ditubuhkan pada bulan Jun tahun yang sama. Haganah telah menjadi satu pertahanan berskala penuh selepas Pemberontakan Arab di Palestin 1936–1939 dengan satu struktur yang tersusun, mengandungi tiga unit yang utama - Kor Pertempuran, Kor Pengawal dan Palmach.

Nama Pasukan Pertahanan Israel (Bahasa Ibrani: צְבָא הַהֲגָנָה לְיִשְׂרָאֵל‎‎, Tzva HaHagana LeYisra'el, harfiahnya "Tentera Pertahanan Bagi Israel") telah diratifikasikan oleh kabinet Israel pada 26 Mei, 1948, hari di mana arahan penubuhan angkatan tentera tersebut telah diterbitkan oleh David Ben-Gurion. Alternatif utama yang dicadangkan adalah Tentera Israel (Bahasa Ibrani: צְבָא יִשְׂרָאֵל‎‎, Tzva Yisra'el), manakala yang lain termasuklah Tentera Yahudi dan Askar Negara. Nama tersebut telah dipilih kerana dua alasan: kerana ia telah menekankan bahawa peranannya hanya untuk pertahanan sahaja, dan kerana ia menyatukan namanya yang asas iaitu Haganah, organisasi separa tentera.[7]