Pentagon dibangun sewaktu Perang Dunia Kedua iaitu pada tanggal 11 September 1941. Sebelum itu, staf jabatan pertahanan terpaksa bekerja di lebih kurang tujuh belas bangunan berasingan yang terletak di merata Washington, D.C. Walaupun jabatan ini telah membuka sebuah bangunan baru di barat laut bandar raya ini, ia masih tidak mencukupi untuk menampung staf yang semakin ramai. Oleh itu, Brigadier General Brehon B. Somervell telah dipertanggungjawabkan untuk membina sebuah ibu pejabat bagi Jabatan Pertahanan ini. Dalam masa tidak lebih empat hari, beliau bersama rakannya telah membuat pelan bangunan tiga tingkat untuk menempatkan staf seramai 40,000 orang. Arkitek bangunan ini ialah George E. Bergstrom dari Philadelphia. Sebaik sahaja Pearl Harbor diserang, tingkat empat telah ditambahkan dan kemudiannya tingkat lima.

Bangunan Pentagon siap dibina pada tahun 1943, suatu jangkamasa yang amat singkat iaitu selama 18 bulan sahaja. Namun Kongres AS telah membantah pembinaannya kerana ia menelan belanja yang amat tinggi iaitu dianggarkan sebanyak USD 80 bilion. Presiden Roosevelt mengira bahawa gedung ini hanyalah gedung sementara saja dan setelah Perang Dunia II akan dipakai sebagai gedung Arkib Nasional. Namun ia kekal sebagai pusat jabatan pertahanan AS sehinggalah ke hari ini. Pada tahun 1998, gedung ini telah melakukan pengubahsuaian.

Pada saat "serangan 11 September 2001", pesawat American Airlines Penerbangan 77 melanggar bangunan ini. Namun tempat yang dilanggar adalah tempat yang baru diubahsuai itu. Setelah peristiwa ini, ubahsuai dilanjutkan dan dianggarkan selesai pada tahun 2008.