Kementerian ini mendapat statusnya yang sekarang pada 2007.[2] Sebelum itu ia dikenali sebagai Agensi Pertahanan Jepun (防衛庁, Bōei-chō). Ia berakar daripada Perlembagaan 1947 yang isinya ditentukan oleh Amerika Syarikat, melarang Jepun memiliki kekuatan tentera sendiri dan hanya diperbolehkan memiliki pasukan bela diri guna mempertahankan negara daripada serangan musuh.

Pasukan Jepun juga tidak boleh terlibat dalam konflik antarabangsa. Untuk mengurus pertahanannya, pada tahun 1954, Jepun mendirikan Agensi Pertahanan Jepun yang berada di bawah Pejabat Kabinet. Perdana Menteri Shinzo Abe mengutamakan perubahan dan berupaya meningkatkan status Agensi Pertahanan menjadi sebuah kementerian penuh.

Pada Disember 2006, Parlimen Jepun menyetujui dan tidak ada penentangan berlaku. Bahkan, parti-parti pembangkang menyokongnya.

Pada 9 Januari 2007, Badan Pertahanan Jepun secara rasmi berdiri menjadi Kementerian Pertahanan (Dephan) yang memiliki kekuatan lebih besar karena berhak merencanakan anggaran sendiri dan mengajukan rancangan undang-undang. Tidak seperti Badan Pertahanan, Kementrian Pertahanan juga dapat menentukan kebijakan keamanan dan pertahanan Jepun.

Peresmian kementrian baru berlangsung dalam sebuah upacara cukup meriah. Acara dihadiri perdana menteri dan menteri pertahanan yang pertama serta sejumlah perwakilan militer dari 22 negara termasuk Amerika Serikat.

Peningkatan status Badan Pertahanan mencerminkan adanya keinginan Jepun untuk memainkan peran lebih besar dalam mengatasi ancaman di kawasan, terutama dari Korea Utara.