Kementerian ini telah ditubuhkan pada 24hb. Mei 1964 dengan nama Kementerian Kerajaan Tempatan dan Perumahan.

Pada 18hb. Julai 1978, berikutan dengan penyusunan semula Kabinet, organisasi Kementerian telah diubah dan disusun semula dengan nama Kementerian Perumahan dan Kerajaan Tempatan. Penubuhan ini adalah hasil cantuman di antara Kementerian Perumahan dan Kemajuan Perkampungan dengan Bahagian Kerajaan Tempatan yang sebelumnya terletak di bawah Kementerian Kerajaan Tempatan dan Wilayah Persekutuan.