Jabatan Perkhidmatan Awam Malaysia bermula sebagai Pejabat Perjawatan Tanah Melayu di Singapura pada 22 Ogos 1934. Dengan pembentukan Malayan Union pada tahun 1946, pejabat itu berpindah ke Kuala Lumpur. Pejabat Perjawatan Persekutuan kemudian ditubuhkan pada 1 Julai 1954 melalui percantuman Pejabat Perjawatan Tanah Melayu, Cawangan Perkhidmatan Pejabat Ketua Setiausaha, serta Bahagian Perjawatan Perbendaharaan Persekutuan.

Pada tahun 1967, Pejabat Perjawatan Persekutuan menukarkan nama kepada Pejabat Perjawatan Malaysia dan kemudian 15 Ogos 1968 menukarkan nama semula lagi kepada Jabatan Perkhidmatan Awam. Nama jabatan ini telah dikekalkan sejak masa itu.