Kerjaya Tun Abdullah dalam pentadbiran bermula apabila beliau diterima masuk sebagai Pegawai Pelatih (Probationer Officer) Malayan Civil Service (M.C.S) pada 5 Januari 1954 dan ditempatkan sebagai Penolong Pesuruhjaya Buruh di Pejabat Buruh Selangor.

Selepas lulus Pengajian Bahasa Cina, Tun Abdullah telah ditempatkan di Pejabat Ketua Menteri dan Menteri Hal Ehwal Dalam Negeri sebagai Setiausaha Sulit kepada Y.T.M. Tunku Abdul Rahman Putra mulai Ogos 1956. Beliau telah ditukarkan pula ke Kementerian Dalam dan Keadilan untuk membantu menyediakan persiapan perayaan Hari Merdeka dan Pertabalan Yang di-Pertua Agong yang pertama pada 31 Ogos 1957. Tun Abdullah kemudian telah dihantar untuk mengikuti Kursus Pentadbiran Awam di Universiti Cambridge, England selama setahun dari tahun 1958 hingga 1959.

Sekembalinya Tun Abdullah dari England, beliau telah ditugaskan di Kementerian Buruh dan Kebajikan Masyarakat sebagai Ketua Penolong Setiausaha dan selepas itu ke Jabatan Perdana Menteri Malaysia dan akhirnya ditukarkan ke Perbendaharaan di awal tahun 1961. Tun Abdullah mempunyai kerjaya yang lama di Perbendaharaan iaitu hampir 15 tahun (1961–1972, 1974–1978). Dalam tempoh itu, beliau telah memegang beberapa jawatan penting dalam kementerian dan telah dinaikkan pangkat daripada Tingkatan Tertinggi H hingga Turus A. Beliau telah menjadi Ahli Jawatankuasa Perancangan Pembangunan Negara (N.D.P.C.) selama beberapa lama dan kemudian menyandang jawatan pengerusinya.

Kecemerlangan yang ditunjukkan oleh Tun Abdullah semasa menjalankan tugas telah membawa beliau ke jawatan-jawatan yang lebih tinggi dan penting kepada negara Malaysia. Hal ini terbukti apabila beliau dilantik sebagai Ketua Pengarah Perkhidmatan Awam pada 1 Julai 1972. Selain itu, beliau juga berkhidmat di Kementerian Kewangan sebagai Ketua Setiausaha Perbendaharaan daripada Ogos 1974 hingga Disember 1978. Beliau juga telah dilantik sebagai Pengerusi Kumpulan Wang Simpanan Pekerja.

Kecemerlangannya sebagai seorang pentadbir mencapai kemuncaknya apabila Tun Abdullah dilantik sebagai Ketua Setiausaha Negara untuk mengetuai Perkhidmatan Awam di negara ini pada 1 Januari 1979. Dalam pada itu, beliau telah dilantik untuk menjadi Pengerusi Lembaga Letrik Negara. Sebaik sahaja bersara daripada Perkhidmatan Awam pada 3 Januari 1981, Tun Abdullah terus dilantik sebagai Pengerusi Tribunal Perkhidmatan Awam.