Beliau menjadi pegawai pelatih (Probationer Officer) dan mendapat latihan di London School of Economics pada tahun 1958. Tahun 1959, menjadi Penolong Setiausaha di Kementerian Luar Negeri.Tahun 1962, Zain Azraai bertugas di Malaysia High Commision London berkaitan Suruhanjaya Cobbold mengenai Penubuhan Malaysia 1963. Kemudian menjadi Wakil Tetap Malaysia di Pertubuhan Bangsa-Bangsa Bersatu , New York (1962-1966.

Tahun 1966, beliau menjadi Pegawai Khas Ketua Setiausaha Kementerian Luar Negeri di bawah menterinya , Tan Sri Ghazali Shafie. Seterusnya sebagai Ketua Setiausaha Sulit Khas kepada Perdana Menteri Malaysia Tun Abdul Razak (1971-1976).

Selepas Tun Abdul Razak meninggal dunia pada 1976, Zain Azraai ditugaskan sebagai Duta Malaysia ke Amerika Syarikat, Mexico ,Brazil dan Cuba. Beliuau menjadi Pengarah Eksekutif World Bank mewakili kawasan Asia Tenggara (1978-1982). Antara 1983-1986 menjadi wakil tetap ke PBB dan duta besar ke Cuba. Tugas terakhir beliau ialah sebagai Ketua Setiausaha di Kementerian Kewangan.