Khalid Ibrahim pernah bekerja sebagai guru, pensyarah universiti, pegawai kredit , pegawai kewangan korporat dan memegang pelbagai jawatan tinggi dalam Permodalan Nasional Berhad (PNB).

Kemudian, beliau melangkah ke arena korporat dan berada dalam kedudukan CEO dari 1979-1994 di bawah firma syarikat kewangan yang diselia kerajaan, Permodalan Nasional Berhad (PNB).[2] Pada 1981, beliau menjadi terkenal setelah menyelesaikan "dawn raid" di London Stock Exchange, yang mana PNB mencatat agihan 51% syer di syarikat perindustrian British iaitu Guthrie kurang daripada dua jam. Khalid kemudian menjadi CEO Malaysianized Guthrie, yang kini dikenali sebagai Kumpulan Guthrie Bhd, dari 1995 hingga 2003.[2]

Beliau pernah menghadiri kursus USA International Visitors Program pada 1983 dan Eisenhower Exchange Fellowship Program pada 1989. Beliau juga pernah menjadi ahli majlis eksekutif Unit Investment Fund dan ahli Financial Engineering Advisory Forum di Islamic Development Bank, Jeddah, Arab Saudi. Beliau juga ahli APEC Business Advisory Council (ABAC).