Abdul Ghafar terlibat dalam politik sejak 1939 sewaktu berumur 14 tahun dengan menyertai Kesatuan Melayu Muda. KMM ditubuhkan oleh Ibrahim Yaakob (IBHY), bekas seorang guru lepasan SITC (Maktab Perguruan Sultan Idris) berasal dari Temerloh, Pahang.Kemudian aktif dalam PKMM sejak 1945 hingga 1948 iaitu selepas Perang Dunia Kedua. Pada 1948 PKMM diharamkan oleh kerajaan British.

Ghafar yang berjiwa radikal, tidak mahu aktif dalam politik akomodatif yang dibawa Dato’ Onn Jaafar, sebaliknya memilih untuk aktif dalam Persatuan Guru Melaka di mana beliau dilantik sebagai Setiausaha Kesatuan Guru-Guru Melayu Melaka.

Apabila UMNO Melaka ditubuhkan pada 1955 dan slogan 'Hidup Melayu' ditukar kepada 'Merdeka' , ramai pemimpin PKMM menyertai UMNO termasuk beliau dan Tan Sri Aishah Ghani. Catatan Tunku dalam bukunya ‘‘Political Awakening’’ penyertaan Ghafar dan ramai bekas aktivis kiri dalam UMNO cukup kritikal kerana ramai pemimpin kanan UMNO keluar UMNO dan menyertai parti IMP tajaan Onn. Abdul Ghafar dipindah sekolah sebanyak empat kali oleh Mr. Henry Gurney, pentadbir British sebagai Pengarah Pendidikan Melaka.

Beliau dilantik sebagai Setiausaha UMNO Melaka yang pertama. Waktu itu jawatan Setiausaha bukan dilantik tetapi dipilih. Terus menerus, tidak terputus walau sehari jua pun, beliau memegang jawatan dalam UMNO selama 42 tahun sehingga saya meletakkan jawatan Timbalan Presiden pada 30 Oktober 1993.[2]

Pada tahun 1953 dalam Perhimpunan Agung UMNO di Melaka meluluskan usul agar British mengadakan pilihan raya pada tahun 1954 bagi memilih 4/5 daripada 98 Ahli Dewan Perundangan Persekutuan (Legco). Namun Sir Oliver Lyttleton selaku Setiausaha Kerajaan British menolak usul itu. Tunku mengarahkan Ghafar selaku Setiausaha UMNO Melaka mengadakan Mesyuarat Agung Tergempar pada 18 April 1954, di Dewan Perhimpunan Cina / Chinese Assembly Hall dan turut dihadiri Datuk Sir Tan Cheng Lock, Presiden dan wakil MCA. Satu rombongan dihantar ke London untuk melobi Ahli Parlimen di sana.

Bintang politik beliau semakin terserlah apabila memegang beberapa jawatan seperti Setiausaha UMNO Melaka, Pengerusi UMNO Melaka, Pegawai Penerangan UMNO Malaya, Ahli Majlis Tertinggi UMNO, Naib Presiden UMNO (1962-1987), Ketua Perhubungan UMNO Sabah (1991) , Pengerusi BN Sabah (1992), dan Setiausaha Agung Barisan Nasional (1974-1993).

Pada 15 Jun 1955 Ghafar meletak jawatan sebagai guru bergaji tetap dan menyertai pilihan raya umum Malaysia yang pertama 1955 di parlimen Melaka Luar. Ghafar menang majoriti besar 23,969 undi dan ditawarkan jawatan Ketua Menteri Melaka tetapi menolak.

Pada 20 Februari 1956, Tunku memberi kepercayaan kepada Ghafar menganjur sambutan besar-besaran rombongan merdeka yang kembali dari London. Rombongan tiba 10.45 pagi di Lapangan Terbang Batu Berendam dan ke Padang Bandar Hilir Melaka di mana lebih 100,000 rakyat menanti. Tan Cheng Lock, V. T. Sambanthan dan Datuk Panglima Bukit Gantang mewakili Raja-Raja Melayu, Abdul Ghafar dan Tunku Abdul Rahman telah berucap.

Pada Persidangan UMNO tahun 1958 Abdul Ghafar dipilih Ahli Majlis Tertinggi UMNO dan dilantik sebagai Ketua Penerangan UMNO. Guru-guru Melayu melalui Kesatuan Persatuan Guru-Guru Melayu (KPGMS) membuat tuntutan kepada Mohamed Khir Johari selaku Menteri Pelajaran, supaya sekolah menengah aliran Melayu diwujudkan pada 1 Februari 1958, seperti yang dijanjikan pada Perhimpunan Agung UMNO 30 Januari 1957. Kesatuan guru mengecam UMNO dan kerajaan kerana tidak tegas dalam melaksanakan aspirasi bangsa Melayu ini dan mengugut akan keluar UMNO beramai-ramai pada 15 Februari 1958. Abdul Ghafar memberi alasan kekurangan guru Melayu dan kemudahan pembelajaran . Guru-guru seperti Hajah Ibu Zain, Cikgu Ahmad Arshad, Cikgu Md Nor Dahan menyokong penjelasan itu dan hanya 40 orang guru keluar UMNO.

Pada Pilihan raya umum Malaysia 1959 Ghafar bertanding di DUN Tanjung Kling, menang dengan majoriti besar 2,742 undi dan dilantik Ketua Menteri Melaka. Ketika menjadi Ketua Menteri selama dua penggal 1959- 1967. Pada 1967 Tunku melantik Ghafar sebagai Pengerusi MARA dan MARA.Abdul Ghafar meletak jawatan KM Melaka dan dipindahkan ke Pusat.

Pada tahun 1968 Ghafar dilantik Senator dan secara paksa dilantik ke dalam Kabinet selaku Menteri Tanpa Portfolio oleh Tunku, ketika dalam lawatan ke Rusia. Beliau hanya tahu apabila transit di Bangkok. Pada 11 Mei 1969 Ghafar bertanding di kawasan Parlimen Melaka Utara, menang dengan majoriti 6,811 undi .Pada 1972 dilantik Menteri Pembangunan Negara dan Luar Bandar dalam Kabinet Tun Abdul Razak. Ketika inilah Ghafar menganjurkan beberapa siri Kongres Ekonomi Bumiputera yang melahirkan Bank Bumiputera, UDA, Pernas, dan sebagainya. Ghafar juga pernah menganjurkan Kongres Ekonomi Islam yang darinya lahir YPEIM.

Tun Abdul Razak meninggal dunia 14 Januari 1976 di London, Hussein Onn dilantik Perdana Menteri. Hussein meminta Ghafar terus kekal dalam Kabinet tetapi Ghafar tetap dengan pendirian menolak tawaran itu kerana ingin bergiat dalam perniagaan dan ekonomi.

Pada 1983 , Dr Mahathir Mohamad meminta beliau membantu menyelesaikan krisis UMNO dengan Istana pada 1983 iaitu apabila Perdana Menteri ingin meminda Article 66 yang menyebut bahawa setiap Rang Undang-Undang (Bill) yang diluluskan Parlimen akan berkuat kuasa selepas 15 hari setelah dipersembahkan kepada Yang diPertuan Agong. Majlis Raja-Raja yang bersidang di Kota Kinabalu menolak usul ini. Majlis Tertinggi UMNO melantik Ghafar selaku ketua perunding untuk menyelesaikan krisis itu. Rundingan diadakan di Istana Kayangan Shah Alam dan akhirnya kedua-dua pihak berkompromi dengan jangka masa memohon perkenan Raja dilanjutkan kepada 60 hari.

Sekali lagi, pada 1992 UMNO terpaksa berdepan dengan Raja-Raja Melayu apabila berlaku insiden Sultan Johor mencederakan Douglas Gomez. UMNO sekali lagi meminta Ghafar membentangkan satu usul di Parlimen mengambil ketetapan supaya insiden kezaliman Raja terhadap rakyat ini tidak berulang. Usul ini mencatat sejarah di mana disokong 100% termasuk pembangkang. Akhirnya Raja-Raja Melayu bersetuju agar Perlembagaan Persekutuan dipinda di mana Raja-Raja Melayu boleh didakwa dan dibicara dalam sebuah Mahkamah Khas.

Beliau memberi laluan jawatan TPM kepada tokoh yang lebih junior – 1972 kepada Hussien dan 1976 kepada Dr. Mahathir Mohamad.

Pada tahun 1993 berlaku pertandingan sengit dalam UMNO di antara Team Wawasan yang diketuai Datuk Seri Anwar Ibrahim dengan pemimpin-pemimpin UMNO lain seperti Ghafar, Datuk Seri Abdullah Ahmad Badawi, Sanusi Junid dan lain-lain. Ghafar berundur untuk memberi laluan kepada golongan pendesak yang dikatakan mendapat restu Presiden UMNO. Pada 15 Oktober 1993 Ghafar meletakkan jawatan TPM dan Timbalan Presiden UMNO. UMNO menghadapi krisis pada 1997 di mana berlaku komplot untuk menggulingkan Presiden UMNO. [3]

Kawasan pilihan raya terakhir yang diwakilinya ialah kawasan Parlimen Batu Berendam di Melaka yang dimenanginya pada pilihan raya umum 1999. Beliau menjadi Ahli Dewan Undangan Negeri Melaka atau Ahli Parlimen Jasin selama 49 tahun berturut-turut, menerusi 11 pilihan raya umum sejak 1955 hingga 1999. Beliau memperoleh 25,559 undi mengalahkan calon Pas dan Parti Melayu Semangat 46. Kedua-dua calon pembangkang itu hilang wang pertaruhannya. Majoriti Abdul Ghafar meningkat daripada 14,000 dalam Pilihan raya umum Malaysia 1990 kepada 22,000 dalam Pilihan raya umum Malaysia 1995 itu.

Beliau merupakan antara kepimpinan UMNO yang telah berkhidmat di bawah 3 Perdana Menteri iaitu Tunku Abdul Rahman, Tun Abdul Razak dan Tun Dr. Mahathir. Beliau keluar kabinet selama 10 tahun apabila Tun Hussein Onn menjadi Perdana Menteri. Apabila Tun Dr. Mahathir dilantik Perdana Menteri beliau masih berada di luar kerajaan dan hanya masuk kembali pada tahun 1986 apabila Tun Musa Hitam meletakkan jawatan Timbalan Perdana Menteri.