Penglibatan beliau dalam politik bermula selepas menjawat jawatan Pesuruhjaya PAS Negeri Pulau Pinang menggantikan Ustaz Ahmad Azzam yang berpindah tempat.

Semenjak memegang amanah itu Allahyarham diberi kepercayaan menjadi Ahli Jawatankuasa PAS Pusat walaupun setelah melepaskan jawatan Pesuruhjaya PAS Negeri. Kepimpinan PAS di bawah Dato' Asri Muda, beliau sekali lagi diberi mandat sebagai Timbalan Yang DiPertua (kini dikenali sebagai Timbalan Presiden).

Kerjaya politik beliau mulai bersinar apabila menewaskan Dr. Mahathir Mohamad pada pilihan raya umum 1969. Beliau menang dengan kelebihan 989 undi. Pada era PAS bersama Barisan Nasional, beliau adalah salah seorang ahli parlimen PAS yang dilantik menjadi menteri.

Semasa pemilihan jawatankuasa baru PAS pada 1982, beliau telah dilantik sebagai Yang Dipertua PAS (kini dikenali sebagai Presiden) bagi menggantikan Allahyarham Tan Sri Mohd Asri bin Haji Muda semasa muktamar pada 23 Oktober 1982 yang mendesak perubahan dalaman. Selepas memegang peranan besar itu selama beberapa tahun, pada penghujung 1980-an beliau menyerahkan jawatan tersebut kepada timbalannya, Allahyarham Datuk Fadzil Mohd Noor. Bagaimanapun, beliau masih mengekalkan jawatannya sebagai Mursyidul Am sehingga tahun 1995, dan diganti oleh Tuan Guru Nik Aziz.