Abdul Rahman bekerja sebagai guru selama 20 tahun. Mulai 1978 bertanding beliau kerusi Dewan Undangan Negeri (DUN) Bertam, Pulau Pinang dan menang selama empat penggal.

Beliau pernah menjadi Setiausaha Badan Perhubungan UMNO Pulau Pinang dari 1974-1988. Beliau merupakan anggota Pemuda Umno dari 1976-1978 dan menjadi Timbalan Ketua Umno Bahagian Kepala Batas pada 1988.