Mohamed Yaacob aktif dalam politik UMNO di Tanah Merah, Kelantan sejak 1950-an. Beliau menjadi ahli Parlimen Tanah Merah selepas menang Pilihan raya umum Malaysia 1969. Mohamed dilantik Timbalan Menteri Kewangan pada Januari 1973; Menteri Pelajaran pada Ogos 1973; Menteri Alam Sekitar, Teknologi dan Tenaga pada Ogos 1974; dan Menteri Perusahaan Awam dari 5 Mac 1976 hingga 22 Feb 1978.

Beliau pernah menjadi Senator mulai 10 Disember 1996 selama tiga tahun dan seterusnya dilantik sebagai Yang Dipertua Dewan Negara pada 27 Dis 1999 hingga Dis 2000.[2]