Bakat kepimpinan yang terserlah pada dirinya menyebabkan beliau diberi kepercayaan menjawat jawatan sebagai Setiausaha UMNO cawangan Tanah Merah pada tahun 1956. Dua tahun kemudian, beliau turut bertanggungjawab mengasaskan penubuhan UMNO Bahagian Jitra setelah UMNO Bahagian Kedah Utara dibubarkan. Beliau telah diberi kepercayaan dan dilantik sebagai Ketua Pemuda UMNO pertama bagi bahagian tersebut. Walau bagaimanapun UMNO Bahagian Jitra kemudiannya telah ditukar menjadi UMNO Bahagian Kubang Pasu hingga sekarang.

Tan Sri Dato' Seri Haji Osman Aroff bergerak setapak lagi dalam kerjaya politiknya pada tahun 1969 apabila beliau dipilih untuk bertanding dalam Pilihan Raya Umum Malaysia 1969. Ini menyebabkan beliau terpaksa melepaskan jawatan sebagai Pegawai Penerangan Konsul Taiwan di Kuala Lumpur yang disandang sejak tahun 1966.

Melihat dari rekod perkhidmatannya yang cemerlang, beliau telah dilantik menjadi anggota Majlis Mesyuarat Kerajaan Negeri Kedah.