Nama beliau mula terkenal selepas kejayaan beliau mendirikan Madrasah Manabi al-Ulum di Penanti, Bukit Mertajam, Pulau Pinang pada tahun 1932. Madrasah ini kemudiannya muncul sebagai sebuah pusat pengajian pondok yang paling maju di Seberang Perai semasa tahun 1930-an hingga 1940-an.

Sebagai guru yang berdedikasi, beliau banyak menghasilkan karya-karya sendiri dan terjemahan. Syeikh Osman sangat berhati-hati dalam menghasilkan sesuatu karangan serta memilih topik yang mempunyai kaitan dengan persoalan semasa masyarakat. Kitab Durrat al Nafi'ah (Alamat Kiamat) hasil karangannya telah meletakkan beliau sebagai seorang sasterawan yang berpandangan jauh kerana ia dianggap sebagai buku berbahasa Melayu yang paling terperinci dalam membincangkan perkara-perkara berkaitan tanda-tanda hampir kiamat.

Syeikh Osman kerap berulang alik ke Mekah dan telah diberi kepercayaan untuk mengajar di Masjidil Haram. Bermula dari sinilah beliau mendapat anak murid seperti Haji Abdul Rahman Sungai Durian, Haji Abdul Rahman Lubok Tapah, Haji Abdullah Lati, Haji Abdullah Kg. Laut, Haji Hassan Ketereh, Haji Abu Bakar Bukit Tiu, Haji Mohd Ibrahim Akibi Pulau Pinang, Haji Ismail Merbok, Haji Hussein Umbai, Haji Abdul Ghani Kubang Bembandan dan Ustaz Abdul Kadir Kamaluddin. [3]