Pendidikan awal beliau ialah sekolah desa (sekolah rendah tiga tahun) di kampung Maga. Beberapa tahun kemudian beliau berpindah ke Tanah Deli (di Sumatera Utara bahagian Timur), untuk kemudiannya pergi ke Besilam (Babussalam), Langkat. Besilam dikenali sebagai sebuah pusat tarikat Naqsyabandi. Pemukiman itu diasaskan oleh Syeikh Abdul Wahab Rokan.

Di Besilam beliau memulai pengajian agamanya. Sebab kesungguhan beliau menuntut ilmu, beliau disayangi oleh Syeikh Abdul Wahab, gurunya yang memberinya nama "Juned" mengambil nama seorang ulama tasawuf yang terkenal, iaitu "Syeikh Juned al-Baghdadi". Kemudian di belakang nama beliau ditambahkan (oleh siapa?) "Tola". Menurut suatu pendapat kata itu singkatan daripada "Tarlola", kampung kelahirannya. Namun, Datuk Haji Asri bin Haji Muda (Datuk Asri), menantu allahyarham (Wawancara: 12 Oktober 1989) tidak dapat memastikannya.

Namun, beliau masih bercita-cita hendak melanjutkan pelajarannya. Untuk itu beliau merantau ke Tanah Melayu. Mula-mula beliau berguru di Kedah di Pondok Haji Che Dol, Gajah Mati, dan kemudian disambung oleh menantunya Syeikh Ibrahim (Pak Cu Hin) dan di Pondok Haji Hussain Cik Dol di Guar Cempedak. Kemudian beliau pindah ke Bukit Mertajam, Pulau Pinang, berguru dengan Tuan Haji Salleh Masri.