Beliau belajar di Sekolah Melayu selama lima tahun. Di samping itu beliau juga dididik membaca al-Quran dan ilmu-ilmu agama lainnya yang sesuai diterima oleh anak-anak sebayanya.

Setelah menamatkan Sekolah Melayu, beliau belajar di sebuah pondok di Gunung Semanggol, iaitu Madrasah ar-Rahmaniah. Pondok itu dinamakan demikian adalah sempena nama pengasasnya, Haji Abdul Rahman bin Mahmud, seorang alim yang pernah belajar di al-Azhar, Mesir dan Masjid al-Haram di Mekah. Syeikh Abu Bakar al-Baqir belajar di pondok itu selama enam tahun yakni pada tahun 1919-1924. Selepas itu beliau pindah ke Madrasah Dairatul-Maarif al-Wataniah di Kepala Batas, Seberang Perai Utara. Di Kepala Batas, beliau diajar oleh guru yang berkebolehan termasuklah Tok Guru Haji Abdullah bin Ibrahim (Haji Abdullah Pak Him), seorang tokoh ulama yang terkenal di sebelah utara Semenanjung. Beliau belajar di situ selama enam tahun.

Ketika gurunya, Haji Abdullah bin Ibrahim berpindah mengajar ke Madrasah Idrisiah, Kuala Kangsar, Syeikh Abu Bakar juga berpindah ke sana, berada di sana selama tiga tahun (1931-1933), separuh masa pertama sebagai pelajar, dan pada separuh masa yang kedua sebagai guru pelatih dengan diberi gaji RM30.00 sebulan.