Abdullah Jaafar dan empat lagi adik-beradiknya pernah menjadi Menteri Besar Johor. Bapanya Dato Jaafar bin Haji Muhammad juga Menteri Besar Johor. Ramai sekali ahli keluarganya mendapat jawatan dalam kerajaan negeri Johor. Ini kerana bapanya Jaafar Muhammad mementingkan pendidikan Barat , Melayu dan Islam dengan menjemput guru datang ke rumah mengajar anak-anaknya di istana Bukit Senyum.