Ibrahim Yaakob berasal daripada keturunan Bugis, di Sulawesi Selatan. Ibu bapanya merantau ke Riau dan seterusnya ke Temerloh, Pahang sekitar tahun 1920-an. Ayahnya Haji Yaakob merupakan guru agama dan tokoh yang dihormati. Ibunya bernama Hawa binti Hussein. Ketika berusia 2 tahun, ibu bapanya bercerai. Beliau dipelihara oleh ibunya dengan hidup sederhana.

Pada batu nisan isterinya tercatat nama Maria Kamel bin H Siraj lahir 15 Disember 1920 dan meninggal dunia pada 20 November 2002. Sejarawan Cheah Boon Keng mencatat nama isteri Ibrahim Yaacob sebagai Mariatun Haji Sirat.