Baginda berkahwin sebanyak enam kali, ia itu dengan:

1. Sultanah Ungku Maimunah Binti Ungku Abdul Majid (sepupu baginda di mana Ungku Abdul Majid dan Almarhum Sultan Abu Bakar merupakan saudara sebapa) (15 November 1875 - 2 September 1908): Berkahwin di Istana Tyersall, Singapura pada 5 Oktober 1892, Ungku Maimunah ialah anak perempuan Ungku Abdul Majid ibni al-Marhum Tengku Temenggung Sri Maharaja Daeng Ibrahim. Beliau dimahkotai sebagai Sultanah Johor pada 2 November 1895, tetapi mangkat dengan awal pada umur 33.
2. Sultanah Rogayah (4 September 1880 - 8 Mac 1926): Beliau dimahkotakan sebagai Sultanah Johor pada 30 Ogos 1920.
3. Che Puan Hasana Binti Dato' Ja'afar: Hasana ialah anak perempuan Dato Ja'afar bin Haji Muhammad, Menteri Besar Johor yang pertama, dan adik kepada Dato Onn bin Ja'afar.
4. Ungku Intan Binti Ungku Ahmad: Berkahwin pada tahun 1926, Ungku Intan ialah anak perempuan Ungku Ahmad bin Ungku Muhammad.
5. Helen Bartholomew Wilson (21 Disember 1888 - 13 Ogos 1978): Dilahirkan di Glasgow, Scotland, United Kingdom, Helen Bartholomew Wilson berkahwin dengan Sultan di Woking, Surrey, England, United Kingdom pada 16 Oktober 1931 dan bercerai pada 31 Disember 1938. Bartholomew ialah janda kepada William Brockie Wilson, Esq., dan Sultan Ibrahim merupakan suaminya yang kedua. Beliau dimahkotakan sebagai Sultanah Johor di Istana Besar, Johor Bahru, pada 18 November 1931.
6. Marcella Mendl (7 November 1915 - 1 Jun 1983): Sultanah Fawzia dilahirkan di negara Jerman sebagai Marcella Mendel. Beliau ialah anak perempuan Edgar Mendel dari Romania. Berkahwin di London, England, United Kingdom pada 6 November 1941, beliau dimahkotakan sebagai Sultanah Johor pada 18 September 1956.

Baginda mempunyai empat orang anakanda lelaki dan seorang anakanda perempuan. Anakanda-anakanda lelakinya adalah seperti berikut:

1. Tunku Muhammad Khalid Ibni Al-Marhum Sultan Ibrahim Al-Masyhur diputerakan oleh Sultanah Ungku Maimunah:
2. Tunku Ismail Ibni Al-Marhum Sultan Ibrahim Al-Masyhur, juga diputerakan oleh Sultanah Ungku Maimunah:
3. Tunku Haris Abu Bakar Ibni Al-Marhum Sultan Ibrahim Al-Masyhur, diputerakan oleh Sultanah Rogayah:
4. Tunku Ahmad Ibni Al-Marhum Sultan Ibrahim Al-Masyhur, yang diputerakan oleh Che Puan Hasana.
5. Tunku Meriam Binti Al-Marhum Sultan Ibrahim Al-Masyhur, yang diputerikan oleh Sultanah Fawzia.