Beliau dilahirkan pada 16 September 1918 di Pelabuhan Klang, Selangor dan merupakan abang sulung dalam keluarga

Beliau adalah abang kepada beberapa tokoh terkenal seperti Tan Sri Mohamed Hashim bin Mohd Ali (bekas Panglima Angkatan Tentera) ; Dato Ahmad Razali Mohd Ali (bekas Menteri Besar Selangor) ; Datuk Jaafar Mohd. Ali; Siti Hasmah Mohamad Ali dan Datin Saleha Mohd Ali. Adik iparnya ialah Tun Dr Mahathir Mohamad - Perdana Menteri Malaysia (1981-2003 dan 2018 hingga kini).

Isterinya Toh Puan Maimunah Abdul Latiff meninggal dunia dunia pada 1996. Beliau meninggalkan dua anak lelaki, Iskandar, seorang ahli bank dagang dan Ahmad Kamal, seorang arkitek.