Beliau merupakan keturunan diraja Johor. Bapanya, Ungku Abdul Hamid Ungku Abdul Majid merupakan seorang Leftenan dalam pasukan tentera Timbalan Setia Negeri Johor (JVC). Ibunya bernama Hamidah bte Abdullah, rakyat Turki yang beragama Islam. Pada 1924, ibunya meninggal dunia ketika Ungku Aziz berusia dua tahun. Setelah dilahirkan di London, beliau dibawa pulang ke Batu Pahat, Johor. Datuknya, Ungku Abdul Majid membawanya menjelajah ke serata Eropah.[2]

Ayahnya seorang yang pintar dan pernah belajar di Universiti Cambridge dan boleh menguasai bahasa Parsi, Arab dan Sanskrit.

Beliau telah berkahwin dengan Sharifah Azah Aziz dan telah dikurniakan seorang anak perempuan iaitu Y.M. Tan Sri Dato' Sri Dr. Zeti Akhtar Aziz, bekas Gabenor Bank Negara Malaysia. Beliau juga merupakan sepupu kepada intelektual Muslim tersohor, Y.M. Tan Sri Prof. Dr. Syed Muhammad Naquib al-Attas.[3][4]