Haji Mahadi pernah mendirikan rumahtangga dengan pelakon/pelawak Mak Enon, kemudian dengan Khatijah Khodri (kemudian menggunakan nama Jah Mahadi) isteri kedua dalam filem Madu Tiga (1964). Mereka dikurniakan tiga orang anak perempuan iaitu Rasidah, dan sepasang kembar Saemah dan Saodah. Pada 1966, Haji Mahadi berkahwin lagi bila rumahtangganya dengan Jah runtuh. Perkahwinan yang ini ada disiarkan dalam salah sebuah keluaran Majalah Filem tahun itu. Setelah menceraikan Khatijah Khodri, beliau mengahwini Rosminah Marzuki dan dikurniakan dengan dua cahaya mata perempuan, Aminah dan Sulasi. Rosminah Marzuki adalah isteri terakhir beliau.

Meninggal dunia

Haji Mahadi telah menghembuskan nafas terakhir pada 20 Februari 1983 di rumah isterinya, Rosminah Marzuki di Taman Maluri ketika berusia 69 tahun akibat sakit jantung.