Isteri pertamanya ialah Datin Sulaimah Marji dan meninggal pada 2007. Mereka mempunyai dua anak lelaki iaitu Mohammad Khair bin Hormat Rafei dan Abdul Malek bin Hormat Rafei. Beliau mempunyai enam anak lelaki dan dua anak perempuan.

Pada 12 Ogos 2008, Hakim Datuk Aziah Ali di Mahkamah Tinggi Kuala Lumpur memerintahkan Mohammad Khair bin Hormat Rafei dan Abdul Malek bin Hormat Rafei mengosongkan banglo dua tingkat di alamat No. 25, Jalan Kedondong, Jalan Ampang Hilir sebagaimana perjanjian 16 Jun 2003 dan menyerahkannya kepada Datuk L. Krishnan yang membelinya pada harga RM1.5 juta .Krishnan, 86, adalah bekas pengarah filem yang menaikkan nama Tan Sri P. Ramlee ke dunia perfileman.Krishnan menguruskan syarikat memproses filem, Gayacolour Laboratory Sdn. Bhd telah diwakili oleh peguam Nicholas Netto.[1]