Beliau telah berumahtangga dengan Datin Seri Fadilah binti Abdullah pada tahun 1993.Mereka mendapat anak bernama Luqman Hakim dan Amira.

Arwah bapanya, Haron Hashim, adalah penghulu bersara dan meninggal dunia pada 1972 ketika berusia 64 tahun. Ketika itu ibunya, Rokiah Hassan, yang juga isteri kedua, baru berusia 24 tahun. Arwah bapanya mempunyai dua anak lelaki dengan isteri pertama dan dengan Rokiah mempunyai empat anak, Sabariah, Rashidah, Idris dan Rozana. Ibunya kahwin lain selepas itu dan mengikuti suami barunya pulang ke Belading, Tangkak.

Dia empat beradik terpaksa menumpang di rumah datuk dan neneknya di Asahan, Jasin, selama enam bulan.Kemudian tinggal bersama abangnya (berlainan ibu) . Abang keduanya itu, Ahmad Haron, bertugas sebagai guru besar, mempunyai lima anak dan turut menjaga seorang anak angkat bapanya.