Beliau mempunyai dua isteri iaitu Datin Sri Nor Azimah Abdul Mubin (45), guru sekolah menengah di Temerloh, Pahang. Seorang lagi ialah Rose Norasyikin Abdullah (25) seorang anggota polis di Cheras. Pada 16 Mac 2010, Datuk Ismail membawa dua isterinya menghadiri persidangan Dewan Rakyat.
