Shaziman ialah sepupu kepada Ketua Pemuda UMNO Malaysia, Khairy Jamaludin daripada sebelah bapanya. Bapanya Abu Mansor ialah adik kepada Jamaludin. Bapanya pekerja Keretapi Tanah Melayu Berhad (KTM). Ibu Khairy Jamaludin orang Kedah, sementara ibu Shaziman orang Negeri Sembilan. Hanya ayah mereka adik-beradik dan berasal dari Kampung Gadong, Kota, dalam daerah Rembau. Shaziman dan Khairy ialah cucu kepada Penghulu Abu Bakar. Ibu Shaziman bernama Ramlah, dari Kampung Tanah Datar, Gadong.

Shaziman dilahirkan ketika bapanya menetap di kuarters Stesen Kereta Api Ipoh, Perak. Setelah bersara, bapanya pulang ke kampung lalu menetap di Taman Woon, Tampin.

Isterinya Datin Rozana Mohd. Khalid.