Beliau berkahwin dengan Puan Sri Sakinah Syeikh Juned pada 15 Ogos 1947 dan mempunyai 9 orang anak, 2 orang lelaki dan 7 orang perempuan, iaitu Noor Dianauli, Husni Zaim, Ratna Inzah, Mutia Sabihah, Naliyah, Khalidah, Nasibah, Najah dan Mohd Taqiuddin.

Tiada ahli keluarga Tan Sri Asri yang mengikuti jejak langkah beliau di dalam politik.

Ada diantara anak beliau yang menetap di Brunei Darussalam dan telah di kurniakan kerakyataan Negara Brunei Darussalam oleh Kebawah Duli Yang Maha Mulia Paduka Seri Baginda Sultan Haji Hassanal Bolkiah Muizzaddin Wadaulah, Sultan dan Yang Di-Pertuan Negara Brunei Darussalam.