Hassan Adli keturunan Banjar dari Banjarmasin. Kedua-dua ibubapanya adalah dari keturunan Banjar dari Banjarmasin, walaupun ibu kepada ayahnya adalah keturunan bangsawan Pulau Kei, Sulawesi Tenggara. Bapanya, Haji Arshad bin Haji Muhammad Salleh seorang ulama besar yang berasal dari sebuah perkampungan kecil di Kei, Daerah Tual, Provinsi Maluku Tenggara di kepulauan Indonesia. Pada tahun 1918 Haji Muhammad belayar dari Banjarmasin dan menetap di Tanah Melayu. Pada 1953, Bapanya mengasaskan dan menjadi guru besar Madrasah al-Ulum as-Syar'iyyah, Batu 20 Bagan Datoh, Perak. Bapanya adalah ulama yang sangat dihormati dan mendapat pendidikan dari Mekah.

Bapanya, Haji Arshad berkahwin dengan Saiyah Ujal dari Kampung Parit Dayang, Bagan Datoh dan semasa mengerjakan haji di Mekah , Hassan Adli dilahirkan.