Allen Ludden, lahir sebagai Allen Packard Ellsworth, merupakan anak sulung kepada Elmer Ellsworth dan Leila M. Allen. Elmer Ellsworth meninggal dunia di usia 26 tahun dan antara mangsa epedemik selesema Sepanyol, pada 6 Januari 1919. Ketika Allen berusia lima tahun, Leila Ellsworth mengahwini seorang jurutera elektrik, Homer Ludden, Jr. Nama keluarga Allen ditukar dan menjadi Allen Ellsworth Ludden.

Ludden mengahwini Margaret McGloin pada 11 Oktober 1943. McGloin meninggal dunia kerana kanser pada 30 Oktober 1961. Mereka dikurniakan seorang anak lelaki,David dan dua orang anak perempuan, Martha dan Sarah.

Beliau telah bertemu dengan pelakon Betty White, di set Password, dan telah melamar White sebanyak dua kali sebelum White menerima lamarannya.[1] Mereka berkahwin pada 14 June 1963 dan kekal bersama sehingga kematian Allen.

After Ludden telah disahkan menghidap barah perut pada awal 1980. Pada 7 Oktober 1980[2], beliau telah jatuh koma ketika sedang bercuti di Monterey, California. Pada mulanya beliau dilaporkan menghidap strok, namun seterusnya laporan mendapati kandungan kalsium tinggi yang diambil untuk melawan kanser adalah penyebab koma. Ludden meninggal dunia pada 9 Jun 1981 di Los Angeles iaitu beberapa hari sebelum ulang tahun perkahwinan ke-18 beliau bersama Betty White. [3] Beliau berusia 63 dan dikebumikan bersebelahan kubur bapanya di Mineral Point, Wisconsin.