Kehidupan awal dan pendidikan

Spencer dilahirkan di Melbourne, Victoria, Australia. Ibubapanya Robyn dan Rodney Spencer adalah pengasas parti politik Australians Against Further Immigration dan beberapa kali menerima pencalonan dalam pilihanraya persekutuan dan negeri bagi mewakili parti tersebut dan One Nation.[1] Dia mempunyai dua orang abang, Tarney (ahli pembedahan plastik mata) dan Luke (perunding ortopedik), dan seorang adik perempuan, Polly (perunding anestatik).

Spencer belajar di Sekolah Rendah Canterbury , Sekolah Menengah Malvern dan Scotch College(kolej swasta). Ketika di Kolej Scotch, dia menyertai ujibakat bagi drama lipur lara, Neighbours. Dia terus berusaha mendapatkan kelulusan VCE sambil bekerja dalam rancangan itu dan bergraduasi pada tahun 1997.[petikan diperlukan]