Brian merupakan anak bongsu daripada lima adik-beradik[1] termasuk empat orang kakak.[2] Ibunya Mary Ann Guillerline (nama keluarga asal: McCann), merupakan seorang pekerja di sebuah kilang benang jut[3] manakala ayahnya Charles McArdle Campbell Cox, seorang penjual daging dan peniaga - Charles meninggal ketika Brian berusia lapan tahun.[3][4] Ibu pula sering mengalami masalah emosi sepanjang Brian membesar, maka kakak-kakaknyalah yang membesarkannya sekali.[2]

Beliau mula berjinak dalam lakonan teater setelah menyertai Dundee Repertory Theatre pada usia 14 tahun.