Tempat tinggal Gabenor pertama New South Wales, Kapten Arthur Phillip, ialah struktur yang diperbuat daripada kanvas dan kayu yang dibawa dari England dengan First Fleet dan didirikan pada Januari 1788. Selepas mewujudkan tapak penempatan, rumah kerajaan "sementara" yang besar terletak di sudut Bridge Street dan Phillip Street, Sydney kini.

Usaha terdesak untuk tanah pertanian sesuai bagi menampung tanaman untuk memberi makan kepada koloni baru membawa kepada penubuhan perbandaran Parramatta dan, pada tahun 1790, Gabenor Arthur Phillip membina sebuah kediaman kedua untuk dirinya di sana. Kotej ini, seperti banyak struktur awal penempatan, tidak dibina dengan kukuh,[3] dan rosak,[4] yang dirobohkan menjelang 1799. Walau bagaimanapun, menjadi ikutan untuk "kediaman desa" bagi Gabenor telah ditetapkan. Kediaman desa Gabenor lain termasuk kotej yang dibina di Windsor menghadap ke Sungai Hawkesbury (sekitar tahun 1790) dan tempat tinggal di Port Macquarie (sekitar 1821) di mana runtuhan masih boleh dilihat.

Kualiti buruk Rumah Kerajaan Sydney asal, serta jenayah dan keadaan yang tidak bersih di kawasan penempatan Sydney yang semakin meningkat[5] menyakinkan Gabenor yang seterusnya untuk menanam hasrat mewujudkan kediaman luar bandar. Pada 1799 Gabenor kedua, John Hunter, mempunyai tinggalan kotej Arthur Phillip yang dibersihkan, dan bangunan yang lebih kekal didirikan di atas tapak yang sama.

Kemudian, bermula pada tahun 1815, Gabenor Lachlan Macquarie dan Puan Macquarie menambah dengan meluas kepada struktur Hunter dan menjelang 1818 kediaman utama mereka telah memperoleh penampilan yang telah dikekalkan hingga hari ini (pelanjutan bangunan gaya Palladian telah direka oleh pembantu Macquarie, Leftenan John Watts).[5]

Bangunan luar dalam Domain Gabenor termasuk rumah mandian cacat dikaitkan dengan Francis Greenway (1822), beberapa batu dari Balai Cerap yang dibina untuk Gabenor Thomas Brisbane (1821) dan sebuah rumah ladang kecil yang dibina oleh George Salter pada 1798–1806 dan diperoleh dan diperluas oleh Gabenor Lachlan Macquarie pada tahun 1816 untuk digunakan sebagai tenusu. Bangunan ini kini dikenali sebagai Dairy Cottage dan mempunyai senarai warisan.[6]

Rumah Kerajaan Lama dilengkapi dalam gaya tahun 1820-an awal dan dibuka kepada pelawat. Ia terletak di Parramatta di taman 110 hektar (260 ekar) yang menghadap ke Sungai Parramatta, dan bangunan awam tertua di Australia. Kawasan itu menarik minat tertentu kerana ia merupakan rizab era penjajah yang agak tidak terganggu yang dikelilingi oleh apa yang kini kawasan bandar Australia terbesar. Amalan pengurusan tanah "kayu api" yang dijalankan oleh orang asli suku Darug, yang pernah menetap di kawasan itu, adalah jelas dari parut tertentu yang dapat dilihat di atas pokok yang masih berdiri (kulit mereka dikeluarkan untuk membina kanu). Juga, cangkerang digunakan untuk menguatkan mortar yang digunakan dalam pembinaan House telah didapati berasal dari longgokan buangan Orang Asli.[5]

Rumah Kerajaan Lama dan Domain Kerajaan telah dimasukkan ke dalam Senarai Warisan Kebangsaan Australia pada 1 Ogos 2007.