Menjelang Julai 1788, enam bulan selepas First Fleet mendarat di Sydney Cove (Teluk Sydney), Gabenor Arthur Phillip telah menubuhkan sebuah ladang kecil di teluk itu betul-betul di timur, ia dinamakan Farm Cove. Jauh ke lembah sungai yang mengalir ke dalam Farm Cove, Gabenor Phillip mengetepikan kawasan terbuka untuk kegunaan eksklusif Gabenor dikenali sebagai ‘Phillip Domain’. Ia meliputi kawasan timur daripada Tank Stream ke kepala Teluk Woolloomooloo (Walla Mulla). Ladang ini telah didirikan untuk penanaman bijirin, tetapi tidak lama kemudian dipindahkan ke Parramatta, kerana tanahnya yang berpasir dan tidak subur. Kawasan Farm Cove (Woccanmagully) kemudiannya dipajakkan untuk pertanian persendirian untuk dua puluh tahun akan datang.

Walaupun parit telah digali untuk menentukan sempadannya pada tahun 1792, Domain secara beransur-ansur dicerobohi oleh orang lain dalam tahun-tahun berikutnya. Gabenor Bligh cuba untuk menuntut semula Domain yang menjadi sebab-sebab 'Pemberontakan Rum' 26 Januari 1808.

Sebaik sahaja beliau tiba pada tahun 1810, pengganti Bligh Gabenor Macquarie membina dinding batu di sekitar taman Rumah Kerajaan dan Domain Kerajaan, memisahkannya daripada Taman Hyde. Tarikh pengasasan tradisional Taman Botani diambil sebagai tarikh penyiapan Mrs Macquaries Road, pada 13 Jun 1816. By 1817, Domain telah tertutup sepenuhnya dan sistem jalan raya telah lengkap termasuk beberapa pintu untuk mengawal lalu lintas berkuda. Domain itu sendiri telah dibersihkan daripada pokok-pokok dan dibuka sebagai kawasan awam dalam tahun 1830-an. Akhirnya, Domain Dalam, kawasan yang paling dekat dengan Rumah Kerajaan, telah sepenuhnya digunakan oleh Taman Kerajaan manakala kawasan yang kini dikenali sebagai Domain ketika itu ialah Domain Luar.

Walaupun Domain telah mengecut pada tahun-tahun berikutnya ia kekal sebagai penampan penting kepada Taman. Tumbuhan asli telah dibersihkan dan galur daripada Presint Phillip diisi. Dalam tahun 1830-an, kawasan hijau yang luas daripada Domain kini dibuka kepada orang ramai, yang boleh berjalan-jalan dan berkelah di sana. Domain barat Macquarie Street kemudian dijual untuk membayar untuk pembinaan Rumah Kerajaan yang baru dan Circular Quay.