Tapak QVB dahuluya menempatka Georgen Street Markets, dan telah dipilih untuk pembinaan sebuah bangunan besar kerajaan. Arkitek George McRae mereka bentuk QVB dalam gaya Romanesque untuk mengambil sejumlah besar tukang mahir yang tidak bekerja kerana kemelesetan yang teruk. Bangunan ini siap pada tahun 1898 dan dinamakan Queen Victoria Building sempena pemerintah monarki ketika itu.

Bangunan yang siap termasuk kedai kopi, bilik pameran dan dewan konsert. Ia menyediakan persekitaran perniagaan untuk pedagang seperti tukang jahit, mercers, pendandan rambut dan kedai bunga. Dewan konsert kemudian ditukar kepada perpustakaan perbandaran dan pejabat untuk Majlis Bandaraya Sydney. Bangunan ini semakin merosot dan pada tahun 1959 telah diancam dengan perobohan. Ia telah dipulihkan di antara tahun 1984 dan 1986 oleh Ipoh Ltd dengan kos $ 86 juta, di bawah syarat pajakan 99 tahun dari Majlis Bandaraya dan kini mengandungi butik kebanyakannya kedai mewah dan berjenama.

Ipoh memulakan $26 juta pengubahsuaian pada tahun 2008 untuk bersaing dengan bangunan komersial lain dalam abad ke-21. Perubahan termasuk rupa kedai baru, papan tanda kaca, pelepar kaca, eskalator baru yang menghubungkan aras bumi, aras pertama dan kedua dan skim warna baru. [1] Perubahan moden telah digambarkan oleh pengkritik sebagai kitsch dan mengancam nilai-nilai warisan bangunan bersejarah. Mereka percaya bahawa kaca baru dan eskalator bercermin menceroboh ke dalam ruang seni bina asal dan hadapan kedai tanpa bingkai, papan tanda kaca dan skim warna baru telah merendahkan kepentingan warisan seluruh bangunan.[2]