Woollahra adalah perkataan Aborigin yang bermaksud kem, tempat pertemuan atau tempat duduk. Maksud perkataan itu digunakan oleh Daniel Cooper (1821–1902), pembicara pertama dewan perundangan di New South Wales, ketika ia meletakkan dasar-dasar Rumah Woollahra pada tahun 1856. Ia dibina di tapak Rumah Henrietta Villa (atau Rumah Point Piper) yang lama. Cooper dan keturunannya bertanggung jawab atas pendirian dan kemajuan pinggir bandar dan namanya diambil dari rumah itu.[2]

Woollahra adalah kediaman John McGarvie Smith, seorang ahli metalurgi dan ahli biokimia yang menghasilkan vaksin antraks pertama yang dapat dipelihara.