Sewaktu pemerintahan Raja Edward (1272-1307) kawasan ini diketahui sebagai Manor of Sheen. Nama ini ditukarkan ke Richmond sewaktu pemerintahan Henry VII. Pada 1625 Charles I membawa halamannya ke Istana Richmond untuk melarikan diri dari plak di London dan mengubahnya menjadi sebuah taman untuk rusa merah dan fallow. Keputusan baginda, pada 1937, untuk memagari tanah itu adalah tidak masyhur dengan penetap tempatan, tetapi dia tidak membenarkan pejalan kaki jalan yang benar. Ke hari ini dindingnya masih kekal, walaupun ia separuh dibina dan konkrit bertetulang.

Pada 1847 Pembroke Lodge menjadi rumah Perdana Menteri, Lord John Russell dan kemudian rumah zaman kanak-kanak cucu beliau, Bertrand Russell. Ia sekarang adalah sebuah restoran masyhur dengan pemandangan cemerlang terhadap Lembah Thames.