Kampung Pulau Rusa pada asalnya merupakan sebuah pulau yang mempunyai keluasan 57 hektar di Sungai Terengganu. Penduduk kampung tersebut menjadikan perahu dan bot penambang sebagai pengangkutan mereka untuk pergi ke kampung lain sebelum Jambatan Manir dibina pada tahun 1960.

Nama Kampung Pulau Rusa pula berasal dari nama sebatang poko rhu yang tumbuh di bahagian tengah kampung lalu dinamakan kampung ini oleh penduduk kampung dengan nama Kampung Pulau Rhu Sebatang (Kampung Pulau Rhu Se) sebelum dipendekkan menjadi Kampung Pulau Rusa. Tambahan pula, 'se' bermakna 'satu' dalam bahasa Terengganu. Bagaimanapun, pokok rhu itu telahpun ditebang dan didirikan sebuah masjid di atas tapak tersebut.

Ketika zaman sebelum merdeka, Kampung Pulau Rusa ini terbahagi kepada 8 buah kampung iaitu Kampung Pulau Rhu Se Chegar, Pulau Rhu Se Haji Wan Nik, Pulau Rhu Se Masjid, Pulau Rhu Se Rang, Pulau Rhu Se Sekolah dan Pulau Rhu Se Haji Wan Chik. Namun, selepas kerajaan membina jambatan dan jalanraya, Kampung Pula Rusa digabungkan menjadi 2 buah kampung iaitu Kampung Pulau Rusa Hulu dan Kampung Pulau Rusa Hilir yang kekal hingga kini. Antara keunikan Kampung Pula Rusa ini adalah ianya hanya diduduki oleh orang Melayu selain dihubungkan kampung lain dengan 5 buah jambatan.[1]