Sekolah ini ditubuhkan pada tahun 1947 di kawasan keretapi Tanah Melayu (English Primary School) dengan bilangan pelajar seramai 20 orang yang terdiri daripada berbilang kaum.

Jepun telah menubuhkan sekolah beratap nipah terdiri daripada tujuh buah kelas 2 orang guru and seorang pengetua iaitu A.M. Francis. Kegiatan kokurikulum cuma dalam bidang sukan. Pada tahun 1952, sekolah ini telah dipindahkan ke Jalan Tok Sulong dengan kelengkapan 12 bilik darjah dan sebuah makmal yang tidak lengkap.

Pada tahun 1960, Sekolah Menengah Tuanku Abdul Rahman telah didirikan. Sekolah ini terdiri daripada 3 buah bangunan 2 tingkat yang mengandungi 25 buah bilik darjah, makmal dan pejabat.