Pada 1923, bapanya telah berhijrah ke Singapura. Tun Yusof mengikuti keluarganya dan melanjutkan pelajaran di Victoria Bridge School sehingga Disember 1923.

Pada 1924, beliau menuntut di Institusi Raffles dan lulus Sijil Sekolah Cambridge (Cambridge School Certificate) pada 1927 dengan kepujian. Beliau kemudian diberi peluang untuk melanjutkan pelajaran di dalam kelas Queen's Scholarship.

Semasa di sekolah, beliau amat cenderung dalam bidang sukan. Di Institusi Raffles, beliau giat dalam sukan hoki, kriket, angkat berat dan tinju. Pada 1933 beliau menjadi juara tinju dalam kelas lightweight. Sebagai anggota Kor Kadet Sekolah beliau dinaikkan pangkat ke Leftenan Kedua dan menjadi pelajar tempatan pertama yang menyandang jawatan tersebut. Beliau juga merupakan ketua murid dan penyunting bersama majalah sekolah Rafflesian.