Semasa Perang Dunia II, Lt. Jen. Tomoyuki Yamashita memindahkan markasnya ke Istana Bukit Serene di Johor Bahru. Daripada istana tersebut, Yamashita dapat melihat kedudukan askar Australia di seberang Selat Johor. Walaupun diberikan nasihat oleh pegawai-pegawainya bahawa Istana Bukit Serene sasaran mudah untuk diserang, Tomoyuki Yamashita sendiri yakin pihak British tidak akan menyerang Istana Bukit Serene yang menjadi pusaka Sultan Johor. Tekaan Tomoyuki Yamashita tepat sekali; pihak British tidak menyerang Istana Bukit Serene. Tomoyuki Yamashita menggunakan menara Istana Bukit Serene sebagai tempat pemerhatian untuk meninjau keadaan di Pulau Singapura.