Lee menggunakan perkataan "ultra" untuk kali pertama dalam tahun 1964, apabila beliau memberitahu pemimpin-pemimpin UMNO secara terbuka untuk "menghapuskan ultra mereka". Pada masa ini, belum setahun telah lalu semenjak Singapura bercantum dengan Tanah Melayu, Sabah, dan Sarawak untuk membentuk Malaysia. Ucapan Lee menimbulkan kerisauan dalam kalangan pemimpin-pemimpin UMNO. Walaupun ia tidak jelas dari mana Lee mendapat perkataan "ultra", tetapi kemungkinannya, beliau menjumpainya dalam satu thesis PhD. Pada tahun 1960, Lee seorang daripada tiga orang yang menilai thesis PhD Gordon Paul Means, yang bertajuk "Kerajaan dan Politik Tanah Melayu dalam Peralihan". Pada satu muka surat salinannya, Lee menggariskan perkataan "ultra" dengan pensel yang tebal dan menulis satu penanda seruan di atasnya. [1]