Orang Buranun dipercayai ialah yang terawal menduduki kawasan pergunungan di Sulu dan penempatan terkenal mereka ialah di Maimbung.

Orang Tagimaha pula bermaksud kumpulan pelindung yang datang dari Pulau Basilan yang mana asal sebenar mereka adalah dari pulau besar Mindanao juga dan penempatan terkenal mereka adalah di Buansa atau sekarang dikenali sebagai Jolo (disebut Holo).

Orang Baklaya yang bermaksud orang yang menduduki persisiran pantai dipercayai datang dari Sulawesi Indonesia dan penempatan mereka adalah di Patikul. Orang Baklaya merupakan nenek moyang kepada bangsa Bajo atau Bajau dari Daerah Wajo di Sulawesi.

Orang Banjar pula berasal daripada suku kaum Dayak yang apabila telah di-Islamkan dikenali sebagai Banjar merujuk kepada daerah Banjarmasin di Kalimantan, Borneo Indonesia. Tempatnya di Kalimantan adalah di Banjar Masin. Lantaran itu, bahasa orang-orang Banjar menyamai 80% bahasa Dayak Kalimantan.

Orang Dampuan pula berasal dari Champa iaitu salah satu tempat bersejarah di IndoChina yang sekarang dikenali sebagai Vietnam dan kaum-kaum seperti inilah yang disebut di atas yang telah mewarnai wajah, bahasa dan rupa paras orang Tausug itu sendiri.[1]

Suku kaum Tausug juga mempunyai beberapa dialek atau mengikut kawasan atau daerah yang antaranya ialah dialek Tausug Tapul, Tausug Basilan, Lugus, Gimbahanun dan lain-lain. Unsur-unsur bahasa Jawa yang juga ada terdapat dalam Bahasa Sug ini tidaklah menghairankan kerana rumpun Melayu di rantau Nusantara ini antara satu sama lain ada persamaannya. Hal ini disebabkan kekuasaan kerajaan Srivijaya dan Majapahit di tanah Jawa pernah mempengaruhi daerah-daerah sekitar wilayah Kepulauan Sulu sebagaimana sebelum kemunculan kerajaan awal Melayu Melaka. Maka setelah kedatangan Islam muncullah Kesultanan Sulu sekitar tahun 1457 M dan pemerintahan Sultan-sultan Sulu berlangsung begitu lama yang mana ia telah menyumbang kepada ketahanan bahasa Sug hingga hari ini.