Sebahagian besar masyarakat Melayu Langkat, terutama di daerah Langkat Hulu, meyakini bahwa nenek moyang mereka berasal dari keturunan orang Batak Karo yang datang dari Taneh Karo, yang letaknya tidak berjauhan dari lokasi kediaman mereka. Karena sudah berasimilasi dalam jangka waktu lama, mereka mulai meninggalkan kebiasaan lamanya, misalnya kebiasaan menggunakan nama marga, dan beralih menjadi pemeluk agama Islam, sehingga diterima sebagai orang Melayu. Cerita mengenai asal-usul orang Melayu Langkat ini, antara lain tercermin dalam salah sebuah pantun mereka yang berbunyi:[1]

Bukan kapak sembarang kapak

kapak untuk membelah kayu

Bukan Batak sembarang Batak

Batak sudah menjadi Melayu