Biasanya, orang Mandailing boleh dikenali melalui pemakaian marga pada namanya. Perkataan marga atau clan itu berasal dari bahasa Sanskrit. Varga ertinya warna. Dalam hal ini marga bermaksud kelompok atau puak orang yang berasal dari satu keturunan. Hal ini samalah sebagaimana amalan kaum-kaum lain seperti orang Arab memakai nama suku dan orang Tionghoa memakai nama seh mereka.

Antara marga orang Mandailing yang biasa dikenali di Malaysia dan Indonesia ialah Nasution, Lubis, Pulungan, Daulae, Batubara, Rangkuti, Parinduri, Mardia, Dalimunte, dan Matondang. Marga Batak Mandailing pula, terdiri daripada Hasibuan, Harahap, Siregar, Simalungun, Sinambela, Simanjuntak, Sinaga, dan Siotang, Namun kini pemakaian marga pada nama orang Mandailing di Malaysia sudah semakin kurang dan hampir pupus. Hal ini disebabkan kebanyakan mereka sudah tidak begitu memahami tradisi dan asal usul keturunan atau sengaja menghilangkan identiti Mandailing kerana faktor-faktor tertentu. Faktor perkahwinan dengan wanita bukan Mandailing juga menyebabkan hilangnya penggunaan 'marga', meskipun sepatutnya anak tersebut masih berhak menggunakan nama marga mengikut bapanya.

Seperti kebanyakan masyarakat di dunia, masyarakat Mandailing adalah patriarki, iaitu mengikut nasab atau keturunan sebelah bapa. Hal ini menyebabkan hanya anak lelaki sahaja yang akan menjadi penyambung marga bapanya, yakni akan mewariskan marga tersebut kepada anak-anaknya. Bagi anak perempuan pula, mereka kekal dengan marga bapanya walaupun setelah berkahwin. Hal ini berbeza dengan wanita Cina atau Inggeris yang menggunakan nama keluarga suaminya. Namun wanita Mandailing tidak mewariskan marga tersebut kepada anak-anak mereka.