Mengikut sejarah tempatan, adapun Kampung Serkam ini diambil namanya daripada sekam padi. Kata orang tua-tua “ikutlah resmi padi, jangan ikut resmi lalang”. “Ada padi serba jadi,ada beras serba deras”.Kampung Serkam juga diambil dari perkataan arab iaitu 'sir' bermaksud rahsia dan 'kam' bermaksud banyak.Apabila kedua-dua perkataan ini digabungkan menjadilah 'sirkam' tetapi ditukarkan ejaannya menjadi 'serkam'

Jenis-Jenis Serkam

1. Serkam Darat
2. Serkam Pantai
3. Serkam Timur
4. Serkam Pekan
5. Serkam Tengah
6. Serkam Anak Air

Pekan Berdekatan

1. Umbai
2. Tedong