Satu keistimewaan yang ada pada pulau tersebut adalah tentang kisah legenda. Kisah ini berkenaan dengan sepasang orang nelayan yang telah bertukar menjadi ikan duyung. Kisah ini agak popular di kalangan penduduk di sana, mereka mempercayai pada suatu hari isteri kepada seorang nelayan sedang sarat mengandung. Dia terlalu mengidamkan beberapa rumpai laut untuk dijadikan hidangan. Selepas makan, dia bertukar menjadi seekor ikan duyung. Suaminya yang berputus hati tentang peristiwa yang berlaku terhadap isterinya itu pun marah, lalu memarahi pulau itu dengan menggelarkan pulau babi. Sehingga sekarang, pulau ini masih menggunakan nama pulau babi.