Pendudukan di Ko Panyi ditubuhkan pada akhir abad ke-18 oleh nelayan Melayu nomad.[2] Ko Panyi dikenali sebagai Pulau Panji dalam bahasa Melayu. Pada masa ini, undang-undang itu terhad kepada pemilikan tanah semata-mata kepada orang-orang asal-usul negara Thailand, dan kerana fakta ini, penyelesaiannya, sebahagian besarnya, dibina di atas panggung dalam perlindungan teluk pulau, menyediakan akses mudah bagi nelayan. Dengan peningkatan kekayaan untuk masyarakat, disebabkan oleh industri pelancongan yang berkembang di Thailand, pembelian tanah di pulau itu sendiri menjadi kemungkinan, dan struktur hubungan yang pertama telah dibina, masjid dan sumur air tawar.