Бухта Пханг Нга в основном про пейзажи, а Ко Панйи — про людей. Около 1600 жителей, примерно 360 семей, живут на острове площадью всего 0,13 квадратного километра, в домах и на мостках над водой. Рыболовство по-прежнему остаётся главным источником дохода, а говорят здесь на тайском и малайском. Прогулка по узким деревянным переулкам мимо сохнущей рыбы и маленьких лавок придаёт бухте человеческий масштаб, которого нет у знаменитых скальных башен.
У деревни и интересная история. Поскольку тайский закон когда-то разрешал владеть землёй только людям тайского происхождения, основатели возвели дома прямо над водой, а первыми постройками на твёрдой земле стали мечеть и колодец с пресной водой. Сегодня мечеть с золотым куполом — место встреч общины, а самая известная достопримечательность — плавучее футбольное поле, построенное местными мальчишками под впечатлением от чемпионата мира 1986 года.