คำ ว่า “ปันหยี” แปลว่า “ธง” มาจากภาษาอินโดนีเซีย ในอดีตมีครอบครัวชาวชวา หรือชาวอินโดนีเซีย 3 ครอบครัวหนึ่งในนั้นมี “โต๊ะนาบู” เป็นผู้นำการอพยพออกมาหาที่ทำกินใหม่ ตกลงกันว่าหากใครพบที่ทำกินที่อุดมสมบูรณ์ ให้ปักธงไว้

สภาพทั่วไป
ตามที่พระราชบัญญัติสภาตำบลและองค์การบริหารส่วนตำบล พ.ศ. 2537 ได้มี ผลบังคับใช้ตั้งแต่ วันที่ 2 มีนาคม 2538 ได้มีการประกาศจัดตั้งองค์การบริหารส่วนตำบลเกาะปันหยี ซึ่งตั้งอยู่ทางทิศตะวันตกเฉียงใต้ของที่ว่าการอำเภอเมืองพังงา ประมาณ 7 กิโลเมตร มีพื้นที่ประมาณ 108 ตารางกิโลเมตร และมีอาณาเขตติดต่อดังนี้
ที่ตั้ง
ทิศเหนือ ติดต่อ กับ ตำบลตากแดด อำเภอเมืองพังงา จังหวัดพังงา บริเวณกึ่งกลางคลองเขาตกน้ำ บริเวณพิกัด MK 419249 ไปทางทิศเหนือ ถึงบริเวณพิกัด MK 443266 และตัดผ่านสู่กึ่งกลางคลองในหงบ ถึงบริเวณพิกัด MK 453292 และไปทางทิศตะวันออกตัดผ่านกึ่งกลางเกาะปันหยีถึงบริเวณพิกัด MK 466291 และไปทางทิศใต้ตามกึ่งกลางคลองเกาะปันหยีถึงบริเวณพิกัด MK 469283 ซึ่งเป็นอาณาเขตติดต่อกับตำบลถ้ำน้ำผุด แล้ววกไปทางทิศตะวันออกตามกึ่งกลางคลองและผ่านไปทางทิศเหนือถึงบริเวณพิกัด MK 487297 รวมระยะทางด้านทิศเหนือประมาณ 13 กิโลเมตร
ทิศใต ้ ติดต่อกับ ตำบลเกาะยาวน้อย อำเภอเกาะยาว จังหวัดพังงา บริเวณร่องน้ำลึกบริเวณพิกัด MK 574134 ไปทางทิศตะวันตกตามร่องน้ำลึก ถึงบริเวณ MK 473134 รวมระยะทางด้านทิศใต้ประมาณ 10 กิโลเมตร
ทิศตะวันออก ติดต่อ กับ ตำบลบางเตย อำเภอเมืองพังงา จังหวัดพังงา บริเวณพิกัด MK 487297 ไปทางทิศใต้แล้วตัดผ่านกึ่งกลางคลองพังงา บริเวณพิกัด MK 489272 และผ่านไปตามกึ่งกลางคลองพังงา ผ่านร่องน้ำลึกด้านทิศตะวันออกของเกาะกลางเหนือไปจนถึง บริเวณพิกัด MK 570191 ซึ่งเป็นเขตติดต่อกับอำเภออ่าวลึก จังหวัดกระบี่ และไปทางทิศใต้ตามร่องน้ำลึก ถึงบริเวณพิกัด MK 574134 รวมระยะทางด้านทิศตะวันออกประมาณ 19 กิโลเมตร
ทิศตะวันตก ติดต่อ กับ อำเภอตะกั่วทุ่ง จังหวัดพังงา บริเวณร่องน้ำลึกบริเวณพิกัด MK 473134 ไปทางทิศเหนือผ่านด้านทิศตะวันตกของเกาะนมสาวน้อยและผ่านสู่กึ่งกลางคลองเขา ตกน้ำไปจนถึงบริเวณ MK 419249 ซึ่งเป็นจุดเริ่มต้นด้านทิศเหนือ รวมระยะทางด้านทิศตะวันตกประมาณ 14 กิโลเมตร
เนื้อที่
องค์การบริหารส่วนตำบลเกาะปันหยี มีเนื้อที่ประมาณ 108.09 ตารางกิโลเมตร
ภูมิประเทศ 
พื้นที่ส่วนใหญ่ตั้งอยู่ในทะเลอ่าวพังงา และบริเวณป่าชายเลนอุทยานแห่งชาติอ่าวพังงา มีหมู่บ้านจำนวน 4 หมู่บ้าน ดังนี้
หมู่ที่ 1 บ้านท่าด่าน ตั้งอยู่บริเวณน้ำตื้นในอ่าวพังงา
หมู่ที่ 2 เกาะปันหยี ตั้งอยู่บริเวณน้ำตื้นในอ่าวพังงา
หมู่ที่ 3 เกาะไม้ไผ่ ตั้งอยู่บนเกาะและป่าชายเลนอ่าวพังงา
หมู่ที่ 4 เกาะหมากน้อย ตั้งอยู่บนเกาะในอ่าวพังงา

เกาะปันหยีหรือบ้านกลางน้ำ ซึ่งตั้งอยู่ที่ ตำบลเกาะปันหยี อำเภอเมือง จังหวัดพังงา ชื่อนี้มีที่มาเนื่องจาก “โต๊ะบาบู”ผู้นำชาวอินโดนีเซียอพยพมาเมื่อ 200 ปีก่อน เมื่อมาเจอเกาะปันหยีได้ขึ้นไปปักธงให้พรรคพวกที่อพยพ มาด้วยกันรู้ว่าเป็นสถานที่เหมาะสมที่จะตั้งบ้านเรือน คำว่า “ปันหยี” แปลว่า “ธง” มีลักษณะเป็นหมู่บ้านที่ตั้งเรียงราย อยู่บนทะเลมีที่ดินนิดเดียวซึ่งเอาไว้เป็นที่สร้างมัสยิดและกุโบว์ ชาวเกาะส่วนใหญ่นับถือศาสนาอิสลาม และสร้าง หมู่บ้านแทบทั้งหมดด้านหน้าของหน้าผาหินปูนเหนือน้ำทะเล ชาวบ้านส่วนใหญ่ประกอบอาชีพทำประมงพื้นบ้าน ตลอดจนมีร้านขายของที่ระลึกและร้านอาหารมากมายบนเกาะ เป็นแหล่งที่นักท่องเที่ยวจากทั่วโลกมาแวะเยี่ยม ชมมีสินค้าที่ ี่ระลึกจำหน่าย เช่น ผลิตภัณฑ์จากเปลือกหอย ผ้าบาติก สร้อย กำไล แหวน ที่ทำมากจากหอยมุก และยังมีผลิตภัณฑ์อื่น ๆ อีก เช่น น้ำพริกกุ้งเสียบ กะปิและเป็นจุดพักทานอาหาร นักท่องเที่ยว มักนิยมมาทาน อาหารกลางวันที่เกาะปันหยี

การเดินทางไปเกาะปันหยี
สามารถซื้อแพคเกจทัวร์ท่องเที่ยวจากจังหวัดภูเก็ต หรือพังงา ซึ่งมีให้บริการมากมาย โปรแกรมท่องเที่ยว ใช้เวลา ประมาณครึ่งวันโดยเริ่มจากการล่องเรือชมทัศนียภาพของอ่าวพังงา ผ่านเขาต่างๆ เช่น เขาหมาจู ถ้ำลอด เกาะพนัก เกาะห้อง เกาะปันหยี เขาพิงกัน เขาตะปู หรือหากมาเป็นหมู่คณะก็สามารถเหมาเรือหางยาว จากท่าเรือ ไปได้ ลำละประมาณ 1000 บาทนั่งได้ 10-12 ค