แพทย์ผิวหนังทดสอบ GPT-6 Astra และ Claude Fable 5.1 กับมะเร็งผิวหนัง แล้ว CNN รุ่นปี 2015 ชนะ (ตุลาคม 2026)

เมื่อ 25 ตุลาคม 2026 Magnus Lynch แพทย์ผิวหนังและศัลยแพทย์ Mohs ที่โรงพยาบาล Guy's ในลอนดอน ซึ่งมีตำแหน่งวิชาการกิตติมศักดิ์ระดับ Honorary Reader ที่ King's College London เผยแพร่ผลทดสอบที่ให้โมเดลภาษาแนวหน้าสองตัววินิจฉัยรอยโรคผิวหนัง 200 รายจากภาพ แล้วเทียบกับโครงข่ายประสาทแบบ CNN ชื่อ Inception v3 ที่ Google เผยแพร่ตั้งแต่ปี 2015 ผลคือโมเดลภาษาทั้งสองตัววินิจฉัยถูกราว 42% ส่วน CNN ที่ปรับจูนเพียงราวยี่สิบนาทีถูก 62% (Lynch Lab) กระทู้บน Hacker News ของเรื่องนี้มีคะแนนกว่า 400 ในเช้าวันที่ 26 ตุลาคม (Hacker News)

หน้านี้สรุปวิธีทดสอบ ตัวเลขทั้งหมด และข้อจำกัดที่ผู้เขียนระบุเอง เพื่อให้คนที่กำลังตัดสินใจว่าจะใช้ผู้ช่วย AI ทั่วไปกับงานตัดสินจากภาพได้เห็นทั้งสองด้าน

วิธีทดสอบ

ชุดทดสอบคือรอยโรค 200 รายที่สุ่มจากชุดข้อมูลสาธารณะ MILK10k ซึ่งเผยแพร่ผ่าน International Skin Imaging Collaboration หรือ ISIC ทุกรายยืนยันด้วยผลตรวจชิ้นเนื้อ และแต่ละรายมีทั้งภาพถ่ายปกติกับภาพจากกล้องส่องผิว (Lynch Lab) ชุดข้อมูลนี้มีอยู่จริงบนคลังของ ISIC โดยมี 5,240 รอยโรคและภาพคู่ 10,480 ภาพ ภายใต้สัญญาอนุญาต CC-BY-NC (ISIC MILK10k)

ผู้เขียนแบ่งรอยโรคเป็นสองกลุ่มเท่ากัน กลุ่มแรก 100 รายคือรายที่ห้ามปล่อยกลับบ้าน ได้แก่เมลาโนมา 30 ราย มะเร็งเซลล์ฐาน 25 ราย มะเร็งเซลล์สแควมัสรวมโรค Bowen 25 ราย และรอยโรคก่อนมะเร็งชนิด actinic keratosis 20 ราย กลุ่มที่สอง 100 รายคือรายที่ปลอดภัย ได้แก่ไฝธรรมดา 50 รายและกระเนื้อหรือ seborrhoeic keratosis 50 ราย (Lynch Lab)

โมเดลภาษาที่ทดสอบคือ GPT-6 Astra และ Claude Fable 5.1 แต่ละตัวได้รับทั้งสองภาพโดยไม่มีบริบทอื่น ใช้คำสั่งเดียวกันที่ค่าตั้งต้น และถูกขอให้เลือกคำวินิจฉัยที่น่าจะเป็นที่สุดจากหกแบบหรือตอบว่าไม่แน่ใจ ให้ระดับความมั่นใจ ให้ตัวเลือกที่สอง และตอบว่าปล่อยกลับบ้านได้อย่างปลอดภัยหรือไม่ แต่ละกรณีรันเพียงครั้งเดียว (Lynch Lab)

คู่เทียบคือ Inception v3 ซึ่งเป็นสถาปัตยกรรม CNN ที่นักวิจัยของ Google เผยแพร่เมื่อธันวาคม 2015 (arXiv 1512.00567) ผู้เขียนใช้โมเดลที่ฝึกมาก่อนบนภาพถ่ายทั่วไป แล้วปรับจูนทุกชั้นด้วยภาพจากคลัง ISIC จำนวน 68,011 ภาพ โดยตัดภาพของรอยโรคในชุดทดสอบและภาพอื่นของผู้ป่วยคนเดียวกันออกจากข้อมูลฝึกและข้อมูลตรวจสอบทั้งหมด ใช้เวลาราวยี่สิบนาทีบน GPU H100 หนึ่งตัว และตั้งเกณฑ์ตัดสินโดยไม่ใช้ชุดทดสอบ (Lynch Lab)

ผลลัพธ์

ตัวเลขทั้งหมดในตารางมาจากหน้าของผู้เขียน (Lynch Lab)

สิ่งที่ตารางบอกคือ GPT-6 Astra ทำได้ดีมากกับมะเร็งเซลล์ฐาน หมวดเดียวที่โมเดลภาษาทั้งสองตัวชนะ CNN คือรอยโรคก่อนมะเร็ง ส่วนช่องว่างที่กว้างที่สุดอยู่ที่รอยโรคไม่อันตราย ซึ่งผู้เขียนเขียนไว้เองว่าช่องว่างใหญ่สุดอยู่ที่รอยโรคที่ไม่เป็นอันตราย โดย CNN จำไฝได้ 37 จาก 50 และกระเนื้อได้ 26 จาก 50 (Lynch Lab)

ค่าพื้นที่ใต้โค้ง ROC ของ CNN บนชุด 200 รายนี้คือ 0.86 เทียบกับ 0.96 เมื่อวัดบนภาพทั่วไปจากคลัง ซึ่งสะท้อนว่าชุดทดสอบนี้ยากกว่าปกติ หน้าเว็บไม่ให้ค่า sensitivity, specificity หรือพื้นที่ใต้โค้งของโมเดลภาษาทั้งสองตัว และไม่มีตัวเลขค่าใช้จ่ายในการเรียกใช้ (Lynch Lab)

คำตัดสินว่าปล่อยกลับบ้านได้ไหม

ในคำถามที่ใกล้งานจริงที่สุดคือรายนี้ปล่อยกลับบ้านได้หรือไม่ โมเดลภาษาทั้งสองตัวระวังมาก คือเก็บรอยโรคอันตรายไว้ 97 และ 96 จาก 100 ราย แต่ปล่อยรอยโรคที่ปลอดภัยกลับบ้านได้เพียง 32 และ 22 จาก 100 ราย และปล่อยเมลาโนมาหลุดไป 3 และ 4 จาก 30 ราย ส่วน CNN ที่เกณฑ์ตั้งต้นเก็บรอยโรคอันตรายไว้ 77 ราย ปล่อยรายปลอดภัยกลับได้ 76 ราย แต่ปล่อยเมลาโนมาหลุด 18 จาก 30 ราย เมื่อผู้เขียนปรับเกณฑ์ของ CNN ให้ระวังเท่ากับโมเดลภาษา จำนวนรายอันตรายที่เก็บไว้เพิ่มเป็น 98 ถึง 99 และเมลาโนมาที่หลุดเหลือ 1 ถึง 2 ราย แต่หน้าเว็บไม่ได้อธิบายว่าปรับเกณฑ์ให้เท่ากันอย่างไร และไม่ให้ตัวเลขรายปลอดภัยที่ปล่อยได้หลังปรับเกณฑ์ (Lynch Lab)

ผู้เขียนยังทดสอบเพิ่มในมุมของผู้ป่วย โดยให้เฉพาะภาพถ่ายธรรมดากับคำถามว่าต้องไปหาหมอไหม ผลคือโมเดลภาษาทั้งสองตัวแนะนำให้ไปหาหมอแทบทุกกรณี รวมถึงรอยโรคที่ไม่อันตรายด้วย และแนะนำให้ไปหาหมอใน 99 และ 98 จากเมลาโนมาที่ยืนยันด้วยชิ้นเนื้ออีก 100 ราย ตัวเลขนี้จึงไม่ได้แปลว่าโมเดลภาษาคัดกรองเก่ง แต่แปลว่ามันตอบว่าให้ไปหาหมอเกือบเสมอ ซึ่งปลอดภัยแต่ไม่ได้ช่วยแยกอะไร (Lynch Lab)

ข้อจำกัดที่ผู้เขียนระบุเองและคำท้วงจากผู้อ่าน

ผู้เขียนเขียนข้อจำกัดไว้เองหลายข้อ เมลาโนมา 30 รายทำให้ความไม่แน่นอนกว้าง แต่ละกรณีรันโมเดลภาษาเพียงครั้งเดียวและคำตอบเปลี่ยนได้ระหว่างรอบ ทุกรอยโรครวมถึงรายที่ไม่อันตรายถูกตัดชิ้นเนื้อ ซึ่งแปลว่าเป็นรายที่เคยทำให้แพทย์กังวลจึงวินิจฉัยยากกว่าปกติ ชุดข้อมูล MILK10k เปิดสาธารณะมาตั้งแต่ปี 2025 โมเดลภาษาจึงอาจเคยเห็นตอนฝึก ซึ่งผู้เขียนมองว่าถ้ามีผลก็น่าจะช่วยโมเดลภาษามากกว่า และ Inception v3 เป็นเพียงฐานเทียบ ส่วนผลิตภัณฑ์ที่ขึ้นทะเบียนแล้วซึ่งสร้างบนสถาปัตยกรรมรุ่นใหม่ทำได้ดีกว่านี้มาก (Lynch Lab)

ผู้เขียนเปิดเผยว่าตัวเองออกแบบการทดสอบและเป็นผู้ตัดสินทางคลินิกเอง และการวิเคราะห์กับร่างแรกทำด้วย Claude Code ซึ่งรันบนโมเดล Claude ของ Anthropic ข้อสังเกตของเราคือนั่นเป็นบริษัทเดียวกับหนึ่งในโมเดลที่ถูกทดสอบ ตัว CNN ที่ใช้มีขนาดเล็กพอจะรันในเบราว์เซอร์มือถือผ่าน WebGPU โดยไม่ต้องอัปโหลดภาพ และผู้เขียนเปิดให้คนทั่วไปลองกับรอยโรค 200 รายชุดเดียวกัน หน้าเว็บไม่มีข้อความแนะนำหรือห้ามใช้ทางคลินิก (Lynch Lab)

ในกระทู้ Hacker News มีผู้แสดงความเห็นชี้ว่า CNN ได้เปรียบเพราะถูกฝึกบนภาพจากแหล่งเดียวกับชุดทดสอบ ขณะที่โมเดลภาษาได้ลองเพียงครั้งเดียวโดยไม่มีเครื่องมือช่วย และค่าความมั่นใจที่โมเดลภาษารายงานมีความหมายน้อย อีกความเห็นตั้งข้อสังเกตว่าผล CNN อาจเปราะบางเมื่อเจอภาพนอกแหล่งที่ฝึก ซึ่งผู้เขียนตอบในกระทู้ว่า CNN ตั้งใจให้เป็นเพียงฐานเทียบ (Hacker News)

ประโยคสรุปของผู้เขียนคือ "A small, old, specialised network using an outdated architecture recognises skin lesions far better than two frontier LLMs." (Lynch Lab)

สิ่งที่ถอดไปใช้กับงานทั่วไปได้

บทเรียนที่ย้ายออกจากวงการแพทย์ได้คือ งานที่ต้องตัดสินจากภาพซ้ำ ๆ ในรูปแบบเดียวกัน ไม่ว่าจะเป็นตรวจชิ้นงานบนสายการผลิต อ่านใบเสร็จ หรือคัดแยกเอกสาร เป็นงานที่โมเดลเฉพาะทางขนาดเล็กซึ่งฝึกด้วยข้อมูลของงานนั้นเองยังชนะผู้ช่วย AI ทั่วไปได้ และต้นทุนการปรับจูนในกรณีนี้คือเวลาราวยี่สิบนาทีบน GPU หนึ่งตัว ไม่นับการฝึกตั้งต้นบนภาพทั่วไปที่มีคนทำไว้แล้ว

ด้านกลับคือผู้ช่วย AI ทั่วไปตอบคำถามแบบปลอดภัยไว้ก่อน ซึ่งเหมาะกับการเป็นด่านแรกที่บอกให้คนไปหาผู้รู้ แต่ไม่เหมาะกับการเป็นตัวตัดสินที่ต้องแยกรายที่ไม่มีอะไรออกจากรายที่ต้องดูต่อ เพราะถ้ามันตอบว่าให้ไปหาผู้รู้แทบทุกครั้ง มันก็ไม่ได้ลดงานของผู้รู้เลย ประเด็นนี้สอดคล้องกับที่หน้า benchmark-harness-fragility-2026 ชี้ไว้ว่าตัวเลขของเครื่องมือวัดขึ้นกับเงื่อนไขที่วัดมาก และตัวเลขเดียวไม่พอตัดสินว่าเครื่องมือไหนเหมาะกับงาน

คำถามที่ยังไม่มีคำตอบ

• ถ้าให้โมเดลภาษารันหลายรอบแล้วใช้เสียงข้างมาก หรือให้ใช้เครื่องมือค้นหาและซูมภาพ ผลจะต่างจากการลองครั้งเดียวมากแค่ไหน ผู้เขียนยังไม่ได้ทดสอบ
• ผลิตภัณฑ์วินิจฉัยผิวหนังที่ขึ้นทะเบียนแล้วทำได้ดีกว่า Inception v3 เท่าไรบนชุด 200 รายเดียวกันนี้ ผู้เขียนบอกเพียงว่าดีกว่ามากโดยไม่ให้ตัวเลข
• CNN ที่ฝึกบนคลัง ISIC จะทำได้แค่ไหนกับภาพจากโทรศัพท์ของผู้ป่วยไทยในแสงและสีผิวที่ต่างจากข้อมูลฝึก ซึ่งเป็นข้อที่ผู้แสดงความเห็นบน Hacker News ตั้งคำถามไว้
• ค่าใช้จ่ายต่อกรณีของการเรียกโมเดลภาษาทั้งสองตัวเทียบกับการรัน CNN บนเครื่องผู้ใช้เองเป็นเท่าไร หน้าเว็บไม่ให้ตัวเลข