Model collapse

Model collapse คืออาการที่โมเดลเสื่อมคุณภาพลงเมื่อถูกเทรนด้วยข้อมูลสังเคราะห์หรือผลลัพธ์จากโมเดลรุ่นก่อนหน้าซ้ำๆ กันหลายรอบ บางคนเรียกอาการนี้แบบเห็นภาพว่าเป็นการผสมพันธุ์ในสายเลือดเดียวกันของ AI กลไกที่ทำให้เกิดมาจากความคลาดเคลื่อนสามแหล่งสะสมกัน คือความคลาดเคลื่อนจากการประมาณฟังก์ชัน จากการสุ่มตัวอย่าง และจากการเรียนรู้ ผลที่ตามมาคือโมเดลค่อยๆ สูญเสียข้อมูลเกี่ยวกับรูปแบบที่พบไม่บ่อย แล้วเบนเข้าหาผลลัพธ์ที่มีความน่าจะเป็นสูงมากขึ้นเรื่อยๆ ปลายทางคือความหลากหลายลดลงและแนวคิดต่างๆ ปนกันจนสับสน

หลักฐานสำคัญมาจากงานวิจัยที่ตีพิมพ์ในวารสาร Nature เมื่อกรกฎาคม 2024 ซึ่งแสดงให้เห็นว่าโมเดลพังลงเมื่อถูกเทรนด้วยข้อมูลที่ถูกสร้างขึ้นซ้ำแบบวนกลับ โดยพิสูจน์เชิงคณิตศาสตร์ว่าความแปรปรวนจะเบี่ยงออกไปเรื่อยๆ ตามจำนวนรุ่นที่ผ่านไปเมื่อขนาดตัวอย่างคงที่ จนสุดท้ายโมเดลเบนเข้าหาการตอบแบบเดียวแทนที่จะรักษาการกระจายตัวเดิมไว้ นอกจากนี้ model collapse ยังถูกยกเป็นข้อโต้แย้งหลักข้อหนึ่งต่อแนวคิดที่ว่า AI จะพัฒนาตัวเองแบบไม่มีที่สิ้นสุด (ดู recursive-self-improvement) เพราะถ้าการเทรนด้วยผลงานของตัวเองทำให้แย่ลง สมมติฐานที่ว่ามันจะยกระดับตัวเองไปเรื่อยๆ ก็มีปัญหาตั้งแต่ต้น

เหตุผลที่คนทำงานควรรู้จักคำนี้คือมันโยงกับสิ่งที่กำลังเกิดบนอินเทอร์เน็ตจริง เมื่อสัดส่วนเนื้อหาที่ AI เขียนบนเว็บเพิ่มขึ้นเรื่อยๆ (ดู ai-slop) ข้อมูลที่โมเดลรุ่นถัดไปจะเก็บไปเทรนก็ปนเปื้อนผลงานของ AI มากขึ้นตาม สำหรับองค์กรที่กำลังเอาข้อมูลของตัวเองไปเทรนโมเดลเพิ่ม บทเรียนที่ใช้ได้ทันทีคือต้องแยกให้ออกว่าข้อมูลชุดไหนคนเขียนและชุดไหน AI เขียน ถ้าปล่อยให้บันทึกที่ AI สรุปไว้ไหลกลับเข้าไปเป็นข้อมูลเทรนรอบถัดไปโดยไม่มีคนตรวจ ก็กำลังสร้างวงจรเดียวกันในระดับย่อส่วน ข้อควรระวังคืองานวิจัยเรื่องนี้ทดสอบในเงื่อนไขที่ควบคุมไว้ และมีงานภายหลังที่ชี้ว่าถ้ายังมีข้อมูลจากคนผสมอยู่ในสัดส่วนที่เพียงพอ อาการนี้ชะลอลงได้ จึงไม่ควรอ่านว่าเป็นคำพยากรณ์ว่า AI จะพังแน่นอน อีกอาการที่ชื่อคล้ายกันแต่เป็นคนละเรื่องคือ model-drift ซึ่งโมเดลตัวเดิมที่รันอยู่ค่อยๆ ทำนายพลาดมากขึ้นเพราะข้อมูลในโลกจริงเปลี่ยนไป ไม่ได้เกิดจากข้อมูลที่เอาไปเทรนรุ่นถัดไป

ตัวอย่างจากบทสนทนาจริง

หัวหน้าฝ่ายข้อมูล: "เราจะเอาบทสรุปที่ AI ทำไว้ทั้งปีมาเทรนโมเดลภายในของเราต่อครับ ข้อมูลเยอะดี ประหยัดแรงคนไปเยอะเลย"

นักวิทยาศาสตร์ข้อมูล: "ขอแยกกองก่อนครับ ถ้าเอาผลงานที่ AI เขียนมาเทรนต่อโดยไม่มีคนตรวจ เรากำลังทำสิ่งที่เรียกว่า model collapse ในระดับย่อส่วน มีงานใน Nature ที่แสดงว่าพอวนแบบนี้หลายรอบ โมเดลจะลืมกรณีที่พบไม่บ่อยก่อนเป็นอย่างแรก ซึ่งสำหรับเราคือเคสลูกค้าที่แปลกๆ ที่ต้องการคนดูแลที่สุดพอดี ผมเสนอให้ใช้เฉพาะบทสรุปที่มีคนรีวิวและแก้แล้ว แล้วติดป้ายกำกับไว้ด้วยว่าชิ้นไหนมีคนตรวจครับ"

ระวังสับสนกับ

• synthetic-data : synthetic data คือข้อมูลสังเคราะห์ที่สร้างขึ้นมาใช้เทรน ซึ่งเป็นเครื่องมือที่ใช้ได้ผลในหลายกรณี ส่วน model collapse คืออาการเสียที่เกิดขึ้นเมื่อใช้ข้อมูลแบบนั้นวนซ้ำมากเกินไปโดยไม่มีข้อมูลจากคนมาคั่น
• hallucination : hallucination คือการที่โมเดลแต่งข้อมูลผิดในคำตอบครั้งนั้น ซึ่งเป็นอาการรายครั้ง ส่วน model collapse เป็นความเสื่อมถาวรของตัวโมเดลที่เกิดจากกระบวนการเทรน
• data-poisoning : data poisoning คือการที่มีคนตั้งใจใส่ข้อมูลร้ายเข้าไปในชุดเทรน ซึ่งมีผู้โจมตีอยู่ในภาพ ส่วน model collapse ไม่มีใครโจมตี เป็นผลข้างเคียงจากการวนใช้ผลงานของ AI เอง