Attention degradation

Attention degradation คืออาการที่ model ภาษาจับใจความจาก context ได้แม่นยำน้อยลงเรื่อยๆ เมื่อจำนวน token ที่ป้อนเข้าไปยาวขึ้น ทั้งที่ข้อมูลทั้งหมดยังอยู่ใน context-window ครบถ้วน งานวิจัย "Context Rot" ของทีม Chroma ทดสอบโมเดล 18 ตัวจาก 4 ค่าย (Claude, GPT, Gemini, Qwen) แล้วพบตรงกันว่าประสิทธิภาพลดลงเมื่อ input ยาวขึ้น แม้ในงานง่ายๆ อย่างการหาข้อความประโยคเดียวจากกองข้อความ: โมเดลอ่าน token ตัวที่ 10,000 ได้น่าเชื่อถือน้อยกว่า token ตัวที่ 100 พูดง่ายๆ คือโมเดล "ไม่ได้ใช้ context อย่างทั่วถึงเท่ากันทุกจุด"

สาเหตุหลักมาจากสถาปัตยกรรม transformer: ทุก token ต้องคำนวณความสัมพันธ์กับทุก token (n token กลายเป็น n² คู่ความสัมพันธ์) เมื่อบทสนทนายาวขึ้น attention-budget หรืองบความสนใจที่มีจำกัดจึงถูกเกลี่ยจนบางลง บวกกับการที่โมเดลผ่าน training ด้วยข้อความสั้นเป็นส่วนใหญ่ ทำให้ถนัดงาน context สั้นมากกว่ายาว Anthropic อธิบายว่าผลที่ได้เป็น "ทางลาด" ไม่ใช่ "หน้าผา": โมเดลไม่ได้พังทันทีที่บทสนทนายาว แต่ความแม่นในการดึงข้อมูลและการให้เหตุผลระยะไกลจะค่อยๆ ลดลง งานของ Chroma ยังพบว่าข้อความรบกวนที่หน้าตาคล้ายคำตอบ (distractor) ยิ่งซ้ำเติมอาการ และบางโมเดลถึงขั้นตอบมั่วแบบ hallucination บ่อยขึ้นเมื่อ context ยาว

เรื่องนี้ไม่ใช่เรื่องของ developer เท่านั้น: ใครก็ตามที่แชทกับ AI ยาวทั้งวันใน session เดียว วางเอกสารทั้งไฟล์ลงไปหลายฉบับ หรือปล่อย agent ทำงานต่อเนื่องนานๆ จะเจออาการ "ตอนแรกฉลาด ตอนหลังเลอะเลือน" ด้วยกันทั้งนั้น วิธีรับมือที่ทั้งสองแหล่งแนะนำตรงกันคืออย่าเชื่อว่ายัดข้อมูลเยอะแล้วจะตอบดี: คัดเฉพาะข้อมูลที่เกี่ยวข้องจริง เปิดบทสนทนาใหม่เมื่อเปลี่ยนเรื่อง ใช้ compaction สรุปความก่อนบทสนทนาจะยาวเกินไป หรือแตกงานย่อยให้ subagent ที่มี context สะอาดไปทำแล้วส่งเฉพาะข้อสรุปกลับมา ตามหลักของ Anthropic: หา "ชุด token สัญญาณสูงที่เล็กที่สุด" ที่ยังทำให้ได้ผลลัพธ์ที่ต้องการ

ตัวอย่างจากบทสนทนาจริง

พี่ฝ่ายบุคคล: "ผมคุยกับ AI แชทเดิมมาตั้งแต่เช้า วางไฟล์ระเบียบพนักงานไป 3 ฉบับ ช่วงเช้าตอบแม่นมาก พอตกบ่ายเริ่มตอบเพี้ยนจากไฟล์แรกที่วางไว้ ทั้งที่ระบบไม่เห็นเตือนว่าความจำเต็ม โมเดลมันเสื่อมหรือเปล่า"

น้อง IT: "ไม่ใช่โมเดลเสียครับ อาการนี้เรียกว่า attention degradation: ยิ่งบทสนทนายาว โมเดลยิ่งต้องเกลี่ยความสนใจไปทั่วจนข้อมูลแต่ละจุดเบลอลง ต่อให้ไฟล์ยังอยู่ในความจำครบก็ตาม ลองเปิดแชทใหม่แล้ววางเฉพาะฉบับที่เกี่ยวกับคำถามนั้นจริงๆ จะกลับมาแม่นเหมือนตอนเช้าเลยครับ"

ระวังสับสนกับ

• context-window เต็ม : window เต็มคือใส่ข้อมูลเพิ่มไม่ได้แล้ว เป็นข้อจำกัดเชิงปริมาณ ส่วน attention degradation เกิดก่อนหน้านั้น: ข้อมูลยังอยู่ครบแต่ถูกอ่านได้ไม่ทั่วถึง คุณภาพลดลงทั้งที่ยังไม่ชนเพดาน
• attention-budget : budget คือทรัพยากรความสนใจที่มีจำกัดของโมเดล ส่วน degradation คืออาการที่โผล่มาเมื่อ budget ถูกหารเฉลี่ยกับ token จำนวนมากเกินไป · อันหนึ่งคือต้นทุน อีกอันคือผลลัพธ์