ความจำของ AI agent ไม่ได้ย้ายตามไปด้วยเมื่ออัปเกรดโมเดล

องค์กรจำนวนมากเปิดให้ผู้ช่วย AI จดจำข้อมูลของทีมไว้ข้ามบทสนทนา ทั้งในรูปบันทึกย่อ ฐานข้อมูลค้นหา และตารางความสัมพันธ์ คำถามที่แทบไม่มีใครถามตอนตั้งระบบคือ เมื่อเปลี่ยนไปใช้โมเดลรุ่นใหม่ในอีกหกเดือน ของที่สะสมไว้จะยังใช้ได้หรือไม่ งานวิจัยที่เผยแพร่เมื่อ 4 กันยายน 2026 ทดลองเรื่องนี้แบบมีกลุ่มควบคุมเป็นครั้งแรก (arXiv 2609.05339)

โจทย์ที่งานนี้ตั้ง

ทีมวิจัยชี้ความเสียหายสามแบบที่เกิดเงียบๆ ตอนเปลี่ยนรุ่นโมเดล คือโมเดลใหม่อ่านบันทึกที่โมเดลเก่าเขียนไว้แล้วเข้าใจคลาดเคลื่อน ระบบค้นหาที่ใช้เวกเตอร์คนละรุ่นปนกันทำให้ค้นไม่เจอ และเมื่อจะซ่อมก็ซ่อมไม่ได้เพราะทิ้งบทสนทนาต้นฉบับไปแล้ว (arXiv 2609.05339)

การทดลองเรียกสถานการณ์นี้ว่าการสลับผู้เขียน โดยวัดโมเดลใหม่ตัวเดียวกันสองครั้ง ครั้งแรกให้อ่านคลังความจำที่ตัวเองสร้าง ครั้งที่สองให้อ่านคลังที่โมเดลอีกตัวเขียนไว้ แล้วดูว่าคะแนนต่างกันเท่าไร (full text)

วิธีเก็บความจำสี่แบบที่เอามาเทียบ

• เก็บบทสนทนาดิบไว้ทั้งหมดแล้วให้โมเดลอ่านยาว
• ตัดเป็นชิ้นแล้วค้นเอาเมื่อต้องใช้
• ให้โมเดลย่อยเป็นบันทึกภาษาคน
• แปลงเป็นตารางความสัมพันธ์ที่มีโครงตายตัวกำหนดไว้ล่วงหน้า

ผลที่ได้

แบบที่มีโครงตายตัวแทบไม่สะเทือนเลย ความแม่นขยับราว 0.04 จุด ซึ่งเป็นช่วงที่ครอบคลุมศูนย์ จึงอ่านได้ว่าวัดไม่พบความเปลี่ยนแปลง ไม่ใช่ว่าดีขึ้นเล็กน้อย (arXiv 2609.05339)

แบบให้โมเดลย่อยเป็นบันทึกเหวี่ยงมากที่สุดและเหวี่ยงไม่สมมาตร คือขยับขึ้น 9.91 จุดหรือลง 13.28 จุดแล้วแต่ทิศทางการย้าย ซึ่งแปลว่าการอัปเกรดโมเดลอาจทำให้ระบบดีขึ้นหรือแย่ลงก็ได้ โดยที่ทิศทางไม่ได้ขึ้นกับว่าโมเดลใหม่เก่งกว่าหรือไม่

แบบค้นหาที่ปล่อยให้เวกเตอร์สองรุ่นปนกันครึ่งต่อครึ่ง ได้ความแม่นคืนมาเพียง 4.96 จุด เทียบกับการแปลงคลังใหม่ทั้งหมดที่ได้ 11.90 จุด การประหยัดแรงด้วยการแปลงเฉพาะของใหม่จึงกินผลลัพธ์ไปเกินครึ่ง

จุดที่เปลี่ยนวิธีทำงานได้ทันที

การซ่อมโดยแก้เฉพาะคลังความจำที่มีอยู่ ไปไม่ถึงเป้าฟื้นคืน 90 เปอร์เซ็นต์เลยแม้แต่กรณีเดียวจากทั้งหมด 48 กรณี ไม่ว่าจะให้งบประมาณการประมวลผลเท่าไรก็ตาม แต่ถ้ายังเก็บบทสนทนาต้นฉบับไว้ ก็กู้คืนได้ 34 จาก 48 กรณี (full text)

ข้อควรระวังที่สำคัญคือตัวเลข 34 จาก 48 เป็นของทิศทางการย้ายทิศเดียวเท่านั้น ส่วนการย้ายทิศตรงข้ามกู้ไม่สำเร็จเลยสักกรณี แม้จะมีต้นฉบับอยู่ครบก็ตาม จึงสรุปไม่ได้ว่าเก็บต้นฉบับไว้แล้วจะกู้ได้เสมอ

ทีมยังแยกสาเหตุออกมาได้ว่าราว 80 เปอร์เซ็นต์ของส่วนที่หายในแบบบันทึกย่อ หายไปตั้งแต่ตอนเขียนบันทึก ไม่ใช่ตอนอ่าน ขณะที่ราว 81 เปอร์เซ็นต์ของส่วนที่หายในแบบค้นหา มาจากการค้นไม่เจอ ซึ่งแปลว่าสองแบบนี้ต้องแก้คนละที่กัน

เรื่องที่คนเข้าใจผิดบ่อย

ตัวเลข 0.04 จุดกับ 9.91 จุดอยู่คนละสเกลกันในเปเปอร์ต้นฉบับ โดยค่าของแบบโครงตายตัวรายงานบนสเกลศูนย์ถึงหนึ่ง ส่วนที่เหลือรายงานเป็นจุดเปอร์เซ็นต์ ถ้าอ่านเรียงกันโดยไม่แปลงหน่วยจะเข้าใจขนาดของผลผิดไปหลักร้อยเท่า ตัวเลขในหน้านี้แปลงเป็นหน่วยเดียวกันหมดแล้ว

ค่าบวกลบที่กำกับตัวเลขในเปเปอร์เป็นช่วงความเชื่อมั่นที่ระดับ 95 เปอร์เซ็นต์ ไม่ใช่ค่าเบี่ยงเบนมาตรฐาน

สิ่งที่ยังไม่มีหลักฐาน

ชุดทดสอบเป็นบทสนทนาสังเคราะห์ 48 ชุดที่ทีมสร้างเอง แต่ละชุดมีคำถาม 160 ข้อ ไม่ใช่บทสนทนาจริงของผู้ใช้ โมเดลที่ใช้คือ Llama-3.1-8B-Instruct กับ Qwen2.5-7B-Instruct-1M ซึ่งขนาดใกล้เคียงกันทั้งคู่และต่ำกว่าหนึ่งหมื่นล้านพารามิเตอร์

ทีมระบุข้อจำกัดไว้เองว่าโมเดลที่ใหญ่กว่านี้ บทสนทนาจริงที่ไม่ได้เขียนตามสคริปต์ และประวัติที่ยาวกว่านี้ อาจให้ผลต่างออกไป งานนี้ยังเป็นฉบับ preprint ที่อยู่ระหว่างการตรวจของผู้ทรงคุณวุฒิ และยังไม่มีทีมอิสระทำซ้ำ

สิ่งที่ทำได้ตั้งแต่วันนี้

อย่าทิ้งบทสนทนาต้นฉบับหลังให้ AI สรุปเป็นบันทึกแล้ว เพราะเมื่อบันทึกเพี้ยน ต้นฉบับคือสิ่งเดียวที่มีโอกาสกู้กลับได้ ถ้าคลังความจำมีโครงสร้างที่กำหนดล่วงหน้าได้ เช่น ชื่อลูกค้า วันครบกำหนด สถานะงาน การเก็บเป็นช่องตายตัวทนต่อการเปลี่ยนรุ่นโมเดลได้ดีกว่าการปล่อยให้โมเดลเขียนเป็นย่อหน้าอิสระ และเมื่อเปลี่ยนรุ่นโมเดลฝังเวกเตอร์ ให้แปลงคลังใหม่ทั้งหมดแทนการแปลงเฉพาะของใหม่

ดูเพิ่ม llm-judge-endpoint-drift-2026 สำหรับปัญหาความไม่นิ่งของการวัดผลด้วยโมเดล ซึ่งเป็นคนละอาการแต่มาจากรากเดียวกันคือการสมมติว่าโมเดลชื่อเดิมให้ผลเหมือนเดิม