Calibration

Calibration หรือ confidence calibration คือความตรงกันระหว่างความมั่นใจที่โมเดลแสดงออกมา กับความน่าจะเป็นที่มันตอบถูกจริง งานสำรวจเรื่องนี้นิยามโมเดลที่ calibrate ดีไว้ว่าเป็นโมเดลที่รายงานความน่าจะเป็นที่ตัวเองถูกได้อย่างซื่อตรง โดยคำนึงถึงข้อจำกัดและโอกาสผิดพลาดของตัวเอง พูดง่ายๆ คือถ้าโมเดลบอกว่ามั่นใจ 80% ในคำตอบชุดหนึ่ง ก็ควรตอบถูกราว 80% ของชุดนั้นจริงๆ การจะรู้ว่ามันตอบถูกจริงกี่ข้อต้องมีชุดคำตอบที่ถือว่าถูกหรือ ground-truth เตรียมไว้ก่อน ไม่อย่างนั้นก็ไม่มีอะไรให้เอาค่าความมั่นใจไปเทียบ ตัววัดที่ใช้กันบ่อยคือ Expected Calibration Error หรือ ECE ซึ่งวัดระยะห่างระหว่างความมั่นใจที่บอกกับความแม่นที่วัดได้จริง อาการที่พบเป็นระบบใน llm คือ overconfidence คือความมั่นใจสูงกว่าความแม่นจริง และอาการนี้ยิ่งหนักขึ้นเมื่อโจทย์ยากขึ้น

เดือนสิงหาคม 2026 เรื่องนี้เลิกเป็นประเด็นเชิงทฤษฎีและกลายเป็นปัญหาการจัดการโดยตรง เปเปอร์ชื่อ "One Human, N Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence" ตั้งโจทย์ที่กำลังจะเป็นเรื่องจริงในหลายองค์กร คือคนหนึ่งคนต้องตรวจงานของ agent จำนวนมากโดยตรวจได้จำกัดต่อรอบ แล้วควรจัดลำดับอย่างไร วิธีที่ฟังดูสมเหตุสมผลที่สุดคือให้ AI บอกว่ามั่นใจแค่ไหนแล้วตรวจเฉพาะอันที่มันไม่มั่นใจ แต่งานนี้ระบุจุดตัดของความไม่แม่นในการประเมินตัวเองไว้จุดหนึ่ง ถ้าโมเดลประเมินตัวเองพลาดเกินจุดนั้น การเรียงลำดับตรวจตามค่าความมั่นใจจะให้ผลแย่กว่าการสุ่มตรวจเฉยๆ

สมมติฐานที่คนคาดไว้ล่วงหน้าสองข้อกลับด้านทั้งคู่ ข้อแรกคือยิ่งมีเวลาตรวจน้อย ยิ่งต้องการค่าความมั่นใจที่แม่นมากขึ้น ไม่ใช่พึ่งมันได้ง่ายขึ้น ซึ่งสวนกับสัญชาตญาณที่ว่าเวลาน้อยยิ่งต้องมีตัวช่วยจัดลำดับ ข้อสองคือการเอา โมเดลคนละค่ายมาตรวจไขว้กัน ไม่ได้ช่วยกระจายความเสี่ยงอย่างที่คิด เพราะทุกตัวพลาดที่โจทย์ยากเหมือนกัน ความยากของโจทย์มีอิทธิพลมากกว่าสายพันธุ์ของโมเดล เมื่อวัดกับโมเดลจริง เปเปอร์รายงานว่า "Five open-weight LLMs show operationally useless (near-constant) confidence" คือโมเดลแบบเปิดทั้งห้าตัวให้ค่าความมั่นใจที่แทบไม่ขยับตามความยากของงานเลยจนใช้ประโยชน์จริงไม่ได้ มีเพียงโมเดลเชิงพาณิชย์หนึ่งตัวที่ให้ค่าที่ใช้งานได้และยังอยู่ต่ำกว่าจุดตัด ข้อควรระวังคืองานนี้เป็นงานเชิงทฤษฎีที่วัดประกอบกับโมเดลจริง ไม่ใช่การทดลองในองค์กรจริง และค่าที่วัดได้ของโมเดลแบบเปิดยังมีช่วงความเชื่อมั่นคร่อมจุดตัดอยู่

ตัวอย่างจากบทสนทนาจริง

หัวหน้าฝ่ายคุณภาพ: "เรามีงานที่ AI ทำวันละสองร้อยชิ้น แต่คนตรวจได้แค่ยี่สิบ ผมเลยให้ระบบถามโมเดลว่ามั่นใจแค่ไหน แล้วเอาอันที่มั่นใจน้อยสุดยี่สิบอันมาให้คนตรวจ ฟังดูเข้าท่าไหมครับ"

นักวิทยาศาสตร์ข้อมูล: "ไอเดียถูกทางครับแต่ต้องเช็กก่อนว่าใช้ได้จริงไหม มีงานปี 2026 ที่พบว่าถ้าโมเดลประเมินตัวเองไม่แม่นพอ วิธีนี้จะแย่กว่าการสุ่มตรวจเสียอีก และโมเดลแบบเปิดหลายตัวให้ค่าความมั่นใจที่แทบไม่ขยับเลยไม่ว่างานจะยากแค่ไหน วิธีทดสอบง่ายๆ คือเอางานที่คนตรวจแล้วย้อนหลังสักสองร้อยชิ้นมาดูว่าอันที่โมเดลบอกว่ามั่นใจน้อย เป็นอันที่ผิดจริงบ่อยกว่าอันที่มันมั่นใจมากไหม ถ้าไม่ต่างกัน แปลว่าสุ่มตรวจยังดีกว่าครับ"

ระวังสับสนกับ

• hallucination : hallucination คือการที่โมเดลแต่งข้อมูลผิดขึ้นมา ส่วน calibration พูดถึงว่าตอนมันผิด มันรู้ตัวหรือเปล่า โมเดลที่ calibrate ไม่ดีคือโมเดลที่แต่งเรื่องขึ้นมาแล้วยังบอกว่ามั่นใจมากด้วย ซึ่งอันตรายกว่าการแต่งเรื่องแล้วบอกว่าไม่แน่ใจ
• non-determinism : non-determinism คือการที่คำตอบเปลี่ยนไปในแต่ละครั้งที่ถามเหมือนกัน ส่วน calibration พูดถึงความตรงของค่าความมั่นใจ ทั้งสองอย่างทำให้ควบคุมคุณภาพยาก แต่เป็นคนละสาเหตุกัน
• human-review : human review คือการให้คนตรวจงานของ AI ส่วน calibration คือสิ่งที่กำหนดว่าเราจะเลือกงานมาให้คนตรวจได้ฉลาดแค่ไหน ถ้า calibration แย่ การคัดเลือกงานมาตรวจก็ไม่ดีกว่าการสุ่ม