Trivial baseline

Trivial baseline คือคะแนนที่ได้จากวิธีตอบที่ไม่ใช้ความสามารถอะไรเลย เช่น ตอบแบบเดียวกันทุกข้อโดยไม่อ่านโจทย์ หรือเดาตัวเลือกที่พบบ่อยที่สุด หน้าที่ของมันคือเป็นเส้นเปรียบเทียบว่าคะแนนที่เห็นบน benchmark หนึ่งๆ บอกอะไรได้จริงหรือเปล่า หลักคิดง่ายมาก ถ้าการตอบมั่วได้คะแนนใกล้เคียงกับโมเดลจริง แปลว่าคะแนนชุดนั้นยังไม่ได้วัดความสามารถที่มันอ้างว่าวัด เรื่องนี้เป็นความรู้พื้นฐานของวงการวัดผลมานาน แต่กลับถูกข้ามบ่อยเวลามีการประกาศคะแนนใหม่ๆ

เดือนสิงหาคม 2026 มีงานตรวจสอบที่ทำให้เห็นภาพนี้ชัดเป็นตัวเลข ชื่อ "Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks" ผู้เขียนไม่ได้วัดโมเดล แต่วัดตัวชุดทดสอบเอง โดยหยิบ benchmark ความปลอดภัยของ agent สี่ชุดที่คนมักอ้างสลับกันไปมาราวกับวัดของอย่างเดียวกัน มารันด้วยโค้ดและตัวให้คะแนนของผู้สร้างเองบนโมเดลมากถึง 22 ตัว ผลที่สะดุดที่สุดอยู่บนชุดชื่อ R-Judge ซึ่งเป็น benchmark ที่ ให้โมเดลดูบันทึกการทำงานของ agent แล้วตัดสินว่าปลอดภัยหรือไม่ ผู้เขียนพบว่านโยบายที่ตอบว่าไม่ปลอดภัยทุกข้อโดยไม่ต้องคิดเลย ได้คะแนน F₁ ที่ 0.690 ซึ่งสูงกว่าโมเดลจริงถึงห้าตัวจาก 21 ตัวที่แยกแยะได้จริง สาเหตุเชิงคณิตศาสตร์คือบน benchmark ที่ตัดสินแบบสองทางและให้คะแนนด้วยค่า F₁ นโยบายที่ตอบบวกตลอดจะได้คะแนนตามสัดส่วนของคำตอบบวกใน เฉลยของชุดข้อสอบ โดยอัตโนมัติ

ปัญหาที่สองที่งานนี้ชี้คือชุดทดสอบสามชุดที่ครอบคลุมกว้าง จัดอันดับโมเดล 18 ตัวเดียวกันออกมาไม่ตรงกันเลย และผู้เขียนแสดงว่าข้อสรุปที่คนมักดึงจากความไม่ตรงกันนี้เป็นผลของกลุ่มตัวอย่างเล็ก เพราะค่าสหสัมพันธ์คู่หนึ่งอยู่ที่ติดลบ 0.64 เมื่อดูแค่ 7 โมเดล แต่กลายเป็นบวก 0.02 เมื่อขยายเป็น 18 โมเดล ประโยคปิดของเปเปอร์ที่หยิบไปใช้ถามผู้ขายได้เลยคือ "Naming the benchmark, metric, target behavior, and model panel is the minimum a safety claim needs." แปลว่าการระบุชื่อชุดทดสอบ ตัวชี้วัด พฤติกรรมที่วัด และรายชื่อโมเดลที่เอามาเทียบ คือขั้นต่ำที่คำเคลมเรื่องความปลอดภัยต้องมี ถ้าขาดข้อใดข้อหนึ่งก็ยังไม่ใช่ข้อมูลที่ใช้ตัดสินใจได้ บทเรียนที่กว้างกว่านั้นและใช้ได้กับ benchmark ทุกประเภทคือก่อนเชื่อคะแนนใดๆ ให้ถามว่าถ้าตอบมั่วแบบเดาทางเดียวไปเลยจะได้เท่าไร ข้อควรระวังคือตัวเลขทั้งหมดเป็นของที่เปเปอร์รายงานเอง ยังไม่มีการทดลองซ้ำจากทีมอื่น และข้อค้นพบเรื่องความสัมพันธ์ระหว่างความสามารถกับความปลอดภัยนั้นผู้เขียนรายงานเองว่าอ่อนลงจนสรุปไม่ได้เมื่อขยายกลุ่มตัวอย่าง

ตัวอย่างจากบทสนทนาจริง

ผู้จัดการฝ่ายจัดซื้อ: "เวนเดอร์ส่งเอกสารมาบอกว่าโมเดลของเขาได้คะแนนความปลอดภัย 0.82 สูงกว่าคู่แข่ง เอาไปประกอบการตัดสินใจได้ไหมครับ"

หัวหน้าฝ่ายเทคนิค: "ยังครับ ต้องถามกลับสี่ข้อก่อนคือวัดด้วยชุดทดสอบชื่ออะไร ใช้ตัวชี้วัดอะไร วัดพฤติกรรมแบบไหน และเทียบกับโมเดลกี่ตัว มีงานปี 2026 ที่ตรวจ benchmark ความปลอดภัยสี่ชุดแล้วพบว่าบนชุดหนึ่ง การตอบว่าอันตรายทุกข้อโดยไม่อ่านเลยได้คะแนน 0.690 ซึ่งชนะโมเดลจริงไปห้าตัว แปลว่าเลข 0.82 อาจไม่ได้ห่างจากการตอบมั่วเท่าไร และงานเดียวกันยังพบว่าชุดทดสอบต่างชุดจัดอันดับโมเดลไม่ตรงกันเลย ถ้าเขาตอบครบสี่ข้อเราค่อยเอามาคุยต่อครับ"

ระวังสับสนกับ

• evals : evals คือกระบวนการวัดความสามารถของโมเดลโดยรวม ส่วน trivial baseline เป็นเครื่องมือตรวจสอบว่า evals ชุดนั้นใช้ได้จริงหรือไม่ พูดอีกแบบคือ evals วัดโมเดล ส่วน trivial baseline ใช้วัดตัว evals อีกที
• calibration : calibration พูดถึงว่าความมั่นใจของโมเดลตรงกับความถูกต้องจริงแค่ไหน ซึ่งเป็นคุณสมบัติของโมเดล ส่วน trivial baseline เป็นคุณสมบัติของชุดข้อสอบและตัวชี้วัด ทั้งสองอย่างเป็นคนละด้านของคำถามเดียวกันคือตัวเลขที่เห็นเชื่อได้แค่ไหน
• model-card : model card คือเอกสารที่ผู้ผลิตอธิบายความสามารถและข้อจำกัดของโมเดล ซึ่งมักมีคะแนน benchmark อยู่ด้วย ส่วน trivial baseline คือคำถามที่ควรถามกับคะแนนเหล่านั้นก่อนเอาไปใช้ตัดสินใจ