Benchmark

Benchmark คือการรันโปรแกรมหรือชุดการทำงานมาตรฐานเพื่อประเมินความสามารถของสิ่งที่ต้องการวัดโดยเทียบกับสิ่งอื่น เหตุผลที่ต้องมีชุดทดสอบมาตรฐานคือเมื่อระบบซับซ้อนขึ้น การเทียบจากสเปกบนกระดาษเชื่อถือไม่ได้ ในโลก AI benchmark คือชุดข้อสอบที่ใช้วัดว่าโมเดลทำงานได้ดีแค่ไหน เช่น แก้โจทย์คณิตศาสตร์ เขียนโค้ด หรือตอบคำถามความรู้ทั่วไป และเป็นตัวเลขที่ผู้ผลิตยกมาโฆษณาทุกครั้งที่ปล่อยรุ่นใหม่

ปัญหาของ benchmark เป็นเรื่องที่วงการคอมพิวเตอร์รู้กันมานานก่อนยุค AI ข้อแรกคือผู้ผลิตปรับแต่งระบบให้เก่งเฉพาะชุดทดสอบที่โด่งดัง ทำให้ได้คะแนนสูงเกินจริงและไม่สะท้อนการใช้งานจริง ข้อสองคือการเลือกรายงานเฉพาะผลที่ดูดี ข้อสามคือ benchmark ส่วนใหญ่วัดความเร็วดิบแต่ละเลยเรื่องที่สำคัญไม่แพ้กัน เช่น ความปลอดภัยและต้นทุนรวม ในโลก AI มีปัญหาเพิ่มอีกข้อที่หนักกว่าคือข้อสอบรั่วเข้าไปอยู่ในข้อมูลที่ใช้เทรน ทำให้โมเดลตอบถูกเพราะเคยเห็นเฉลยมาแล้ว ไม่ใช่เพราะทำเป็นจริง

งานตรวจสอบที่เผยแพร่ในปี 2026 แสดงให้เห็นปัญหาที่ลึกกว่านั้น คือตัวชุดทดสอบเองอาจวัดไม่ตรงกับสิ่งที่มันอ้างว่าวัด ผู้เขียนหยิบชุดทดสอบด้านความปลอดภัยของ agent สี่ชุดมาตรวจ แล้วพบว่าบนชุดหนึ่งการตอบว่าไม่ปลอดภัยทุกข้อโดยไม่ต้องอ่านเลย ได้คะแนนสูงกว่าโมเดลจริงถึงห้าตัวจาก 21 ตัว และพบว่าชุดทดสอบต่างชุดจัดอันดับโมเดลเดียวกันออกมาไม่ตรงกันเลย ประโยคที่หยิบไปใช้ได้ทันทีคือการระบุชื่อชุดทดสอบ ตัวชี้วัด พฤติกรรมที่วัด และรายชื่อโมเดลที่เอามาเทียบ คือขั้นต่ำที่คำเคลมต้องมี สำหรับคนที่ต้องเลือกเครื่องมือให้องค์กร วิธีใช้ benchmark ที่ถูกต้องคือใช้เป็นตัวคัดกรองเบื้องต้นเท่านั้น แล้วตัดสินจริงด้วยการทดสอบกับงานของเราเอง เพราะคะแนนที่สูงบนข้อสอบกลางไม่ได้แปลว่าจะทำงานของเราได้ดี และชุดทดสอบของเราเองควรถูกรันซ้ำเป็นระยะหลังเปิดใช้จริงด้วย เพราะระบบที่เคยผ่านเกณฑ์ในวันแรกอาจแม่นลดลงตามเวลาจากอาการ model-drift

ตัวอย่างจากบทสนทนาจริง

ผู้บริหาร: "เวนเดอร์บอกว่าโมเดลของเขาได้คะแนนอันดับหนึ่งของโลกในสามชุดทดสอบครับ แปลว่าดีที่สุดใช่ไหม"

หัวหน้าฝ่ายเทคนิค: "แปลว่าดีที่สุดในสามชุดนั้นครับ ซึ่งอาจไม่ตรงกับงานเราเลย มีงานตรวจสอบปี 2026 ที่พบว่าชุดทดสอบต่างชุดจัดอันดับโมเดลเดียวกันออกมาไม่ตรงกันด้วยซ้ำ สิ่งที่ผมอยากทำคือเอางานจริงของเราสัก 50 เคสที่เรารู้คำตอบอยู่แล้ว มาทดสอบกับสามเจ้าที่คัดไว้ แล้วดูว่าเจ้าไหนตอบตรงกับที่เราต้องการมากที่สุด ใช้เวลาสัปดาห์เดียวแต่บอกอะไรได้มากกว่าคะแนนบนกระดาษเยอะครับ"

ระวังสับสนกับ

• evals : evals คือกระบวนการวัดผลระบบ AI ทั้งหมด ซึ่งรวมถึงการสร้างชุดข้อสอบของเราเองสำหรับงานเฉพาะทาง ส่วน benchmark มักหมายถึงชุดข้อสอบกลางที่ทั้งวงการใช้เทียบกัน
• trivial-baseline : trivial baseline คือคะแนนที่ได้จากการตอบมั่วแบบทางเดียว ซึ่งใช้ตรวจว่าคะแนน benchmark ที่เห็นมีความหมายจริงหรือไม่ เป็นเครื่องมือสำหรับตรวจสอบตัว benchmark อีกที
• dataset : dataset คือชุดข้อมูลที่ใช้สอนหรือทดสอบโมเดล ส่วน benchmark คือ dataset ที่มาพร้อมกติกาการให้คะแนนและใช้เป็นมาตรฐานกลางในการเทียบ