การตั้งค่าเครื่องวัดเลือกผู้ชนะบนตารางคะแนนโมเดล

เวลาผู้ให้บริการ AI เปิดตารางคะแนนมาให้ดู เรามักอ่านมันเหมือนอ่านผลการวัดส่วนสูง คือเชื่อว่าตัวเลขเป็นคุณสมบัติของโมเดล และถ้าวัดใหม่ก็จะได้เท่าเดิม งานตรวจสอบชิ้นหนึ่งที่เผยแพร่ในปี 2026 ทดสอบสมมติฐานนั้นตรงๆ แล้วพบว่าตัวเลขจำนวนมากเป็นคุณสมบัติของเครื่องวัดพอๆ กับที่เป็นคุณสมบัติของโมเดล (arXiv 2608.21382)

การทดลองทำอะไร

ผู้เขียนเอาโมเดลเปิดที่ปรับให้ทำตามคำสั่งแล้ว 12 ตัวจากสี่ตระกูล ขนาดตั้งแต่สามพันล้านถึงเจ็ดหมื่นล้านพารามิเตอร์ มาตอบข้อสอบชุดเดียวกัน 3,679 ข้อ ซึ่งดึงมาจากชุดทดสอบมาตรฐานสี่ชุดคือ ARC, HellaSwag, MMLU และ TruthfulQA จากนั้นรันซ้ำภายใต้การตั้งค่าเครื่องวัด 26 แบบ แล้วบันทึกไว้ว่าแต่ละคู่ของโมเดลกับข้อสอบตอบถูกหรือผิดในแต่ละการตั้งค่า (arXiv 2608.21382)

สิ่งที่ทำให้การทดลองนี้ตีความได้ชัดคือมันล็อกทุกอย่างที่คนมักสงสัยไว้หมด ผู้เขียนเขียนว่า "The comparison is matched, since the items, the weights, and the greedy decoding stay fixed while only the harness varies" แปลว่าข้อสอบชุดเดิม น้ำหนักโมเดลชุดเดิม และวิธีเลือกคำตอบแบบเดิม เปลี่ยนแค่โปรแกรมที่ทำหน้าที่ป้อนข้อสอบและนับคะแนนเท่านั้น (arXiv 2608.21382)

การตั้งค่าทั้ง 26 แบบไม่ได้ถูกเลือกมาเพื่อให้ผลดูรุนแรง ผู้เขียนระบุไว้เองว่าเป็นแบบที่ "equally defensible" คือแต่ละแบบเป็นสิ่งที่คนทำงานจริงใช้และปกป้องได้ ไม่มีแบบไหนที่ตั้งใจกลั่นแกล้ง ซึ่งเป็นเหตุผลที่ทำให้ผลลัพธ์มีน้ำหนัก (arXiv 2608.21382)

ตัวเลขหลักสามตัว

ตัวแรกคือช่วงคะแนนของโมเดลตัวเดียว ผู้เขียนสรุปว่า "Under the grid a model's score is a band rather than a point: gemma4-31b scores between 31 and 89 percent depending only on the harness" คือโมเดลตัวเดิมได้ตั้งแต่ 31 ถึง 89 เปอร์เซ็นต์ ห่างกัน 58 จุด โดยไม่มีอะไรในตัวโมเดลเปลี่ยนเลย (arXiv 2608.21382)

ตัวที่สองคือผลต่ออันดับ ผู้เขียนรายงานว่า "Four of the 12 models reach rank one under some configuration, so the harness selects the winner" แปลว่าถ้าคนทำรายงานอยากให้โมเดลตัวไหนขึ้นเป็นที่หนึ่ง เขามีตัวเลือกให้เลือกถึงสี่ตัวจากสิบสองตัว โดยไม่ต้องโกงอะไรเลย แค่เลือกการตั้งค่าที่ปกป้องได้ให้ถูกใบ (arXiv 2608.21382)

ตัวที่สามคือส่วนต่างระหว่างโมเดลมาจากไหน ผู้เขียนพบว่าเมื่อดูโมเดลสองตัวที่อันดับติดกัน ข้อสอบที่ทั้งคู่ตอบเหมือนเดิมทุกการตั้งค่าจะทำให้คะแนนเสมอกัน และข้อสอบที่คำตอบพลิกไปมาตามการตั้งค่าเป็นตัวแบกส่วนต่างของคู่นั้นไว้ถึง 95.7 เปอร์เซ็นต์โดยเฉลี่ย ตัวเลขนี้วัดจากคู่โมเดลที่อยู่ติดกันในตาราง ไม่ใช่คู่ใดก็ได้ (arXiv 2608.21382)

แกนที่รับน้ำหนักจริงไม่ใช่แกนที่คนพยายามคุม

ระเบียบวิธีที่คนใช้กันทั่วไปมักพยายามคุมลำดับของตัวเลือก เพราะมีงานก่อนหน้าชี้ว่าโมเดลมีอคติกับตำแหน่ง แต่งานนี้พบว่าแกนนั้นไม่ใช่แกนที่สำคัญที่สุด ผู้เขียนสรุปว่า "The scoring choice, not the option order that protocols usually fix, is the load-bearing axis" (arXiv 2608.21382)

ตัวเลขที่รองรับข้อสรุปนี้อยู่ในเนื้อเปเปอร์ คือเมื่อวัดว่าการเปลี่ยนแต่ละแกนรักษาความแม่นเดิมไว้ได้เท่าไร ลำดับตัวเลือกรักษาไว้ได้ 0.60 รูปแบบของคำสั่งรักษาไว้ได้ 0.40 ส่วนวิธีให้คะแนนรักษาไว้ได้เพียง 0.31 ซึ่งเป็นแกนที่เปลี่ยนผลมากที่สุดในสามแกน (arXiv 2608.21382)

คำว่าข้อสอบที่เปราะหมายความว่าอะไร

นิยามที่ผู้เขียนใช้คือ "An item is robust-correct for a model when it is correct under all 26 configurations, robust-wrong when it is wrong under all 26, and config-fragile when its correctness flips" (arXiv 2608.21382)

มีสองอย่างในนิยามนี้ที่คนมักอ่านผ่าน อย่างแรกคือความเปราะถูกนิยามเทียบกับโมเดลตัวหนึ่งโดยเฉพาะ ไม่ใช่คุณสมบัติของตัวข้อสอบเองลอยๆ ข้อเดียวกันจึงเปราะกับโมเดลตัวหนึ่งแต่ไม่เปราะกับอีกตัวได้ อย่างที่สองคือมันถูกนิยามเทียบกับชุดการตั้งค่า 26 แบบชุดนี้เท่านั้น ถ้าเปลี่ยนชุดการตั้งค่า ป้ายนี้ก็ต้องคำนวณใหม่ ป้ายนี้จึงเป็นเครื่องหมายว่าคำตอบพลิกได้ ไม่ใช่คะแนนความยากหรือคะแนนคุณภาพของข้อสอบ

ขอบเขตที่งานนี้ไปไม่ถึง

ชื่อเรื่องของเปเปอร์พูดกว้างถึงตารางคะแนนโมเดลสมัยใหม่โดยรวม แต่หลักฐานในเปเปอร์แคบกว่านั้นมาก และผู้เขียนเขียนข้อจำกัดไว้เองในเนื้อ ไม่ได้เขียนไว้ในบทคัดย่อ คนที่อ่านแค่บทคัดย่อจึงมีโอกาสสรุปเกินไปมาก

ข้อจำกัดข้อแรกคือทุกข้อสรุปเป็นเรื่องของข้อสอบแบบเลือกตอบสี่ตัวเลือกเท่านั้น ผู้เขียนระบุว่าไม่ได้ทดสอบงานเขียนแบบปลายเปิด งานเขียนโค้ด หรืองานที่ให้ AI ทำเองเป็นขั้นตอน และไม่ได้อ้างว่าตารางคะแนนของงานเหล่านั้นจะแตกตัวแบบเดียวกัน (arXiv 2608.21382)

ข้อที่สองคือโมเดลที่ทดสอบเป็นโมเดลเปิดทั้งหมด เพราะผู้เขียนต้องรันเองภายใต้การควบคุม ผู้เขียนระบุตรงๆ ว่าไม่ได้อ้างว่าขนาดของผลที่รายงานจะเท่าเดิมกับโมเดลปิดของค่ายแนวหน้า ซึ่งเขารันภายใต้เงื่อนไขควบคุมแบบนี้ไม่ได้ (arXiv 2608.21382)

ข้อที่สามเป็นข้อที่ตีความผิดกันง่ายที่สุด ผู้เขียนไม่ได้อ้างว่าความแกว่งจากเครื่องวัดใหญ่กว่าความแกว่งจากการสุ่ม เขาอ้างแค่ว่าความแกว่งจากเครื่องวัดอย่างเดียวก็เพียงพอที่จะสร้างลำดับในตารางขึ้นมาได้แล้ว (arXiv 2608.21382)

ข้อที่สี่คือตารางการตั้งค่ายังไม่ครอบคลุมทุกแกน ผู้เขียนล็อกการให้ตัวอย่างในคำสั่งกับการให้โมเดลคิดเป็นขั้นตอนไว้คงที่ และยอมรับเองว่าถ้าใครมองว่าวิธีให้คะแนนแบบหนึ่งไม่ควรใช้กับโมเดลสนทนา แล้วตัดการตั้งค่าสองแบบจาก 26 แบบทิ้ง ผลที่เห็นจะเล็กลง (arXiv 2608.21382)

ความน่าเชื่อถือของงานชิ้นนี้เอง

งานนี้เป็นร่างที่ยังไม่ผ่านการตรวจของผู้ทรงคุณวุฒิ มีผู้เขียนคนเดียวคือ V. S. Raghu Parupudi ความยาว 25 หน้า อยู่ในหมวด cs.AI หมวดเดียว และไม่มีชื่อวารสารหรืองานประชุมกำกับ ส่งขึ้นระบบเมื่อวันที่ 17 ก.ค. 2026 และมีเพียงรุ่นเดียว ไม่มีการแก้ไขหรือถอนภายหลัง (arXiv 2608.21382)

ณ วันที่ตรวจ ยังไม่พบว่ามีใครทำซ้ำ อ้างอิง หรือโต้แย้งงานนี้ การที่ยังไม่มีใครแย้งหลังผ่านไปกว่าเดือน เป็นหลักฐานที่อ่อนมากว่างานถูกต้อง ตัวเลขทั้งหมดในหน้านี้จึงควรถูกอ่านว่าเป็นผลจากงานชิ้นเดียวที่ยังไม่มีใครยืนยัน ไม่ใช่ข้อเท็จจริงที่ตกลงกันแล้วในวงการ

ส่วนความสัมพันธ์ระหว่างความเปราะของข้อสอบกับความสามารถในการแยกโมเดลเก่งออกจากโมเดลอ่อน ผู้เขียนรายงานไว้ที่ 0.28 โดยมีช่วงความเชื่อมั่น 95 เปอร์เซ็นต์อยู่ที่ 0.25 ถึง 0.30 และเขียนกำกับเองว่าเป็นความสัมพันธ์ที่ไม่แรง แม้จะประมาณค่าได้แคบก็ตาม (arXiv 2608.21382)

สิ่งที่เอาไปใช้ได้จริง

สิ่งที่งานนี้เปลี่ยนไม่ใช่คำตอบว่าโมเดลไหนดีที่สุด แต่เป็นคำถามที่ควรถามเมื่อเห็นตารางคะแนน แทนที่จะถามว่าได้กี่คะแนน คำถามที่ให้ข้อมูลมากกว่าคือวัดด้วยการตั้งค่าแบบไหน และรายงานอีกฉบับที่เอามาเทียบใช้การตั้งค่าเดียวกันหรือไม่

ข้อปฏิบัติที่ตามมาคือคะแนนดิบจากรายงานคนละฉบับเทียบกันตรงๆ ไม่ได้ ถ้าไม่รู้ว่าทั้งสองฉบับวัดด้วยเครื่องวัดชุดเดียวกัน และตัวเลขที่เอาไปตัดสินใจได้จริงที่สุดคือตัวเลขที่ทีมวัดเองบนงานจริงของตัวเอง แม้ชุดทดสอบนั้นจะเล็กและหยาบกว่าชุดมาตรฐานมากก็ตาม เพราะอย่างน้อยมันวัดด้วยเครื่องวัดเดียวกันทุกครั้ง

สิ่งที่งานนี้ไม่ได้บอกและไม่ควรสรุปเกินคือชุดทดสอบมาตรฐานใช้ไม่ได้เลย งานนี้บอกว่าคะแนนดิบข้ามรายงานเทียบกันไม่ได้ ซึ่งเป็นคนละเรื่องกับการบอกว่าวัดอะไรไม่ได้เลย

คำถามที่ยังไม่มีคำตอบ

• ผลแบบเดียวกันเกิดกับโมเดลปิดของค่ายแนวหน้าหรือไม่ ยังไม่มีใครวัดได้เพราะรันภายใต้เงื่อนไขควบคุมไม่ได้
• งานที่ไม่ใช่ข้อสอบเลือกตอบ เช่น การเขียนโค้ดหรืองานที่ให้ AI ทำเองเป็นขั้นตอน มีโครงสร้างความเปราะแบบเดียวกันหรือเปล่า
• ถ้าเทียบความแกว่งจากเครื่องวัดกับความแกว่งจากการสุ่มบนโมเดลเดียวกัน อันไหนใหญ่กว่า งานนี้ตั้งใจไม่ตอบ
• มีใครทำซ้ำงานนี้ด้วยชุดการตั้งค่าคนละชุดแล้วได้ผลไปทางเดียวกันหรือยัง