LLM-as-judge

LLM-as-judge คือวิธีวัดคุณภาพของระบบ AI ด้วยการให้โมเดลภาษาอีกตัวรับบทเป็นกรรมการ อ่านคำตอบที่ระบบผลิตออกมาแล้วให้คะแนน หรือชี้ว่าระหว่างคำตอบสองชิ้นที่วางคู่กันชิ้นไหนดีกว่า แทนที่จะจ้างคนนั่งอ่านทีละชิ้น เหตุผลที่ต้องมีวิธีนี้ก็เพราะงานที่คนใช้ AI ทำจริงส่วนใหญ่เป็นงานปลายเปิด เช่น ร่างอีเมลตอบลูกค้า สรุปรายงานยาว หรือเขียนคำอธิบายสินค้า งานแบบนี้ไม่มี เฉลยที่ถือเป็นคำตอบถูกหนึ่งเดียว ให้เทียบตรงๆ benchmark แบบข้อสอบปรนัยจึงวัดไม่ได้ ส่วนการให้คนอ่านแล้วให้คะแนนก็แพงและช้าเกินกว่าจะทำใหม่ทุกครั้งที่แก้ prompt สักบรรทัด ชื่อเรียกนี้มาจากเปเปอร์ "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" ของ Zheng และคณะ ซึ่งตีพิมพ์ใน NeurIPS 2023 สาย Datasets and Benchmarks

สิ่งที่ทำให้วิธีนี้กลายเป็นเครื่องมือมาตรฐานคือตัวเลขความสอดคล้องกับคน เปเปอร์เดียวกันนี้สร้างชุดคำถาม MT-bench ขึ้นมา แล้วเอาคำตัดสินของกรรมการ AI ไปเทียบกับเสียงของคนจริง ผลที่รายงานคือในเงื่อนไขที่ตัดกรณีเสมอออก คำตัดสินของ GPT-4 ตรงกับคนถึง 85 เปอร์เซ็นต์ ซึ่งสูงกว่าอัตราที่คนสองคนตัดสินตรงกันเองที่ 81 เปอร์เซ็นต์ ข้อควรระวังคือตัวเลขนี้เป็นอัตราตรงกันแบบนับดิบที่ไม่ได้หักส่วนที่บังเอิญตรงกันออก งานประเมินกรรมการ 21 ตัวที่เผยแพร่เดือนมิถุนายน 2026 ซึ่งยังเป็น preprint ที่ไม่ผ่าน peer review ชี้ว่าบนชุด MT-bench การนับดิบสูงกว่าค่าที่หักความบังเอิญแล้ว 33.8 ถึง 41.3 จุด และระดับ 85 เปอร์เซ็นต์เทียบได้กับค่า kappa ราว 0.48 เท่านั้น ทีมวิจัยเจ้าของ MT-bench ยังเปิด ชุดข้อมูล ให้เอาไปใช้ต่อได้ ทั้งคำถาม MT-bench เสียงโหวตของผู้เชี่ยวชาญ 3 พันชุด และบทสนทนาที่มีความชอบของคนกำกับอีก 3 หมื่นชุด ทุกวันนี้ผู้ให้บริการโมเดลจึงใส่กรรมการ AI มาให้เป็นฟีเจอร์สำเร็จรูปในชุดเครื่องมือวัดผลของตัวเอง ฝั่ง openai มี grader ชนิด score model ที่เอกสารอธิบายว่ารับอินพุตเข้าไปแล้วให้คะแนนเป็นตัวเลขตามเกณฑ์ที่เขียนไว้ใน prompt โดยคะแนนที่ได้จะถูกบีบให้อยู่ในช่วงที่ตั้งไว้ที่ฟิลด์ range ของ grader ข้อควรระวังคือหน้าเอกสารเดียวกันนี้ขึ้นแบนเนอร์ไว้แล้วว่า OpenAI กำลังเลิกใช้ grader ในฐานะส่วนหนึ่งของงาน evals และ fine-tuning ที่ grader รองรับ โดยไทม์ไลน์อยู่ที่หน้า deprecations ซึ่งระบุว่า eval ชุดที่มีอยู่เดิมจะกลายเป็นอ่านได้อย่างเดียววันที่ 31 ตุลาคม 2026 และแดชบอร์ดกับ API ของ Evals จะปิดวันที่ 30 พฤศจิกายน 2026 ตัวอย่างนี้จึงใช้ดูรูปแบบของเครื่องมือได้ แต่อย่ายึดว่าเป็นบริการที่จะมีอยู่ต่อไป ส่วนเอกสารการออกแบบ eval ของ anthropic วางหลักไว้ว่าให้จัดโครงคำถามให้ตรวจอัตโนมัติได้เท่าที่เป็นไปได้ ซึ่งรวมถึงแบบที่ให้ LLM เป็นผู้ตรวจ และย้ำในตัวอย่างโค้ดว่าโดยทั่วไปควรใช้โมเดลคนละตัวกับตัวที่ผลิตคำตอบมาทำหน้าที่ตรวจ

สิ่งที่ต้องรู้ก่อนเชื่อคะแนนของกรรมการ AI คืออคติสามแบบที่เปเปอร์ต้นทางวัดออกมาเป็นตัวเลขไว้ตั้งแต่ปี 2023 โดยตัวเลขที่ยกมาจากเปเปอร์ต้นทางทุกตัวมาจากกรรมการรุ่นนั้นคือ GPT-4, GPT-3.5 และ Claude-v1 ไม่ใช่โมเดลรุ่นปัจจุบัน ส่วนตัวเลขที่ระบุว่ามาจากงานปี 2026 เป็นการวัดกรรมการรุ่นใหม่ แบบแรกคือ position bias หรืออคติต่อตำแหน่งที่คำตอบถูกวางไว้ นักวิจัยสร้างคำตอบสองชิ้นที่คุณภาพพอกันด้วยการเรียก GPT-3.5 ตอบคำถามเดิมสองครั้ง แล้วให้กรรมการตัดสินสองรอบโดยสลับว่าชิ้นไหนอยู่ก่อนอยู่หลัง ถ้ากรรมการยุติธรรมจริง คำตัดสินทั้งสองรอบต้องออกมาเหมือนกัน ผลในตารางที่ 2 ซึ่งใช้ prompt ตั้งต้นของเปเปอร์คือ GPT-4 ตัดสินคงเส้นคงวา 65.0 เปอร์เซ็นต์ GPT-3.5 อยู่ที่ 46.2 เปอร์เซ็นต์ และ Claude-v1 อยู่ที่ 23.8 เปอร์เซ็นต์ โดยกรณีที่ไม่คงเส้นคงวาส่วนใหญ่เป็นการเข้าข้างคำตอบที่วางไว้ตำแหน่งแรก ซึ่งเมื่อนับจากคำตัดสินทั้งหมดในตารางเดียวกัน Claude-v1 เข้าข้างคำตอบแรก 75.0 เปอร์เซ็นต์ GPT-3.5 อยู่ที่ 50.0 เปอร์เซ็นต์ และ GPT-4 อยู่ที่ 30.0 เปอร์เซ็นต์ แบบที่สองคือ verbosity bias หรืออคติต่อความยาว นักวิจัยหยิบคำตอบที่เขียนเป็นลิสต์มา 23 ชิ้น แล้วให้ GPT-4 เขียนใหม่ให้ยืดยาวขึ้นโดยไม่เพิ่มข้อมูลใหม่แม้แต่ข้อเดียว ผลคือ GPT-3.5 กับ Claude-v1 หลงเลือกฉบับที่ยาวกว่าถึง 91.3 เปอร์เซ็นต์ ขณะที่ GPT-4 พลาด 8.7 เปอร์เซ็นต์ ข้อควรระวังคืองานประเมินกรรมการ 21 ตัวปี 2026 ที่อ้างไว้ข้างต้นวัดอคติต่อความยาวของกรรมการรุ่นใหม่บน MT-bench ได้ต่ำกว่า 0.011 ทุกตัว แม้ผู้เขียนจะกำกับไว้เองว่าเป็นผลจากเกณฑ์ให้คะแนนแบบเดียวที่ใช้ทดสอบ จึงยังสรุปไม่ได้ว่าปัญหานี้หมดไปแล้ว แบบที่สามคือ self-enhancement bias หรือการที่กรรมการเข้าข้างคำตอบที่ตัวเองเป็นคนเขียน เปเปอร์รายงานว่าเมื่อเทียบกับอัตราชนะที่คนเป็นผู้ตัดสิน GPT-4 ให้อัตราชนะกับคำตอบของตัวเองสูงกว่า 10 เปอร์เซ็นต์ และ Claude-v1 สูงกว่า 25 เปอร์เซ็นต์ แต่กรรมการทั้งสองตัวก็เข้าข้างโมเดลอื่นด้วยเหมือนกัน ส่วน GPT-3.5 ไม่ได้เข้าข้างตัวเอง ข้อนี้ต้องอ่านให้จบ เพราะผู้เขียนเขียนกำกับไว้เองว่าด้วยข้อมูลที่มีจำกัดและส่วนต่างที่เล็ก งานชิ้นนี้ยังฟันธงไม่ได้ว่าโมเดลมีอคติเข้าข้างตัวเองจริงหรือไม่ วิธีรับมือ position bias ที่เปเปอร์เรียกว่าเป็นวิธีแบบระมัดระวังคือเรียกกรรมการสองรอบโดยสลับลำดับคำตอบ แล้วนับว่าชนะเฉพาะกรณีที่ชนะทั้งสองรอบ ถ้าสองรอบให้ผลไม่ตรงกันให้นับเป็นเสมอ ข้อจำกัดคือวิธีนี้แก้เรื่องตำแหน่งได้อย่างเดียว ไม่ได้ช่วยเรื่องความยาวหรือการเข้าข้างตัวเอง ข้อควรระวังอีกชั้นมาจากเอกสารของ OpenAI ที่เตือนว่าโมเดลซึ่งถูกฝึกโดยใช้คะแนนของกรรมการเป็นเป้า บางทีเรียนรู้ที่จะหาช่องโหว่ของกรรมการแทนที่จะทำงานให้ดีขึ้นจริง อาการนี้เรียกว่า grader hacking หรือ reward hacking และวิธีจับคือดูว่าคะแนนจากกรรมการ AI สูงลิ่วแต่คะแนนจากผู้เชี่ยวชาญที่เป็นคนกลับต่ำ

ตัวอย่างจากบทสนทนาจริง

หัวหน้าทีมดูแลลูกค้า: ทีมที่ทำบอทบอกว่าจะใช้ AI อีกตัวมาให้คะแนนคำตอบของบอทแทนที่จะให้คนอ่าน แบบนี้เชื่อได้เหรอคะ ฟังดูเหมือนให้นักเรียนตรวจข้อสอบกันเอง

คนดูแลระบบ: เชื่อได้ระดับหนึ่งครับ เปเปอร์ที่ทำให้ชื่อวิธีนี้ติดตลาดวัดไว้ว่า ถ้าตัดกรณีเสมอออก คำตัดสินของ GPT-4 ตรงกับคนถึง 85 เปอร์เซ็นต์ ซึ่งสูงกว่าที่คนสองคนตัดสินตรงกันเองด้วยซ้ำ แต่ต้องรู้ข้อเสียก่อนใช้ครับ กรรมการ AI เอนไปทางคำตอบที่วางไว้ก่อน ส่วนการเอนไปทางคำตอบที่ยาวกว่านั้นวัดเจอชัดในกรรมการรุ่นปี 2023 แต่งานวัดกรรมการรุ่นใหม่ปี 2026 เจอน้อยมาก เราจึงควรทดสอบกับโมเดลที่เราใช้จริงเองด้วย

หัวหน้าทีมดูแลลูกค้า: แล้วเราจะกันยังไงคะ

คนดูแลระบบ: สามอย่างครับ หนึ่งคือให้ตัดสินสองรอบโดยสลับลำดับ แล้วนับว่าชนะเฉพาะที่ชนะทั้งสองรอบ สองคือใช้โมเดลคนละตัวกับตัวที่เขียนคำตอบนั้นมาทำหน้าที่ตรวจ ไม่ปล่อยให้โมเดลตรวจงานของตัวเอง และสามคือสุ่มคำตอบส่วนหนึ่งให้คนอ่านเทียบกับคะแนนของกรรมการเป็นระยะ ถ้าวันไหนคะแนน AI พุ่งแต่คนให้ต่ำ แปลว่าเราเริ่มปรับระบบเข้าหากรรมการ ไม่ใช่เข้าหาลูกค้าแล้ว

ระวังสับสนกับ

• evals : evals คือกระบวนการวัดผลทั้งชุด ตั้งแต่เลือกโจทย์ ตั้งเกณฑ์ ไปจนถึงอ่านผล ส่วน LLM-as-judge เป็นเพียงวิธีให้คะแนนแบบหนึ่งที่ถูกเอาไปเสียบในกระบวนการนั้น ยังมีวิธีให้คะแนนแบบอื่นใช้คู่กันได้ เช่น เทียบสตริงตรงตัวหรือรันโค้ดตรวจ
• human-review : ต่างกันที่ว่าใครเป็นคนตัดสิน คนตัดสินได้ละเอียดและรับผิดชอบได้ แต่แพงและช้า กรรมการ AI ถูกและขยายจำนวนได้ทันที แต่มีอคติเชิงระบบที่วัดได้ ในทางปฏิบัติจึงมักใช้กรรมการ AI ตรวจทุกชิ้นแล้วให้คนสุ่มตรวจซ้ำเพื่อเช็กว่ากรรมการยังตัดสินตรงกับคนอยู่
• sycophancy : sycophancy คืออาการที่โมเดลเลือกเอาใจผู้ใช้มากกว่าเลือกความถูกต้อง เป็นพฤติกรรมของโมเดลที่ตอบคำถาม ส่วนอคติของ LLM-as-judge เกิดตอนโมเดลทำหน้าที่ตัดสินงานของคนอื่น คนละบทบาทกัน แต่ทั้งคู่ทำให้ระบบไหลไปทางคำตอบที่ดูดีมากกว่าคำตอบที่ดีจริง
• ai-bias : ai-bias มักหมายถึงอคติของระบบ AI ที่กระทบคนแต่ละกลุ่มอย่างไม่เป็นธรรม เช่น เพศหรือเชื้อชาติ ส่วนอคติของกรรมการ AI ในหน้านี้เป็นอคติเชิงกลไกต่อรูปแบบของคำตอบ ทั้งตำแหน่งที่วาง ความยาว และการที่คำตอบนั้นมาจากตัวกรรมการเอง
• trivial-baseline : ก่อนจะเถียงกันว่าใช้กรรมการตัวไหนดี ควรเช็กก่อนว่าโจทย์ชุดนั้นมีวิธีง่ายๆ ที่ไม่ต้องใช้ AI ทำแล้วได้คะแนนพอกันหรือเปล่า ถ้ามี คะแนนสูงจากกรรมการ AI ก็ยังไม่ได้พิสูจน์อะไร