จุดบอดของการใช้ AI ตรวจงาน AI

วิธีที่องค์กรส่วนใหญ่ใช้ตรวจงาน agent ตอนนี้คือส่งคำสั่งกับคำตอบสุดท้ายไปให้โมเดลอีกตัวตัดสินว่าทำได้ดีไหม งานวิจัยสองชิ้นที่เผยแพร่ปลายเดือน ส.ค. 2026 วัดว่าวิธีนี้พลาดอะไรไปบ้าง แล้วได้คำตอบที่ตรงกันจากคนละมุม

งานแรก ความผิดพลาดที่ไม่ทิ้งร่องรอยในคำตอบ

งานชื่อ trajectory-judge สร้างสภาพแวดล้อมจำลองงานบริการลูกค้าที่ใช้เครื่องมือและให้ผลลัพธ์แน่นอน พร้อมนโยบายต้นแบบที่แก้โจทย์ได้เสมอ แล้วใส่ตัวก่อความผิดพลาดที่ทำลายสิ่งเดียวในขั้นตอนที่รู้ตำแหน่ง โดยแยกความผิดพลาดเป็นสองแบบตามที่บทคัดย่อเขียนไว้ คือแบบที่ผลลัพธ์ซึ่งลูกค้าเห็นเสียไปด้วย เรียกว่า loud กับแบบที่ผลลัพธ์รอดมาได้ เรียกว่า silent (arXiv)

ผู้ตรวจห้าแบบถูกวัดบนเส้นทางการทำงาน 400 เส้น ผลหลักคือผู้ตรวจที่ดูเฉพาะคำตอบสุดท้าย จับความผิดพลาดแบบ loud ได้ 0.840 แต่จับแบบ silent ได้เพียง 0.451

ตัวเลข 0.451 คืออัตราที่จับได้ ไม่ใช่อัตราที่พลาด แปลว่าความผิดพลาดที่ไม่กระทบคำตอบสุดท้ายหลุดไปเกินครึ่ง ฐานที่ใช้คิดคือ loud 125 เคส และ silent 175 เคส

ผู้ตรวจตัวเดียวกันยังตีธงว่าผิดกับเส้นทางที่สะอาดอยู่แล้วที่ 0.330 โดยฐานคือเส้นทางสะอาด 100 เส้น และช่วงความเชื่อมั่นกว้างตั้งแต่ 0.24 ถึง 0.43 จึงควรพูดว่าราวหนึ่งในสาม มากกว่าตอกเป็นตัวเลขเดียว

เงื่อนไขของงานแรกที่ต้องอ่านคู่กันเสมอ

ผู้ตรวจทุกตัวในงานนี้เป็นโมเดลขนาดเล็กที่รันในเครื่องได้ ผู้เขียนระบุเองว่า "Local models only. Everything runs on qwen2.5:14b and llama3.1:8b, so results reproduce without an API key." คือขนาด 14 พันล้านและ 8 พันล้านพารามิเตอร์ ไม่มีโมเดลระดับแนวหน้าอยู่ในการทดสอบเลยแม้ตัวเดียว

ข้อนี้สำคัญมาก ตัวเลข 0.840 กับ 0.451 กับ 0.330 เป็นพฤติกรรมของผู้ตรวจขนาด 14 พันล้าน ใครที่เขียนว่าโมเดลภาษาที่ทำหน้าที่กรรมการจับความล้มเหลวเงียบได้แค่ 45 เปอร์เซ็นต์แบบลอยๆ กำลังเผยแพร่ข้อมูลผิด ต้องระบุขนาดโมเดลกำกับทุกครั้งที่ยกตัวเลขชุดนี้

ทางเลือกที่ดีกว่า และราคาของมัน

ผู้ตรวจที่ไล่ดูทีละขั้นตอนรุ่น 14 พันล้าน จับความผิดพลาดแบบ silent ได้ 0.766 โดยไม่มีการเตือนผิดเลย แต่ใช้เวลามากกว่าราวสามเท่า คือ 10.4 วินาทีต่อเส้นทาง เทียบกับ 3.5 วินาทีของผู้ตรวจที่ดูแต่คำตอบสุดท้าย

คำว่าราคาสามเท่าในงานนี้หมายถึงเวลาที่ใช้จริง ไม่ใช่เงินและไม่ใช่จำนวนโทเคน

สิ่งที่ห้ามละไว้คือผู้ตรวจแบบไล่ทีละขั้นตอนรุ่น 8 พันล้าน จับ silent ได้ 0.983 ก็จริง แต่ตีธงว่าผิดกับทุกเส้นทางที่ตรวจ คือ 397 จาก 400 เส้น จึงใช้งานจริงไม่ได้เลย ข้อสรุปว่าเปลี่ยนไปใช้ผู้ตรวจแบบไล่ทีละขั้นตอนแล้วจบ จึงไม่จริงถ้าโมเดลเล็กเกินไป

ส่วนวิธีให้ตรวจซ้ำหลายรอบแล้วโหวตกัน ผู้เขียนระบุว่าใช้เวลาเพิ่มสามเท่าเป็น 30.2 วินาทีต่อเส้นทาง แล้วผลอยู่ในช่วงที่แยกจากความคลาดเคลื่อนไม่ออก

ช่องโหว่ที่น่าสนใจที่สุดคือคำสัญญาที่แต่งขึ้น

ผู้เขียนทดลองแปะคำสัญญาที่ไม่มีอะไรรองรับต่อท้ายเส้นทางที่ทำถูกทุกขั้นตอน จำนวน 50 เคส ผลคือผู้ตรวจแบบเขียนเงื่อนไขตายตัวจับได้ 0.00 และผู้ตรวจแบบไล่ทีละขั้นตอนรุ่น 14 พันล้านจับได้ 0.18 คือปล่อยผ่าน 82 เปอร์เซ็นต์

วลี "no judge reads the final reply" เป็นคำสรุปของผู้เขียน ไม่ใช่ผลตัวเลขตรงๆ เพราะในตารางเดียวกันผู้ตรวจที่ดูแต่คำตอบสุดท้ายจับได้ 0.50 และรุ่น 8 พันล้านจับได้ 1.00 แต่รุ่นหลังนั้นคือตัวที่ตีธงทุกอย่างอยู่แล้ว จึงไม่นับว่าจับได้จริง

งานที่สอง เพดานของกรรมการที่โมเดลใหญ่ขึ้นก็ไม่ช่วย

งานชื่อ AgentJudgeBench วัดคนละมุม คือดูว่าการใช้โมเดลภาษาเป็นกรรมการตัดสินงานที่ต้องเรียกเครื่องมือ ต่อกันเป็นทอดๆ เชื่อถือได้แค่ไหน ชุดทดสอบมี 3,808 ตัวอย่าง ครอบคลุมผังการพึ่งพากันหกแบบ และระดับความยากสามระดับ (arXiv)

ตัวสร้างเส้นทางการเรียกเครื่องมือมีห้าตัว คือโมเดลน้ำหนักเปิดสี่ตัวขนาด 3 พันล้านถึง 7 หมื่นล้านพารามิเตอร์ รวมกับโมเดลเชิงพาณิชย์อีกหนึ่งตัว รวมเป็นห้าตัวพอดี ส่วนกรรมการมีหกตัวตั้งแต่ระดับ 20 พันล้านขึ้นไป

ผลที่แข็งกว่าที่คาดคือความสอดคล้องลดลงตามความยากที่เพิ่มขึ้นในทุกคู่ที่ทดสอบ ผู้เขียนเขียนว่า "All 30 (generator, judge) pairs exhibit strictly monotone alignment degradation from easy to hard under both conditions" คือลดทุกคู่ ไม่ใช่แค่ค่าเฉลี่ยลด

การลดจะเร็วกว่าเดิมราว 1.5 เท่าเมื่อไม่มีเฉลยให้ดู โดยผู้เขียนใช้คำว่า roughly กำกับไว้เอง

บนโจทย์ยากที่ไม่มีเฉลย กรรมการทั้งหกตัวไปกระจุกกันในช่วง 77 ถึง 82 เปอร์เซ็นต์ ซึ่งผู้เขียนเรียกว่าเพดานเชิงโครงสร้าง แต่เขียนกำกับไว้ด้วยว่าความสูงของเพดานขึ้นกับวิธีเขียนคำสั่งอยู่บ้าง ในกรณีที่ตัวสร้างเส้นทางเป็นโมเดลที่อ่อนกว่า ถ้าตัดวงเล็บนี้ทิ้ง คำว่าเชิงโครงสร้างจะแรงเกินต้นฉบับ

คำว่าความสอดคล้องในงานที่สอง ไม่ได้แปลว่าตรงกับมนุษย์

เกณฑ์ที่ใช้เทียบคือโปรแกรมให้คะแนนที่เขียนเป็นกฎไว้ ไม่ใช่คำตัดสินของมนุษย์ ดังนั้นคำว่า alignment ในงานนี้แปลว่าตัดสินตรงกับโปรแกรมให้คะแนน ใครที่เขียนว่าเป็นความแม่นยำของกรรมการเฉยๆ จะเพี้ยนจากต้นฉบับ

การตรวจสอบด้วยมนุษย์ในงานนี้ใช้ผู้ตรวจคนเดียวกับข้อมูล 120 รายการ ได้ความสอดคล้อง 92.5 ถึง 98.3 เปอร์เซ็นต์ในสามจากสี่ตัวชี้วัด และเหลือ 82.5 เปอร์เซ็นต์ ในตัวชี้วัดเรื่องโครงสร้างพารามิเตอร์

สิ่งที่ขัดสัญชาตญาณ การให้เฉลยไม่ได้ช่วยเสมอ

ผู้เขียนระบุว่า "Ground-truth exposure is not uniformly beneficial" โดยการให้เฉลยไปดูด้วย ทำให้ความสอดคล้องของโมเดลเชิงพาณิชย์ที่เก่งที่สุดลดลง 1.5 จุด และของอีกตัวลดลง 3.9 จุด ซึ่งผู้เขียนอธิบายว่าเป็นอาการยึดติดกับเฉลยมากเกินไป ขณะที่กรรมการอีกตัวได้เพิ่มขึ้น 2.9 จุด คือเสียหายเฉพาะสองในหกตัว ไม่ใช่ทั้งหมด

ส่วนการเขียนเกณฑ์ให้ละเอียดช่วยได้ในช่วง 4.8 ถึง 6.5 จุด เฉพาะกรณีที่มีเฉลย และผู้เขียนระบุว่าไม่ได้ผลสม่ำเสมอเมื่อเปลี่ยนคู่โมเดล หน่วยที่ใช้คือจุดเปอร์เซ็นต์ ไม่ใช่เปอร์เซ็นต์เชิงสัมพัทธ์

สถานะการตรวจทางวิชาการ ต่างกันมากระหว่างสองงาน

งานแรกยังไม่ผ่านการตรวจของผู้ทรงคุณวุฒิ ช่องหมายเหตุบน arXiv ระบุว่าอยู่ระหว่างพิจารณาของ เวิร์กชอปในงานประชุมหนึ่ง และเป็นงานของผู้เขียนคนเดียว

งานที่สองระบุในช่องหมายเหตุว่าได้รับตอบรับเป็นบทความหลักของงานประชุมวิชาการแห่งหนึ่งแล้ว แต่ข้อความนี้เป็นคำแถลงของผู้เขียนเองบน arXiv และยังไม่พบรายชื่อบทความที่ตอบรับจากฝั่งงานประชุม มายืนยัน จึงควรเขียนว่าระบุว่าได้รับตอบรับ ไม่ใช่ฟันธง

ทั้งสองงานมีเพียงฉบับแรก ไม่มีการถอน ไม่มีใบแก้ไข และไม่มีการแทนที่

ข้อจำกัดที่ผู้เขียนระบุเอง

งานแรกวัดในสภาพแวดล้อมเดียวและงานประเภทเดียว ผู้เขียนเขียนว่างานบริการลูกค้าที่มีเงื่อนไขเขียนไว้ล่วงหน้า เป็นกรณีที่เอื้อต่อการตรวจทีละขั้นตอนเป็นพิเศษ ส่วนงาน agent ที่เขียนโค้ดหรือท่องเว็บแบบปลายเปิด ไม่มีเครื่องตรวจกฎเทียบเท่า

อีกข้อคือความผิดพลาดที่ใส่เข้าไปสะอาดกว่าของจริง เพราะแต่ละครั้งทำลายสิ่งเดียวในขั้นตอนเดียว ขณะที่เส้นทางจริงล้มแบบต่อเนื่องเป็นลูกโซ่

งานร่วมสมัยที่ทำให้ภาพซับซ้อนขึ้น

มีงานก่อนหน้าที่หนุนทิศทางเดียวกัน คือรายงานว่ากรรมการที่เดินดูกระบวนการต่างจากมติมนุษย์เพียง 0.3 เปอร์เซ็นต์ ขณะที่กรรมการที่เห็นแต่ผลลัพธ์ต่างถึง 31 เปอร์เซ็นต์ (arXiv)

แต่ก็มีงานที่ชี้ว่าผู้ตรวจแบบไล่ทีละขั้นตอนมีอคติชุดใหม่ที่ไม่รอดเช่นกัน เช่นการตัดสินตามความยาวของเส้นทาง และการมองไม่เห็นค่าที่ส่งเข้าเครื่องมือ (arXiv) ดังนั้นข้อสรุปว่าเปลี่ยนไปใช้การตรวจทีละขั้นตอนแล้วแก้ปัญหาได้ ไม่ควรเขียนเป็นคำแนะนำเด็ดขาด

สิ่งที่องค์กรไทยหยิบไปใช้ได้

ข้อแรกคือให้เลิกใช้คำถามว่าจะหากรรมการที่เก่งขึ้นได้อย่างไร แล้วเปลี่ยนเป็นออกแบบงาน ให้มีจุดตรวจที่วัดได้เองโดยไม่ต้องใช้ดุลพินิจ เช่นให้ agent ต้องแสดงหลักฐานที่ตรวจย้อนได้ แทนการเขียนสรุปว่าทำอะไรไปบ้าง

ข้อที่สองคือความผิดพลาดแบบที่ผลลัพธ์ยังออกมาถูก เป็นประเภทที่อันตรายที่สุดในระยะยาว เพราะมันผ่านการตรวจแล้วกลายเป็นวิธีทำงานที่ถูกเอาไปใช้ซ้ำ กว่าจะรู้ตัวก็ขยายไปทั่วแล้ว

ข้อที่สามคือเวลาอ่านตัวเลขจากงานวิจัยแนวนี้ ให้ดูขนาดโมเดลที่ใช้เป็นกรรมการก่อนเสมอ เพราะตัวเลขที่ดูน่าตกใจอาจมาจากโมเดลเล็กที่ไม่มีใครใช้ตรวจงานจริง

คำถามที่ยังไม่มีคำตอบ

ยังไม่มีใครวัดชุดเดียวกันนี้กับโมเดลระดับแนวหน้าที่องค์กรใช้เป็นกรรมการกันจริง ซึ่งเป็นช่องว่างที่ใหญ่ที่สุดของงานแรก

ยังไม่ทราบว่าตัวเลขจากงานบริการลูกค้าจะย้ายไปงานเขียนโค้ดหรืองานท่องเว็บได้แค่ไหน

ยังไม่มีวิธีตรวจที่จับทั้งความผิดพลาดกลางทางและคำกล่าวอ้างที่แต่งขึ้นในคำตอบสุดท้ายได้พร้อมกัน ในราคาที่ใช้งานจริงได้