Ground truth

Ground truth คือคำตอบที่เราตกลงกันแล้วว่าถูก และเก็บไว้ใช้เป็นไม้บรรทัดวัดว่าระบบ AI ตอบถูกหรือตอบผิด glossary ด้าน machine learning ของ Google นิยามคำนี้สั้นมากว่า "Reality. The thing that actually happened." คือสิ่งที่เกิดขึ้นจริง เช่น ถ้าโมเดลทำนายว่านักศึกษาปีหนึ่งคนหนึ่งจะเรียนจบภายในหกปีหรือไม่ ground truth ก็คือข้อเท็จจริงว่าสุดท้ายเขาเรียนจบภายในหกปีจริงหรือไม่ ในงาน supervised learning คำตอบพวกนี้คือ label ที่ติดมากับตัวอย่างแต่ละชิ้นในชุดข้อมูล และมันทำหน้าที่สองอย่างพร้อมกัน คือใช้สอนโมเดลตอนเทรน และใช้ตัดสินโมเดลตอนวัดผล

พอมาถึงยุคของระบบที่ตอบเป็นข้อความยาว ground truth เปลี่ยนรูปจาก label สั้นๆ มาเป็นสิ่งที่ทีมของ Anthropic เรียกว่า golden answer ใน notebook สอนสร้าง evals ของบริษัท เขาอธิบายว่าชุดวัดผลหนึ่งชุดโดยทั่วไปมีสี่ส่วน ได้แก่ prompt ที่ป้อนเข้าไป คำตอบที่โมเดลตอบออกมา golden answer ที่เอาไว้เทียบ และคะแนนที่ได้จากวิธีให้คะแนนแบบใดแบบหนึ่ง โดย golden answer จะเป็นคำตอบที่ต้องตรงเป๊ะ หรือจะเป็นตัวอย่างคำตอบที่ดีไว้ให้ผู้ตรวจใช้เป็นจุดเทียบก็ได้ ฝั่งผู้ให้บริการคลาวด์ก็ทำแบบเดียวกัน บล็อกของ AWS ที่อธิบายการประเมินแบบให้โมเดลเป็นกรรมการบน amazon-bedrock ระบุว่าไฟล์ชุดทดสอบเป็น JSONL ที่แต่ละบรรทัดมีช่อง prompt เป็นช่องบังคับ ส่วนช่อง referenceResponse ซึ่งเก็บคำตอบที่ถูกต้องนั้นใส่หรือไม่ใส่ก็ได้ เพราะจะถูกใช้เฉพาะบางเมตริกเท่านั้น และแนะนำว่าถ้างานใหญ่เกินหนึ่งพัน prompt ให้ใช้วิธีสุ่มแบบแบ่งชั้นเพื่อคุมทั้งค่าใช้จ่ายและเวลา

เหตุผลที่องค์กรซึ่งอยากรู้ว่า AI ของตัวเองแม่นแค่ไหนต้องลงแรงทำชุดนี้เองก่อน คือคะแนนที่เวนเดอร์โชว์มาวัดจากโจทย์ของเวนเดอร์ ไม่ใช่จากเคสจริงของคุณ และงานส่วนที่กินเวลามากคือการนั่งเขียนคำตอบที่ถือว่าถูกทีละเคส ซึ่งเป็นภาระหนักถ้ายังไม่มีชุดข้อมูลอยู่ก่อน แต่ข้อดีคือโดยทั่วไปมันเป็นต้นทุนก้อนเดียวที่จ่ายครั้งเดียวจบ เอกสารของ anthropic เองบอกตรงๆ ว่าการให้คนตรวจเป็นวิธีที่เก่งที่สุด แต่ก็ช้าและแพงอย่างมากโดยเฉพาะเมื่อชุดวัดผลมีขนาดใหญ่ จึงเป็นเหตุผลที่หลายทีมย้ายไปใช้การตรวจด้วยโค้ดหรือให้โมเดลตรวจแทน ต้นทุนแฝงอีกก้อนคือขนาดของชุด งานวิจัยของ Anthropic เรื่องวิธีทางสถิติสำหรับการประเมินโมเดลเสนอให้รายงานค่าความคลาดเคลื่อนมาตรฐานควบคู่กับคะแนนทุกครั้ง และพบว่าเมื่อคำถามในชุดวัดเกาะกลุ่มกันอยู่ ค่าความคลาดเคลื่อนแบบคิดเป็นกลุ่มอาจใหญ่กว่าค่าที่คิดแบบง่ายเกินสามเท่า แปลว่าถ้าคิดค่าความคลาดเคลื่อนแบบง่ายโดยไม่สนใจว่าคำถามเกาะกลุ่มกัน ตัวเลขจะดูแม่นเกินจริงจนพาไปสรุปผิดได้ และงานวิจัยชิ้นเดียวกันยังแนะนำให้ใช้การคำนวณกำลังทดสอบมาช่วยตัดสินว่าชุดวัดควรมีกี่ข้อจึงจะแยกความต่างระหว่างโมเดลได้จริง

ข้อควรระวังที่สำคัญที่สุดคืออย่าอ่านคำว่า ground truth เป็นความจริงสัมบูรณ์ glossary ของ Google เตือนไว้เองว่าชุดคำตอบพวกนี้ไม่ได้จริงแท้เสมอไป เพราะอาจเพี้ยนจากการบันทึกข้อมูลขององค์กร จากการตั้งค่าเครื่องมือวัด หรือจากการที่คนตรวจแต่ละคนตัดสินเหตุการณ์เดียวกันไม่เหมือนกัน ในทางปฏิบัติมันจึงเป็นฉลากที่คนกลุ่มหนึ่งตกลงกันว่าถูก ซึ่งแปลว่าอคติของคนติดมาด้วยได้ และถ้าอคตินั้นเข้าไปอยู่ในชุดวัดผล มันจะกลายเป็นมาตรฐานที่ระบบถูกปรับให้วิ่งเข้าหา ทำให้ ai-bias ถูกฝังลึกลงไปอีกชั้นแทนที่จะถูกจับได้ เปเปอร์ From Ground Truth to Measurement โดย Robert Chew, Stephanie Eckman, Christoph Kern และ Frauke Kreuter ที่ขึ้น arXiv เมื่อ 8 เมษายน 2026 เสนอให้เลิกมองความไม่ตรงกันของคนตรวจว่าเป็นเพียง noise แล้วหันมามองการติดฉลากเป็นกระบวนการวัดที่แยกออกได้เป็นหลายแหล่ง ทั้งความยากของตัวโจทย์เอง อคติของผู้ตรวจแต่ละคน ความคลาดเคลื่อนตามสถานการณ์ และความสอดคล้องกันระหว่างผู้ตรวจ ข้อจำกัดคือเปเปอร์นี้ยังเป็น preprint ที่ยังไม่ผ่าน peer review จึงควรอ่านเป็นกรอบคิด ไม่ใช่ข้อสรุปปิดตาย สิ่งที่ใช้ได้ทันทีคือกฎง่ายๆ ว่าถ้าให้คนสองคนทำเคสเดียวกันแล้วคำตอบไม่ตรงกันบ่อย แปลว่าเกณฑ์ยังกำกวม ต้องแก้เกณฑ์ก่อนจะไปโทษโมเดล และเมื่อชุดคำตอบของคุณเองเชื่อถือได้แล้ว มันจะกลายเป็นเครื่องมือจับ hallucination ที่ตรงกับงานของคุณมากกว่าคะแนนสาธารณะใดๆ โดยยังต้องมี human-review คอยสุ่มตรวจซ้ำเป็นระยะ เพราะทั้งงานจริงและเกณฑ์ตัดสินเปลี่ยนไปตามเวลา

ตัวอย่างจากบทสนทนาจริง

หัวหน้าฝ่ายบริการลูกค้า: "เวนเดอร์โชว์ตัวเลขความแม่นมาสวยมาก เราหยิบไปรายงานบอร์ดเลยได้ไหม"

ทีมข้อมูล: "ตัวเลขนั้นวัดจากชุดคำถามของเขา ไม่ใช่ของเรา ถ้าอยากรู้ว่าแม่นกับงานเราจริงไหม ต้องหยิบเคสจริงจากระบบเรามาชุดหนึ่ง แล้วเขียนคำตอบที่ถือว่าถูกเก็บไว้ก่อน ค่อยเอาบอทมาตอบเทียบ"

หัวหน้าฝ่ายบริการลูกค้า: "แล้วใครเป็นคนตัดสินว่าคำตอบไหนถูก"

ทีมข้อมูล: "คนของเราเองครับ และนั่นแหละคือส่วนที่แพงที่สุดของโปรเจกต์ ถ้าเอาเคสเดียวกันให้พนักงานสองคนตอบแล้วได้คนละคำตอบ แปลว่านโยบายเรายังกำกวม ต้องเคลียร์เกณฑ์ให้จบก่อน ไม่งั้นเราจะเอาความสับสนของตัวเองไปวัดโมเดล"

ระวังสับสนกับ

• benchmark : benchmark คือชุดข้อสอบมาตรฐานที่หลายเจ้าใช้เทียบกันในที่สาธารณะ ส่วน ground truth คือตัวเฉลยที่ฝังอยู่ข้างในข้อสอบนั้น ข้อสอบชุดหนึ่งจะมีค่าก็ต่อเมื่อเฉลยของมันเชื่อถือได้ และ benchmark สาธารณะแทบไม่เคยตรงกับงานเฉพาะขององค์กรคุณ
• trivial-baseline : baseline แบบง่ายคือเส้นล่างที่บอกว่าถ้าเดามั่วหรือใช้กฎโง่ๆ จะได้คะแนนเท่าไหร่ มันเป็นจุดเปรียบเทียบ ไม่ใช่คำตอบที่ถูก ส่วน ground truth คือคำตอบที่ถูกซึ่งใช้คิดคะแนนให้ทั้ง baseline และโมเดลจริง
• calibration : calibration ถามว่าความมั่นใจที่โมเดลบอกออกมาตรงกับอัตราที่มันถูกจริงหรือไม่ ซึ่งจะวัดได้ก็ต่อเมื่อมี ground truth อยู่แล้ว พูดอีกแบบคือ ground truth เป็นวัตถุดิบ ส่วน calibration เป็นผลลัพธ์ที่คำนวณจากวัตถุดิบนั้น