โครงการทำซ้ำผลการทดลองของเปเปอร์ ICML 2026 แบบเปิดให้ทุกคนช่วยตรวจ

Hugging Face เผยแพร่ผลโครงการเมื่อวันที่ 13 ส.ค. 2026 ที่เปิดให้ใครก็ได้เข้ามาช่วยกันไล่ทำซ้ำผลการทดลองของเปเปอร์ที่ผ่านการตรวจและถูกรับเข้างานประชุม ICML 2026 แล้ว จุดที่ทำให้โครงการนี้ต่างจากงานตรวจสอบทั่วไปคือทีมงานไม่ได้ตรวจเอง แต่เขียนไว้ว่า "Rather than audit papers ourselves, we opened it up to the whole community" (Hugging Face)

ขนาดของงานและวิธีนับ

โครงการรันระหว่างวันที่ 15 ก.ค. ถึง 2 ส.ค. 2026 ซึ่งบทความระบุว่าเป็นเวลา 19 วัน มีคนเข้าร่วม 1,221 คน เผยแพร่บันทึกการทำซ้ำ 6,816 ฉบับ และรันงานประมวลผลบนแพลตฟอร์ม 2,962 งาน โดยผู้เข้าร่วมแต่ละคนได้เครดิตประมวลผลคนละ 20 ดอลลาร์ (Hugging Face)

เปเปอร์ที่ถูกรับไปทำมี 2,226 ฉบับ ซึ่งบทความระบุว่าคิดเป็น 34% ของทั้งงานประชุม และตัวเลขข้อสรุปที่ถูกตัดสินรวมอยู่ที่ 35,908 ข้อ โดยบทความเขียนว่า "35,908 claims judged, with all verdicts frozen in a public dataset" (Hugging Face)

สิ่งที่ต้องเข้าใจก่อนอ่านตัวเลขอื่นคือโครงการนี้ตัดสินที่ระดับข้อสรุปรายข้อ ไม่ใช่ระดับเปเปอร์ ผลของแต่ละข้อถูกจัดเป็นสี่ระดับคือยืนยันได้ ถูกค้าน ยืนยันได้เฉพาะตอนย่อขนาดการทดลอง และสรุปไม่ได้ ผลที่ตามมาคือไม่มีตัวเลขเดียวในบทความที่บอกว่าเปเปอร์กี่เปอร์เซ็นต์ทำซ้ำได้ (Hugging Face)

ตัวเลขระดับเปเปอร์ และเหตุที่เอามาเรียงเป็นสัดส่วนไม่ได้

เปเปอร์ 1,103 ฉบับมีข้อสรุปอย่างน้อยหนึ่งข้อที่ยืนยันได้ ในจำนวนนั้น 266 ฉบับทำซ้ำได้ครบทุกข้อ และอีก 632 ฉบับทำซ้ำได้บางส่วนโดยไม่มีข้อไหนถูกค้าน ส่วนเปเปอร์ที่มีข้อสรุปอย่างน้อยหนึ่งข้อถูกค้านหรือถูกโต้แย้งมี 496 ฉบับ นอกจากนี้มี 502 ฉบับที่ยืนยันได้เฉพาะตอนย่อขนาดการทดลองลง และ 280 ฉบับที่บทความเขียนว่า "nothing could be established either way" โดยระบุว่าสาเหตุที่พบบ่อยที่สุดคือไม่มีไฟล์ประกอบให้ใช้ (Hugging Face)

กลุ่ม 1,103 กับกลุ่ม 496 ไม่ใช่กลุ่มที่แยกขาดจากกัน และข้อนี้ตามมาจากถ้อยคำของบทความเองโดยตรง เพราะเมื่อหักเปเปอร์ที่ทำซ้ำได้ครบ 266 ฉบับ กับที่ทำซ้ำได้บางส่วนแบบไม่มีข้อค้าน 632 ฉบับ ออกจาก 1,103 จะเหลือ 205 ฉบับที่มีทั้งข้อที่ยืนยันได้และข้อที่ถูกค้านอยู่ในฉบับเดียวกัน การเอาตัวเลขทั้งสี่กลุ่มมาวางเรียงกันแล้วบอกว่าเป็นสัดส่วนของยอดรวมจึงทำไม่ได้

ตัวเลขที่ปลอดภัยที่จะใช้คือจำนวนดิบพร้อมคำกำกับว่ากลุ่มไหนซ้อนกับกลุ่มไหน ส่วนเปอร์เซ็นต์ที่บทความให้ไว้ควรอ้างว่าเป็นเปอร์เซ็นต์ของบทความเอง ไม่ควรคำนวณใหม่จากยอด 2,226 เพราะตัวเลข 2,226 คือจำนวนเปเปอร์ที่ถูกรับไปทำ ซึ่งไม่ตรงกับฐานที่บทความใช้คิดเปอร์เซ็นต์

บทเรียนเรื่อง agent ที่ทีมงานเขียนเอง

ข้อสรุปเชิงวิธีการที่ทีมงานเขียนไว้ตรงที่สุดคือ "Reproducibility is not binary; it is adversarial" ซึ่งเป็นประโยคปิดของย่อหน้าที่พูดถึงเปเปอร์ 242 ฉบับที่ทีมอิสระคนละทีมทำซ้ำแล้วได้ข้อสรุปตรงข้ามกัน (Hugging Face)

อีกจุดที่ใช้ได้กับคนที่ทำงานกับ agent ทุกวันคือข้อจำกัดที่ทีมงานเจอ บทความเขียนว่า "Pure agent execution hits real limits. Agents got stuck in local loops, misread scale-dependent behavior... and occasionally built an entire falsification on top of a units mismatch." และระบุว่าผลที่น่าเชื่อถือที่สุดมาจากขั้นตอนการทำงานที่มีคนคอยกำกับทิศทางอยู่ (Hugging Face)

ข้อจำกัดที่ต้องพูดคู่กับตัวเลขเสมอ

ข้อแรกและสำคัญที่สุดคือผู้เข้าร่วมเป็นคนเลือกเองว่าจะทำเปเปอร์ฉบับไหน ขั้นตอนแรกของโครงการที่บทความอธิบายไว้คือให้เลือกเปเปอร์ และการที่หลายคนทำฉบับเดียวกันเป็นสิ่งที่โครงการสนับสนุน แปลว่าชุดเปเปอร์นี้ไม่ได้มาจากการสุ่มตัวอย่างและไม่ได้คัดกรองล่วงหน้าว่าต้องมีโค้ดให้ ตัวเลขทั้งหมดจึงเอาไปอ้างเป็นอัตราการทำซ้ำได้ของทั้งงานประชุมไม่ได้ (Hugging Face)

ข้อสองคือผู้ตัดสินเป็นระบบอัตโนมัติ บทความเขียนว่า "An automated Logbook Judge (running an open-weights model, GLM-5.2) re-read every logbook and issued a per-claim verdict" และไม่มีการเผยแพร่เกณฑ์ว่าตัวเลขที่ทำซ้ำได้ต้องใกล้เคียงของเดิมแค่ไหนถึงนับว่าผ่าน คำว่ามีคนกำกับที่บทความพูดถึงหมายถึงขั้นตอนการทำซ้ำ ไม่ใช่ขั้นตอนการตัดสิน (Hugging Face)

ข้อสามคือตัวบทความเองมีตัวเลขที่ไม่ตรงกันอยู่จุดหนึ่ง คือส่วนเปิดระบุจำนวนเปเปอร์ที่ถูกรับเข้างานประชุมไว้ที่ 6,352 ฉบับ ขณะที่ส่วนอธิบายวิธีทำงานเขียนว่าจัดทำดัชนีเปเปอร์ที่ถูกรับเข้า 6,341 ฉบับ และบทความไม่ได้อธิบายว่าทำไมสองตัวเลขนี้ต่างกัน (Hugging Face)

ข้อสี่คือบทความไม่ได้รายงานสถิติว่าเปเปอร์กี่ฉบับเปิดโค้ดหรือเปิดข้อมูล มีเพียงคำอธิบายเชิงคุณภาพว่าบางฉบับใช้ชุดข้อมูลที่เป็นของเอกชนหรือไม่ปล่อยไฟล์โมเดล และว่าการไม่มีไฟล์ประกอบเป็นสาเหตุที่พบบ่อยที่สุดของกรณีที่สรุปไม่ได้

เรื่องที่คนเข้าใจผิดบ่อย

เรื่องที่ผิดบ่อยที่สุดคือการเล่าตัวเลขนี้ว่าเปเปอร์ AI หนึ่งในสี่เป็นของปลอมหรือผิด ซึ่งไม่ตรงกับสิ่งที่วัด เพราะการที่ข้อสรุปหนึ่งข้อในเปเปอร์ถูกค้านไม่ได้แปลว่าทั้งเปเปอร์ผิด และหลายกรณีเป็นการค้านที่ยังถกเถียงกันอยู่ ไม่ใช่ข้อยุติ

อีกเรื่องคือการเข้าใจว่าตัวเลขนี้บอกคุณภาพของงานประชุม ICML เทียบกับที่อื่น ซึ่งบอกไม่ได้เพราะไม่มีค่าเทียบจากงานประชุมอื่นที่วัดด้วยวิธีเดียวกัน และเพราะชุดเปเปอร์มาจากการเลือกเองของผู้เข้าร่วม

คำถามที่ยังไม่มีคำตอบ

ยังไม่รู้ว่าเปเปอร์ที่ผู้เข้าร่วมเลือกทำต่างจากเปเปอร์ที่ไม่มีใครเลือกอย่างไร ซึ่งเป็นข้อมูลที่จำเป็นถ้าจะประเมินขนาดของอคติจากการเลือก

ยังไม่รู้เกณฑ์เชิงตัวเลขที่ระบบให้คะแนนใช้ตัดสินว่าผลที่ทำซ้ำได้ใกล้เคียงพอหรือไม่ และยังไม่มีการรายงานว่าระบบให้คะแนนอัตโนมัติเห็นตรงกับคนตัดสินมากน้อยแค่ไหน

ยังไม่รู้ว่าเปเปอร์ 242 ฉบับที่ทีมอิสระได้ข้อสรุปตรงข้ามกันนั้น ถูกตัดสินขั้นสุดท้ายอย่างไรและนับรวมอยู่ในกลุ่มไหน