โมเดลเปิดตระกูลใหม่อ้างว่าคะแนนแซงรุ่นท็อปของค่ายปิด แต่ตัวเลขที่แซงกับตัวเลขที่ยังแพ้อยู่คนละบรรทัดกัน
โมเดลตระกูล Ornith-1.5 เผยแพร่ต่อสาธารณะเมื่อวันที่ 19 ส.ค. ออกมาสามขนาดคือ 397 พันล้าน 35 พันล้าน และ 9 พันล้านพารามิเตอร์ โดยหน้าประกาศระบุผู้พัฒนาไว้เพียงว่า Ornith Team ส่วนสื่อเทคโนโลยีระบุว่าเป็นทีมวิจัยชื่อ DeepReinforce ซึ่งเป็นทีมเดียวกับที่ปล่อยรุ่น 1.0 เมื่อเดือน มิ.ย. และหน้าต้นทางอธิบายวิธีฝึกว่าให้โมเดลตั้งโจทย์ใหม่ให้ตัวเองแล้วเรียนจากผลของตัวเอง
สิ่งที่ทำให้คนสนใจคือสัญญาอนุญาต ข้อมูลกำกับโมเดลบนคลังโมเดลระบุว่าเป็น MIT ซึ่งเป็นสัญญาที่ผ่อนที่สุดแบบหนึ่งและไม่มีเพดานรายได้ผูกไว้ ข้อควรระวังคือตรวจแล้วยังไม่มีไฟล์ตัวสัญญาแนบอยู่ในคลังจริงทั้งสองรุ่น จึงเป็นการประกาศไว้ในข้อมูลกำกับอย่างเดียว
ตัวเลขที่ผู้ผลิตรายงานเองคือรุ่นใหญ่ที่สุดทำคะแนนบนชุดทดสอบงานผ่านหน้าจอบรรทัดคำสั่งได้ 86.1 ภายใต้ชุดเครื่องมือรันชื่อ Terminus-2 เทียบกับรุ่นท็อปของค่ายปิดที่ 85.0 แต่บนชุดทดสอบงานแก้บั๊กจากคลังโค้ดจริง โมเดลนี้ได้ 56.0 ซึ่งยังแพ้คู่เทียบเดิมที่ 59.0 คือแซงบางกระดานและยังตามอยู่บางกระดาน
จุดที่ต้องอ่านให้ครบคือการ์ดของโมเดลรายงานคะแนนชุดแรกไว้สองค่าตามชุดเครื่องมือที่ใช้รัน คือ 86.1 กับ 85.2 และมีสื่อเทคโนโลยีรายงานตัวเลขเดียวกันนี้ไว้ที่ 85.1 ถ้ายึดสองค่าหลัง ผลลัพธ์จะกลายเป็นเสมอกันแทนที่จะแซง คะแนนทั้งหมดนี้เป็นคะแนนที่ผู้ผลิตวัดเอง และตรวจเมื่อวันที่ 20 ส.ค. แล้วยังไม่มีผู้วัดอิสระเผยแพร่ผลของโมเดลนี้
ข้อควรระวังอีกข้อคือนี่ไม่ใช่การฝึกโมเดลฐานขึ้นใหม่ทั้งตัว ข้อมูลกำกับโมเดลบนคลังโมเดลระบุสถาปัตยกรรมไว้ว่าเป็นตระกูล Qwen3.5 แบบผู้เชี่ยวชาญผสม ซึ่งตรงกับที่ผู้อ่านบนกระดานนักพัฒนาตั้งข้อสังเกตว่าเป็นการฝึกต่อยอดบนโมเดลเปิดของค่ายอื่นที่มีอยู่แล้ว และเป็นสิ่งที่หน้าประกาศของผู้พัฒนาเองไม่ได้เขียนไว้ ส่วนข้อจำกัดที่จับต้องได้คือรุ่น 397 พันล้านยังใหญ่เกินกว่าจะยัดลงการ์ดจอสองใบได้แม้บีบขนาดหนักแล้ว
▲ ทำไมต้องรู้ · เวลาเห็นพาดหัวว่าโมเดลเปิดแซงโมเดลปิดแล้ว สิ่งที่ควรทำก่อนเอาไปวางแผนคือเปิดหน้าโมเดลดูว่ามันแซงบนกระดานไหนและยังแพ้บนกระดานไหน เพราะกระดานที่มันแซงอาจไม่ใช่งานที่องค์กรเราทำจริง คำถามที่ใช้ได้ทันทีคืองานหลักของทีมเราตรงกับชุดทดสอบตัวไหนมากที่สุด แล้วดูเฉพาะแถวนั้นแถวเดียว
Ornith · หน้าโมเดลรุ่น 397B · หน้าโมเดลรุ่น 9B · TestingCatalog · Hacker News