Moonshot เปิด Kimi K3.1 Pro ติดอันดับสี่ของโลกจากการวัดอิสระ และบอกว่าจะปล่อยน้ำหนักภายใน 4 พฤศจิกายน
Moonshot ประกาศโมเดลใหม่ชื่อ Kimi K3.1 Pro เมื่อ 23 ตุลาคม โดยอธิบายว่าเป็นรุ่นที่เอา Kimi K3 มาฝึกต่อด้วยกำลังประมวลผลในขั้น post-training ที่มากขึ้นอย่างมีนัยสำคัญ บริษัทเรียกมันว่าโมเดลระดับ 3T-class แบบเปิดน้ำหนักที่เก่งที่สุดของตัวเอง แต่ไม่ได้ระบุจำนวนพารามิเตอร์ไว้ที่ไหนเลยในประกาศ รับ context ได้ 1 ล้านโทเคน และบริษัทระบุว่าเปิดใช้แล้วบนเว็บ Kimi แอปมือถือ Kimi Work, Kimi Code และ API
ตัวเลขจากผู้วัดอิสระคือ Artificial Analysis ให้คะแนนดัชนีความฉลาดที่ 55 อยู่อันดับ 4 จาก 215 โมเดล ตามหลัง Claude Opus 5.5 ที่ 58 กับ Claude Sonnet 5.5 และ Muse Wonder Full ที่ 56 ทั้งคู่ ราคาอยู่ที่ 2 ดอลลาร์ต่อล้านโทเคนขาเข้าและ 10 ดอลลาร์ต่อล้านโทเคนขาออก โดยอ่านแคชอยู่ที่ 0.20 ดอลลาร์ ส่วนรุ่น Highspeed ที่บริษัทบอกว่าเร็วกว่า 2 ถึง 3 เท่า มีรายงานราคาที่ 4 และ 20 ดอลลาร์ ความเร็วขาออกที่ Artificial Analysis วัดได้คือ 77.1 โทเคนต่อวินาที
คะแนน benchmark ในประกาศเป็นการวัดของบริษัทเองทั้งชุด และเชิงอรรถระบุว่ารันด้วย harness ของ Claude Code โดยตั้งระดับการคิดไว้สูงสุด โดยไม่บอกเงื่อนไขที่ใช้วัดคู่แข่ง จึงไม่ใช่การเทียบในเงื่อนไขเดียวกัน ตัวอย่างที่เห็นชัดคือตาราง Terminal-Bench 4.0 ของบริษัทให้ตัวเองที่ 65.7% ตามหลัง Claude Opus 5.5 ที่ 66.4% ขณะที่ Artificial Analysis รันเองได้ 67% และจัดให้ K3.1 Pro เป็นอันดับหนึ่งของ benchmark ตัวนั้น ซึ่งสลับลำดับกับตารางของผู้ผลิต ส่วน BenchCAD แบบใช้เครื่องมือบริษัททำได้ 92.7% ซึ่งเป็นอันดับสามในตารางของตัวเอง ตามหลัง Opus 5.5 ที่ 96.2% และ GPT-6 Astra ที่ 95.9%
เรื่องที่บริษัทเผยตรงไปตรงมาผิดคาดคือ benchmark ความสามารถด้านไซเบอร์ที่ทำขึ้นเอง รุ่นที่ปล่อยทำได้ 81.0% แบบ pass@3 บนชุดย่อยที่สุ่มมาและไม่ระบุว่าชุดไหน ส่วนเช็กพอยต์ที่ยังไม่ใส่มาตรการลดความเสี่ยงทำได้ 90.5% แปลว่าบริษัทยอมเสียคะแนนความสามารถเพื่อแลกกับการลดความเสี่ยง และบริษัทระบุว่าสำหรับรุ่นเปิดน้ำหนักได้ตัดข้อมูลที่เกี่ยวกับไซเบอร์ออกจากการฝึกทั้งสองขั้น
ข้อควรระวังมีสองชั้น ชั้นแรกคือคำว่าเปิดน้ำหนักยังไม่เป็นจริงในวันนี้ หน้าของ Artificial Analysis ระบุสถานะว่าเป็นโมเดลปิดและน้ำหนักยังไม่เปิดให้ดาวน์โหลด ชั้นที่สองคือถ้อยคำของบริษัทเปิดช่องไว้ว่ารุ่นที่จะปล่อยน้ำหนักอาจไม่ใช่ตัวเดียวกับที่ให้เรียกผ่าน API อยู่ตอนนี้ เพราะบริษัทเขียนว่าตั้งใจไม่ปล่อยน้ำหนักที่จะขยายขีดความสามารถด้านไซเบอร์ของวงการ และจะค่อย ๆ เพิ่มความสามารถส่วนนั้นในรุ่นเปิดภายหลัง นอกจากนี้ผู้ดูแลระบบขององค์กรต้องไปเปิดสิทธิ์ให้ก่อนเพราะค่าตั้งต้นคือปิด
▲ ทำไมต้องรู้ · ถ้าทีมของคุณเคยตัดโมเดลจากจีนออกเพราะคิดว่าตามหลังอยู่หลายช่วงตัว การวัดอิสระที่จัดให้มันอยู่อันดับสี่ของโลกในราคาประมาณครึ่งหนึ่งของรุ่นท็อป เป็นเหตุผลให้ทบทวน สิ่งที่ยังไม่ควรเชื่อคือตารางเทียบในประกาศของผู้ผลิต เพราะวัดในเงื่อนไขที่ผู้ผลิตเลือกเองและผู้วัดอิสระได้ลำดับไม่เหมือนกัน และคำว่าเปิดน้ำหนักในวันนี้ยังเป็นคำสัญญา ไม่ใช่ของที่ดาวน์โหลดได้
Kimi blog · Artificial Analysis · AA launch benchmarks · Simon Willison