Speculative decoding

Speculative decoding คือเทคนิคเร่งความเร็วตอนโมเดลสร้างคำตอบ แทนที่จะผลิตทีละโทเคนตามปกติ วิธีนี้ทำงานสองจังหวะ จังหวะแรกให้โมเดลเล็กที่เรียกว่า draft model เดาโทเคนถัดไปล่วงหน้าหลายตัวพร้อมกัน โดยทั่วไปราวสามถึงสิบสองตัว จังหวะที่สองให้โมเดลใหญ่ตัวจริงตรวจสอบคำเดาทั้งชุดในการประมวลผลรอบเดียว แล้วรับเฉพาะส่วนที่ถูกต้องและทิ้งส่วนที่ผิด

เหตุผลที่วิธีนี้ได้ผลอยู่ที่ลักษณะของคอขวด ตัวถ่วงความเร็วของการรันโมเดลภาษาไม่ใช่การคำนวณ แต่เป็นการโหลดค่าน้ำหนักของโมเดลเข้ามาในหน่วยประมวลผล ซึ่งเป็นสาเหตุเดียวกับที่ทำให้กลไกอย่าง kv-cache จำเป็น เมื่อการโหลดคือต้นทุนหลัก การประมวลผลหลายโทเคนพร้อมกันจึงใช้เวลาแทบไม่ต่างจากการประมวลผลโทเคนเดียว วิธีนี้จึงเปลี่ยนงานที่ต้องวนหลายรอบให้เหลือรอบเดียว จุดสำคัญที่ทำให้เทคนิคนี้ปลอดภัยคือขั้นตอนตรวจสอบถูกออกแบบให้ผลลัพธ์สุดท้ายเหมือนกับการสร้างแบบปกติทุกประการ คือได้คำตอบเดิมแต่เร็วขึ้นราวสองถึงสามเท่า ไม่ใช่การแลกคุณภาพกับความเร็ว แนวคิดนี้ยืมมาจากการออกแบบซีพียูที่ทำนายคำสั่งถัดไปไว้ก่อนจะได้รับการยืนยัน

เดือนกรกฎาคม 2026 เทคนิคนี้เป็นข่าวเมื่อไลบรารีเสิร์ฟโมเดลที่ใช้กันแพร่หลายรองรับวิธีนี้เพิ่ม แล้วมีรายงานว่าทำความเร็วได้ราว 250 โทเคนต่อวินาทีบนชุดการ์ดระดับศูนย์ข้อมูล สำหรับองค์กรที่รันโมเดลเอง นี่คือหนึ่งในวิธีลดต้นทุนที่ไม่ต้องแลกกับคุณภาพคำตอบ ซึ่งหายากกว่าที่คิด สิ่งที่ควรถามผู้ให้บริการหรือทีมที่ดูแลระบบคือใช้เทคนิคนี้อยู่หรือไม่ และถ้ายังไม่ใช้ ติดขัดตรงไหน ข้อควรระวังคือวิธีนี้ต้องมีโมเดลเล็กที่เดาได้แม่นพอ ถ้าโมเดลเล็กเดาผิดบ่อย งานตรวจสอบที่เพิ่มขึ้นอาจทำให้ไม่ได้เร็วขึ้นจริง

ตัวอย่างจากบทสนทนาจริง

ผู้จัดการ: "ทีมบอกว่าจะเปิด speculative decoding เพื่อให้ระบบตอบเร็วขึ้นครับ แต่ผมกังวลว่าถ้าเร่งความเร็วแล้วคุณภาพคำตอบจะแย่ลงไหม"

สถาปนิกระบบ: "ข้อนี้ไม่ต้องกังวลครับ เพราะขั้นตอนตรวจสอบออกแบบมาให้ผลลัพธ์สุดท้ายเหมือนเดิมทุกประการ คือได้คำตอบเดียวกับที่ไม่เปิดเทคนิคนี้ แค่เร็วขึ้น ต่างจากการลดขนาดโมเดลหรือลดความละเอียดซึ่งแลกคุณภาพจริง สิ่งที่ต้องวัดคือได้เร็วขึ้นจริงไหมกับงานของเรา เพราะมันขึ้นกับว่าโมเดลเล็กที่ใช้เดาแม่นแค่ไหนกับข้อความแบบที่เราใช้ ผมจะวัดก่อนเปิดจริงครับ"

ระวังสับสนกับ

• quantization : quantization ลดความละเอียดของตัวเลขในโมเดลเพื่อประหยัดหน่วยความจำ ซึ่งแลกกับความแม่นยำที่อาจลดลงเล็กน้อย ส่วน speculative decoding ให้คำตอบเหมือนเดิมทุกประการ เป็นการเร่งความเร็วที่ไม่แลกคุณภาพ
• distillation : distillation คือการย่อความรู้จากโมเดลใหญ่มาใส่โมเดลเล็กเพื่อใช้แทนกัน ส่วน speculative decoding ใช้โมเดลเล็กเป็นตัวช่วยเดาเท่านั้น คำตอบสุดท้ายยังมาจากโมเดลใหญ่เสมอ
• effort : effort คือการตั้งว่าจะให้โมเดลใช้ความพยายามคิดมากแค่ไหน ซึ่งเปลี่ยนคุณภาพและต้นทุนของคำตอบ ส่วน speculative decoding ไม่เปลี่ยนสิ่งที่โมเดลคิด เปลี่ยนแค่วิธีผลิตข้อความออกมาให้เร็วขึ้น