Diffusion language model

Diffusion language model คือโมเดลภาษาที่สร้างข้อความด้วยวิธีต่างจากที่โมเดลดังทุกตัวใช้อยู่ โมเดลกระแสหลักทำงานแบบ autoregressive คือทายคำถัดไปทีละคำเรียงจากซ้ายไปขวา (ดู next-token-prediction) ส่วนโมเดลสาย diffusion ยืมกลไกมาจากฝั่งสร้างภาพ คือเริ่มจากสัญญาณรบกวนแล้วค่อยๆ ขัดเกลาลดสัญญาณรบกวนลงทีละรอบจนกลายเป็นข้อความที่อ่านรู้เรื่อง กลไกต้นทางฝั่งภาพทำงานสองจังหวะ จังหวะแรกคือค่อยๆ เติมสัญญาณรบกวนใส่ข้อมูลจริงจนเหลือแต่ความมั่ว จังหวะที่สองคือให้โครงข่ายประสาทเทียมเรียนรู้ที่จะย้อนกระบวนการนั้นกลับ

งานที่ทำให้เรื่องนี้เป็นข่าวในเดือนสิงหาคม 2026 คือ LLaDA MoE v2 ซึ่งเผยแพร่เมื่อ 4 สิงหาคม เป็นโมเดลภาษาแบบ diffusion ที่ผสมกับสถาปัตยกรรม mixture-of-experts ขนาด 30B โดยมีพารามิเตอร์ทำงานจริง 3B สิ่งที่งานนี้เสนอนอกเหนือจากตัวโมเดล คือชุดกฎว่าถ้าจะขยายโมเดลสายนี้ให้ใหญ่ขึ้นต้องปรับอะไรบ้าง ซึ่งพบว่ากติกาต่างจากโมเดลแบบเดิม คือขนาดชุดข้อมูลต่อรอบควรโตเร็วกว่า อัตราการเรียนรู้ควรลดลงเร็วกว่าเมื่อใช้พลังประมวลผลมากขึ้น และเมื่อสเกลใหญ่ขึ้นการมีผู้เชี่ยวชาญจำนวนมากขึ้นจะได้เปรียบ ผลที่รายงานคือใช้โทเคนราว 65% ของที่โมเดลเปรียบเทียบใช้ แล้วได้ผลใกล้เคียงกันในหมวดความรู้ การให้เหตุผล และการเขียนโค้ด

เหตุผลที่ควรรู้จักไว้แม้ยังไม่ได้ใช้คือเรื่องความเร็ว เพราะวิธีแบบ diffusion ไม่ได้สร้างคำทีละคำเรียงกันไป จึงมีโอกาสตอบเร็วขึ้นมากในงานที่ต้องการคำตอบยาว ซึ่งเป็นข้อจำกัดที่ผู้ใช้รู้สึกได้จริงกับโมเดลปัจจุบัน ข้อควรระวังคือตัวเลขทั้งหมดเป็นการรายงานของผู้เขียนเอง ยังไม่มีการวัดซ้ำโดยอิสระ และการเทียบว่าใช้ข้อมูลน้อยกว่าแล้วได้ผลใกล้เคียงเป็นการเทียบข้ามสถาปัตยกรรมซึ่งมีตัวแปรอื่นปนอยู่มาก สิ่งที่ควรทำตอนนี้คือรับรู้ไว้ว่ามีสายที่สองกำลังไล่ตามมาถึงระดับที่เทียบกันได้แล้ว แล้วรอผลวัดจากคนนอก อย่าเพิ่งเอาไปเป็นเหตุผลในการเลือกเครื่องมือ

ตัวอย่างจากบทสนทนาจริง

นักพัฒนา: "เห็นข่าวโมเดลภาษาแบบ diffusion แล้วบอกว่าเร็วกว่า เราควรเปลี่ยนไปใช้ไหมครับ"

หัวหน้าทีม: "ยังครับ ตอนนี้มีแค่ผลที่ผู้เขียนเปเปอร์รายงานเอง ยังไม่มีใครวัดซ้ำจากข้างนอก และยังไม่มีบริการที่พร้อมใช้ในงานจริง สิ่งที่น่าสนใจคือทิศทาง เพราะมันสร้างข้อความคนละวิธีกับที่ทุกเจ้าใช้ ถ้าสำเร็จจริงจุดที่เราจะรู้สึกคือความเร็วตอนขอคำตอบยาวๆ ผมเสนอให้ตั้งเป็นเรื่องที่ตามข่าวไว้ทุกไตรมาส แต่ยังไม่ต้องปรับแผนอะไรครับ"

ระวังสับสนกับ

• Diffusion model แบบสร้างภาพ : diffusion model ที่คนรู้จักกันใช้สร้างภาพ เช่นระบบสร้างภาพจากข้อความ ส่วน diffusion language model เอากลไกเดียวกันมาใช้สร้างข้อความแทน ซึ่งยากกว่าเพราะภาษาเป็นข้อมูลไม่ต่อเนื่อง ต่างจากค่าสีของพิกเซล
• llm : LLM ที่ใช้กันทุกวันนี้แทบทั้งหมดเป็นแบบ autoregressive คือทายคำถัดไปทีละคำ ส่วน diffusion language model เป็นสถาปัตยกรรมทางเลือกที่ทำงานคนละวิธี แต่เป้าหมายเดียวกันคือสร้างข้อความ
• mixture-of-experts : mixture of experts เป็นเทคนิคแบ่งโมเดลเป็นผู้เชี่ยวชาญหลายส่วนแล้วเรียกใช้เฉพาะบางส่วนต่อครั้ง ซึ่งใช้ได้กับสถาปัตยกรรมหลายแบบ งานนี้เอาสองเทคนิคมารวมกัน ไม่ใช่เรื่องเดียวกัน