Mixture of Experts (MoE)

Mixture of Experts (MoE) คือเทคนิคการออกแบบสถาปัตยกรรมของ model AI ที่แบ่งเครือข่ายภายในออกเป็น "expert" หลายชุด แต่ละชุดถนัดจัดการข้อมูลคนละแบบ และมีเครือข่ายเล็กๆ เรียกว่า router (หรือ gating network) คอยตัดสินใจว่า token แต่ละตัวที่ไหลเข้ามาควรส่งให้ expert ตัวไหนประมวลผล แนวคิดนี้มีงานวิจัยมาตั้งแต่ยุค 1990s แต่จุดเปลี่ยนสำคัญคือ sparsely-gated MoE layer ของ Google Brain ปี 2017 ที่เปิดใช้ expert แค่บางส่วน (sparse activation) แทนที่จะให้ทั้งโมเดลทำงานพร้อมกันทุกครั้ง

ใน llm ยุคปัจจุบัน MoE มักเข้าไปแทนที่ FFN layer ปกติของ transformer ตัวอย่างที่ดังคือ Mixtral 8x7B ของ mistral (ธันวาคม 2023) ที่มี expert 8 ชุดต่อ layer และ router เลือกใช้ 2 ชุดต่อ token: parameters รวมราว 46.7 พันล้าน แต่ compute ที่ใช้จริงต่อ token อยู่แถวๆ โมเดลขนาด 12B เท่านั้น จึงทำผลงานชนะ llama 70B ได้ทั้งที่ inference เร็วกว่า ส่วน Switch Transformer ของ Google ดันขนาดไปถึง 1.6 ล้านล้านพารามิเตอร์ด้วย expert สูงสุด 2,048 ตัว และ deepseek ก็ใช้ MoE แบบมีทั้ง shared expert และ routed expert · ข้อแลกเปลี่ยนของ MoE คือต้องโหลด expert ทุกตัวไว้ในหน่วยความจำพร้อมกัน (กิน VRAM สูง) เทรนให้เสถียรยาก มักโอเวอร์ฟิตง่ายตอน fine-tuning และต้องทำ load balancing ไม่ให้ token กระจุกอยู่ที่ expert ยอดนิยมไม่กี่ตัว

ทำไมคนทำงานยุค AI ต้องรู้: โมเดลดังหลายตัวที่เราใช้กันทุกวันเป็น MoE (Mixtral, DBRX ของ Databricks, DeepSeek และมีข่าวลือมานานว่า gpt-4 ด้วย) การเข้าใจ MoE ช่วยให้อ่านสเปกโมเดลออก เช่น รู้ว่าชื่อ "8x7B" ไม่ได้แปลว่าเอาโมเดล 7B แปดตัวมาต่อกัน และเข้าใจว่าทำไมโมเดลพารามิเตอร์มหาศาลถึงตอบได้เร็วและต้นทุนต่อคำถูกลงเรื่อยๆ ซึ่งกระทบงบและทางเลือกการใช้ AI ขององค์กรโดยตรง

ตัวอย่างจากบทสนทนาจริง

ฝ่ายจัดซื้อ: "ใน proposal เขียนว่าระบบใช้โมเดล MoE ขนาด 8x7B ตกลงนี่คือ AI แปดตัวช่วยกันตอบแล้วโหวตเลือกคำตอบที่ดีที่สุดใช่ไหมคะ แบบนั้นค่าใช้จ่ายไม่คูณแปดเหรอ"

ทีม AI: "ไม่ใช่ครับ Mixture of Experts คือโมเดลเดียว แต่ข้างในแต่ละชั้นแบ่งเป็น expert 8 ชุด แล้วมี router เลือกใช้แค่ 2 ชุดต่อ token โดยอัตโนมัติ เราเลยได้ความสามารถระดับโมเดลใหญ่ในราคา compute ระดับโมเดลเล็ก ไม่ได้มี AI แปดตัวนั่งประชุมกัน และเราสั่งเองไม่ได้ด้วยว่าจะให้ใช้ expert ตัวไหน"

ระวังสับสนกับ

• Multi-agent / subagent : การให้ agent หลายตัวแบ่งงานกันคือการออกแบบ workflow ภายนอกตัวโมเดล ส่วน MoE เป็นโครงสร้างภายในของโมเดลเดียว router เลือก expert ให้อัตโนมัติระดับ token ผู้ใช้มองไม่เห็นและควบคุมไม่ได้
• Ensemble : MoE มีรากจากแนวคิด ensemble learning ก็จริง แต่ ensemble แบบคลาสสิกรันทุกโมเดลแล้วเอาผลมารวมกัน ขณะที่ MoE แบบ sparse เปิดใช้แค่บาง expert ต่อ token และทุกส่วนถูกเทรนมาด้วยกันเป็นโมเดลเดียวตั้งแต่ต้น