Scaling Laws

Scaling Laws คือกฎเชิงประจักษ์ (ได้จากการวัดผลจริง ไม่ใช่ทฤษฎีที่พิสูจน์บนกระดาษ) ที่อธิบายว่าความสามารถของ model ปัญญาประดิษฐ์เปลี่ยนไปอย่างไรเมื่อเราขยายปัจจัยหลัก 3 อย่าง: ขนาดโมเดล (จำนวน parameters) ขนาดข้อมูลที่ใช้ฝึก (dataset) และพลังประมวลผลที่ใช้ในการ training (compute วัดเป็น FLOPs ซึ่งในทางปฏิบัติคือจำนวนชิป gpu คูณเวลาที่เผาไป) งานวิจัยหลักไมล์คือ "Scaling Laws for Neural Language Models" ของ Kaplan และคณะ (มกราคม 2020) ที่พบว่าค่า loss (ตัววัดว่าโมเดลทายคำผิดมากแค่ไหน) ลดลงเป็น power law ตามทั้ง 3 ปัจจัย โดยแนวโน้มนี้คงเส้นคงวายาวกว่า 7 orders of magnitude และที่น่าทึ่งคือรายละเอียดสถาปัตยกรรมอย่างความกว้างหรือความลึกของ neural-network แทบไม่มีผลเมื่อเทียบกับ "ขนาด" โดยรวม

ความหมายเชิงปฏิบัติของกฎนี้คือ ความเก่งของ AI กลายเป็นสิ่งที่ "ซื้อได้และวางแผนได้" : แล็บสามารถประเมินล่วงหน้าได้ว่าถ้าลงทุน compute เท่านี้ โมเดลจะเก่งประมาณไหน ก่อนจะกดปุ่มฝึกจริงด้วยเงินหลักร้อยหลักพันล้าน ข้อสรุปนี้ยังถูกขัดเกลาต่อมาเรื่อยๆ เช่นงาน Chinchilla ของ Hoffmann และคณะ (2022) พบว่าที่งบ compute เท่ากัน ควรขยายจำนวน parameters และจำนวน token ของข้อมูลฝึกใน "สัดส่วนเท่ากัน" ต่างจากข้อสรุปเดิมของ Kaplan ที่เทน้ำหนักให้ขนาดโมเดลมากกว่า ภายหลังหลายค่ายยังจงใจฝึกเกินจุด optimal (overtraining แบบตระกูล LLaMA) เพื่อให้ได้โมเดลเล็กที่รัน inference ถูกลง และล่าสุดยังเกิดแกนใหม่คือ test-time compute : ผลวัดจากโมเดลอย่าง o1 ของ OpenAI (2024) แสดงว่ายิ่งให้โมเดลใช้เวลาคิดตอนตอบมากขึ้น คะแนนคณิตศาสตร์และการเขียนโค้ดยิ่งดีขึ้น ซึ่งเป็นรากของ reasoning-model ยุคปัจจุบัน

คนทำงานยุค AI ควรรู้จักคำนี้เพราะมันคือคำตอบของคำถามที่ได้ยินบ่อยที่สุดในออฟฟิศ: "ทำไม llm รุ่นใหม่ถึงเก่งขึ้นเร็วขนาดนี้" และ "ทำไมบริษัท AI ถึงทุ่มเงินซื้อชิปกันเป็นแสนล้าน" คำตอบไม่ใช่เวทมนตร์ แต่คือเส้นโค้งที่นักวิจัยวัดซ้ำแล้วซ้ำอีกจนกล้าเดิมพันตาม อย่างไรก็ตามกฎนี้ไม่ใช่เส้นตรงไปตลอดกาล : งานวิจัยปี 2022 พบว่าหลายกรณีเส้นโค้งเป็นแบบ "smoothly broken power law" คือมีจุดหักที่พฤติกรรมการ scale เปลี่ยนไป และคุณภาพข้อมูล (การกรองข้อมูล การใช้ synthetic-data อย่างตระกูล Phi) ก็ช่วยให้ได้ผลดีขึ้นโดยใช้ compute น้อยลงได้เช่นกัน

ตัวอย่างจากบทสนทนาจริง

ฝ่ายกลยุทธ์: "ผมเห็นข่าวค่าย AI ระดมทุนซื้อ GPU กันทีเป็นแสนตัว มันจำเป็นขนาดนั้นเลยเหรอครับ หรือแค่แข่งกันสร้างภาพว่าใครรวยกว่า"

วิทยากร: "มีเหตุผลทางวิศวกรรมรองรับครับ เขาเดิมพันตาม scaling laws : ผลวัดจริงตั้งแต่ปี 2020 ชี้ว่าถ้าเพิ่มขนาด model ข้อมูลฝึก และ compute ไปด้วยกัน ความสามารถจะดีขึ้นตามเส้นโค้งที่คาดการณ์ล่วงหน้าได้ แปลว่าก่อนจ่ายเงินฝึกโมเดลจริง แล็บพอประเมินได้แล้วว่าจะได้ของเก่งแค่ไหน การซื้อชิปมหาศาลจึงเป็นการลงทุนที่คำนวณมาแล้ว ไม่ใช่แค่โชว์กำลังทรัพย์"

ระวังสับสนกับ

• emergent-abilities : scaling laws พูดถึงค่า loss ที่ดีขึ้นอย่างราบรื่นและคาดการณ์ได้เมื่อขยายขนาด ส่วน emergent abilities คือความสามารถเฉพาะทางที่ดูเหมือนโผล่มาแบบก้าวกระโดดเมื่อโมเดลใหญ่ถึงจุดหนึ่ง · อันแรกคือเส้นโค้งเรียบ อันหลังคืออาการกระโดดบนเส้นนั้น
• Moore's Law : กฎของ Moore ทำนายจำนวนทรานซิสเตอร์บนชิปที่เพิ่มขึ้นตาม "เวลา" ส่วน scaling laws ผูกความสามารถของโมเดลกับ "ทรัพยากรที่ใส่เข้าไป" ไม่ได้ผูกกับเวลา : ถ้าหยุดเพิ่ม compute เส้นโค้งก็หยุดเดิน