Transfer Learning

Transfer Learning (การเรียนรู้แบบถ่ายโอน) คือเทคนิคใน machine-learning ที่นำความรู้ซึ่ง model เรียนรู้มาจากงานหนึ่ง (source task) มาใช้ต่อยอดกับงานใหม่ที่เกี่ยวข้องกัน (target task) แทนที่จะเริ่มต้น training ใหม่จากศูนย์ทุกครั้ง ตัวอย่างคลาสสิกคือโมเดลที่ฝึกจนจำรถยนต์ในรูปภาพได้ สามารถถ่ายโอนความรู้นั้นไปช่วยให้จำรถบรรทุกได้เร็วขึ้น เปรียบง่ายๆ เหมือนคนที่ขับรถเก๋งเป็นอยู่แล้วมาหัดขับรถกระบะ: ไม่ต้องกลับไปเรียนตั้งแต่พวงมาลัยคืออะไร เพราะทักษะพื้นฐานส่วนใหญ่ใช้ร่วมกันได้

วิธีที่นิยมที่สุดในทางปฏิบัติคือหยิบโมเดล pre-trained ที่ผ่านการฝึกด้วยข้อมูลมหาศาลมาแล้ว จากนั้น "แช่แข็ง" (freeze) ชั้นที่เก็บความรู้พื้นฐานเอาไว้ ตัดชั้นท้ายๆ ที่ผูกกับงานเดิมออก ใส่ชั้นใหม่สำหรับงานของเรา แล้วฝึกต่อด้วย dataset ของงานใหม่ซึ่งเล็กกว่ามาก (ขั้นตอนฝึกต่อนี้เรียกว่า fine-tuning) ผลคือได้โมเดลเฉพาะทางโดยใช้ข้อมูลน้อยกว่า ต้นทุนต่ำกว่า และเร็วกว่าการฝึกจากศูนย์หลายเท่า ตำราแบ่งกลยุทธ์ไว้หลายแบบ เช่น inductive (โดเมนเดิม งานใหม่) · transductive (งานเดิม โดเมนใหม่ที่เกี่ยวข้อง เช่น โมเดลวิเคราะห์รีวิวสินค้านำไปใช้กับรีวิวหนัง) · unsupervised (ทั้งสองฝั่งไม่มี label) แต่ต้องระวังว่ามันไม่ได้ผลเสมอไป: มีปรากฏการณ์ชื่อ negative transfer คือความรู้เดิมดันทำให้งานใหม่แย่ลง ซึ่งถูกสาธิตในงานวิจัยมาตั้งแต่ต้นทศวรรษ 1980

คนทำงานยุค AI ควรรู้จักคำนี้เพราะมันคือรากฐานของ AI ยุคปัจจุบันทั้งยุค: foundation model และ llm ที่เราใช้กันทุกวันตั้งอยู่บนหลักการเดียวกันนี้ในสเกลใหญ่ที่สุด คือฝึกครั้งเดียวด้วยข้อมูลมหาศาล แล้วถูกนำไปปรับใช้กับงานปลายทางนับไม่ถ้วน รวมถึงการใช้งานแบบ zero-shot-learning และ few-shot-learning ย้อนไปปี 2016 Andrew Ng เคยพยากรณ์ว่า transfer learning จะเป็นแรงขับเคลื่อนความสำเร็จเชิงพาณิชย์ตัวถัดไปของ machine learning ซึ่งวันนี้พิสูจน์แล้วว่าจริง: องค์กรส่วนใหญ่ไม่มีทั้งข้อมูลและ gpu พอจะฝึกโมเดลเองจากศูนย์ แต่แทบทุกองค์กรหยิบโมเดลสำเร็จรูปมาปรับให้เข้ากับงานของตัวเองได้ในต้นทุนที่จับต้องได้

ตัวอย่างจากบทสนทนาจริง

ถาม: "บริษัทอยากได้ AI ตอบคำถามลูกค้าเรื่องกรมธรรม์เป็นภาษาไทยโดยเฉพาะ ที่ปรึกษาบอกว่าต้องสร้างโมเดลใหม่ตั้งแต่ต้น ใช้งบหลายสิบล้าน จริงไหมครับ"

ตอบ: "ไม่จำเป็นครับ นี่คือเคสคลาสสิกของ transfer learning: เราหยิบโมเดลที่ pre-train มาแล้ว ซึ่งเข้าใจภาษาไทยและความรู้ทั่วไปอยู่แล้ว มา fine-tune ต่อด้วยข้อมูลกรมธรรม์ของเราหลักพันตัวอย่างก็พอ เหมือนจ้างพนักงานที่พูดไทยคล่องอยู่แล้วมาอบรมเรื่องประกันเพิ่ม ไม่ใช่เลี้ยงเด็กใหม่ตั้งแต่หัดพูด งบต่างกันคนละโลกเลยครับ"

ระวังสับสนกับ

• fine-tuning : fine-tuning คือ "วิธีการหนึ่ง" ในการทำ transfer learning (การฝึกต่อจากโมเดล pre-trained) ส่วน transfer learning เป็นแนวคิดร่มใหญ่ที่ครอบคลุมหลายกลยุทธ์ พูดง่ายๆ คือ fine-tuning ทุกครั้งเป็น transfer learning แต่ transfer learning ไม่ได้มีแค่ fine-tuning
• rag : RAG เพิ่มความรู้ให้ AI ตอนใช้งาน โดยค้นเอกสารมาแนบเข้าไปใน context ตัวโมเดลไม่เปลี่ยนเลย ส่วน transfer learning เปลี่ยนความรู้ในตัวโมเดลจริงผ่านการฝึกเพิ่ม ถ้าข้อมูลเปลี่ยนบ่อยมักเลือก RAG ถ้าอยากให้โมเดลเปลี่ยนพฤติกรรมหรือความเชี่ยวชาญแบบถาวรจึงใช้แนวทาง transfer learning