Fine-tuning

Fine-tuning คือการนำ model ที่ผ่านการ training ครั้งใหญ่มาแล้ว (เรียกว่า pretrained model) มาฝึกต่ออีกรอบด้วยชุดข้อมูลขนาดเล็กที่เจาะจงกับงานหรือโดเมนของเรา เช่น ตัวอย่างบทสนทนาถามตอบของฝ่ายบริการลูกค้า หรือข้อมูลเฉพาะทางของธุรกิจ กระบวนการนี้เหมือนการฝึกโมเดลตามปกติแทบทุกอย่าง ต่างกันตรงที่ไม่ได้เริ่มจากศูนย์ แต่เริ่มจากโมเดลที่ "รู้ภาษา" อยู่แล้ว จึงใช้ข้อมูล เวลา และพลังประมวลผลน้อยกว่าการสร้างโมเดลใหม่ทั้งตัวมหาศาล

หัวใจของ fine-tuning คือ parameters ภายในโมเดลถูกปรับค่าจริงระหว่างการฝึก ความสามารถใหม่จึงฝังเข้าไปในตัวโมเดล ต่างจากการพิมพ์ prompt ยาวๆ หรือแนบไฟล์ให้อ่าน ซึ่งเป็นการป้อนข้อมูลชั่วคราวต่อครั้งเท่านั้น ในทางปฏิบัติ (ตามแนวทางของ OpenAI) ทีมงานจะเตรียมชุดตัวอย่าง input คู่กับ output ที่ถูกต้องในรูปแบบไฟล์ JSONL ส่งขึ้นระบบเพื่อรัน fine-tuning job แล้ววัดผลว่าโมเดลตอบดีขึ้นจริงไหม วิธีฝึกมีหลายแบบ เช่น supervised fine-tuning (ป้อนตัวอย่างคำตอบที่ถูกต้องให้เลียนแบบ) และ DPO (ป้อนทั้งตัวอย่างที่ดีและไม่ดี ให้โมเดลเรียนรู้ว่าควรเลือกตอบแบบไหน) ซึ่งเหมาะกับการปรับน้ำเสียงและสไตล์การเขียน

คนทำงานยุค AI ควรรู้จักคำนี้เพราะมันคือหนึ่งในสามทางเลือกหลักเวลาองค์กรอยากได้ "AI ที่เข้าใจงานของเรา" : ปรับ prompt, ต่อระบบ rag, หรือ fine-tune ซึ่งเป็นทางที่ลงทุนสูงและซับซ้อนที่สุด ขนาด OpenAI เองยังแนะนำให้เริ่มจาก prompt engineering ก่อน เพราะหลายเคสแค่นั้นก็เพียงพอ จุดที่ fine-tuning คุ้มจริงคือเมื่ออยากให้ prompt สั้นลงเพื่อลดค่า token และเวลารอ, งานมีความหลากหลายเกินกว่าจะยัดตัวอย่างทั้งหมดลง context-window เดียวไหว, หรืออยากฝึกโมเดลเล็กราคาถูกให้เก่งงานแคบๆ แทนการเรียกโมเดลใหญ่ทุกครั้ง

ตัวอย่างจากบทสนทนาจริง

ฝ่ายบุคคล: "เมื่อวานลองแนบไฟล์ระเบียบบริษัทให้ AI อ่าน มันก็ตอบได้เลยนะ แบบนี้ถือว่าเรา fine-tune โมเดลเสร็จแล้วใช่ไหม"

ทีม AI: "อันนั้นยังไม่ใช่ fine-tuning ครับ การแนบไฟล์คือให้โมเดลอ่านข้อมูลชั่วคราวเฉพาะแชทนั้น เปิดแชทใหม่ก็ลืม ตัวโมเดลไม่ได้เปลี่ยนเลย ส่วน fine-tuning คือเตรียมชุดตัวอย่างถามตอบเป็นร้อยเป็นพันคู่ แล้วส่งไปฝึกจน parameters ข้างในถูกปรับจริง ได้โมเดลเวอร์ชันใหม่ที่ตอบสไตล์เราโดยไม่ต้องแนบไฟล์ทุกครั้ง แต่เคสระเบียบบริษัทที่แก้บ่อยแบบนี้ เริ่มจาก RAG น่าจะเหมาะกว่าครับ"

ระวังสับสนกับ

• rag : RAG ดึงเอกสารที่เกี่ยวข้องมาใส่ใน context ให้โมเดลอ่าน ณ ตอนตอบ ตัวโมเดลไม่ถูกแก้ พอเปลี่ยนเอกสารข้อมูลก็อัปเดตทันที ส่วน fine-tuning แก้ตัวโมเดลจริง เหมาะกับการปรับพฤติกรรมและสไตล์ มากกว่าการอัดข้อมูลที่เปลี่ยนบ่อย
• training (pre-training) : คือการฝึกรอบแรกจากค่าเริ่มต้นแบบสุ่มด้วยข้อมูลมหาศาลจนโมเดลรู้ภาษา ส่วน fine-tuning คือการฝึก "ต่อยอด" จากโมเดลที่ฝึกมาแล้ว ด้วยข้อมูลและทรัพยากรที่น้อยกว่ามาก