Training

Training คือกระบวนการสอน model ด้วยข้อมูลปริมาณมหาศาล เพื่อให้มันปรับค่าตัวเลขภายในที่เรียกว่า parameters จนจับแบบแผนของภาษาได้ด้วยตัวเอง วิธีหลักที่ใช้กับโมเดลภาษาขนาดใหญ่คือการฝึกทายคำ: ระบบซ่อน token บางตัวในข้อความ แล้วให้โมเดลพยายามทายว่าคำที่หายไปคืออะไร ทำแบบนี้ซ้ำกับตัวอย่างข้อความจำนวนนับไม่ถ้วน โมเดลจึงค่อยๆ เก่งขึ้นในการประเมินความน่าจะเป็นของคำถัดไป ขั้นเริ่มต้นนี้เรียกว่า pretraining และผลลัพธ์ที่ได้คือโมเดลที่เป็น "นักทายคำถัดไป" ล้วนๆ ยังไม่รู้จักการสนทนาหรือการทำตามคำสั่ง

จากนั้นผู้พัฒนาจะขัดเกลาพฤติกรรมต่อด้วยการ fine-tune เช่น instruction fine-tuning ซึ่งเป็น supervised learning ที่สอนให้โมเดลทำตามคำสั่งของผู้ใช้ และ RLHF (reinforcement learning from human feedback) ที่ใช้ feedback จากมนุษย์ช่วยปรับคำตอบ งานทั้งหมดนี้แพงมากและเกิดขึ้นก่อนโมเดลถูกปล่อยให้ใช้งาน: ตัวเลขอ้างอิงคือการ train GPT-2 (1.5 พันล้าน parameters) ในปี 2019 ใช้เงินราว 50,000 ดอลลาร์ ส่วน PaLM (540 พันล้าน parameters) ในปี 2022 ใช้ราว 8 ล้านดอลลาร์ งานวิจัยยังพบว่าโมเดลที่มี parameters มากกว่ามักทำผลงานได้ดีกว่าอย่างสม่ำเสมอ โมเดลยุคปัจจุบันจึงมี parameters ระดับแสนล้านจนถึงล้านล้านตัว

คนทำงานยุค AI ควรเข้าใจ training เพราะมันอธิบายข้อจำกัดที่เจอในงานจริงเกือบทั้งหมด: โมเดลรู้เฉพาะสิ่งที่อยู่ในข้อมูลตอน train จึงมี knowledge-cutoff · การพิมพ์คุยกับ AI ไม่ใช่การ train เพราะ parameters ไม่เปลี่ยนระหว่างใช้งาน · และวิธีฝึกกับวิธีวัดผลแบบ "ข้อสอบ" ยังเป็นต้นตอหนึ่งของ hallucination ด้วย: งานวิจัยชี้ว่าโมเดลถูก optimize ให้เป็นนักทำข้อสอบที่เก่ง การเดาตอนไม่แน่ใจช่วยเพิ่มคะแนนมากกว่าการยอมรับว่าไม่รู้ และถ้าข้อมูลตอน train แยกข้อความจริงกับข้อความผิดออกจากกันไม่ได้ hallucination ก็จะเกิดขึ้นตามแรงกดดันทางสถิติโดยธรรมชาติ

ตัวอย่างจากบทสนทนาจริง

ถาม: "ถ้าพี่แนบไฟล์ข้อมูลลูกค้าให้ AI ช่วยสรุป เท่ากับพี่กำลัง train มันหรือเปล่า กลัวความลับบริษัทไปโผล่ในคำตอบของบริษัทอื่น"

ตอบ: "ไม่ใช่ครับ การแนบไฟล์ในแชทเป็นแค่การใส่ข้อมูลเข้า context ของบทสนทนานั้น ไม่มีการ train เกิดขึ้นตรงนั้น เพราะ training คือกระบวนการแยกต่างหากที่ผู้พัฒนาทำเสร็จก่อนปล่อยโมเดล และ parameters ไม่เปลี่ยนจากการแชทของเรา สิ่งที่ควรเช็กจริงๆ คือนโยบายของผู้ให้บริการว่าจะเก็บบทสนทนาไปใช้ train โมเดลรุ่นถัดไปหรือไม่ ซึ่งต้องดูเงื่อนไขของแต่ละเจ้า"

ระวังสับสนกับ

• inference : training คือช่วง "สร้าง" โมเดลที่ parameters ถูกปรับ ส่วน inference คือช่วง "ใช้งาน" ตอนโมเดลตอบเรา ซึ่ง parameters นิ่งแล้ว เวลาแชทกับ AI เราอยู่ในโหมด inference เสมอ
• memory-system : การที่ AI จำเรื่องที่เราเคยคุยได้ มาจากการเก็บข้อความไว้แล้วใส่กลับเข้า context ในครั้งถัดไป ไม่ใช่การ train เพิ่ม ลบ memory เมื่อไหร่โมเดลก็ไม่เหลืออะไรจากเรา