Inference

Inference คือขั้นตอนที่ model ซึ่งผ่านการ train มาเรียบร้อยแล้ว ถูกนำมา "ทำงานจริง": รับข้อมูลใหม่ที่ไม่เคยเห็นมาก่อน เช่น คำถามที่เราพิมพ์เข้าไป แล้วประมวลผลออกมาเป็นคำตอบหรือคำทำนาย พูดง่ายๆ ทุกครั้งที่เราคุยกับ chatbot, ให้ AI ช่วยแปลภาษา, generate รูป หรือช่วยเขียนโค้ด นั่นคือการสั่งให้ model ทำ inference หนึ่งรอบ NVIDIA อธิบายว่า inference คือช่วงที่ neural network เอาความรู้ที่เรียนมาแล้วไปใช้แก้ปัญหาจริง หลังจากช่วง training จบลงแล้ว

กลไกข้างในแบ่งคร่าวๆ ได้สามจังหวะ: หนึ่ง · ข้อความหรือรูปที่เราป้อนถูกแปลงเป็น token ซึ่งเป็นหน่วยตัวเลขที่ model อ่านได้ · สอง · model ประมวลผล token เหล่านั้นผ่าน layer ต่างๆ โดยใช้ weight ที่ได้มาจากการ train · สาม · model ทยอยผลิตผลลัพธ์ออกมาทีละ token แล้วแปลงกลับเป็นข้อความให้คนอ่าน จุดที่คนมักเข้าใจผิดคือ ระหว่าง inference ตัว model ไม่ได้เรียนรู้อะไรเพิ่ม: มันแค่ "ใช้" ความรู้ที่ฝึกมาแล้ว ไม่ได้ปรับตัวเองใหม่จากบทสนทนาของเรา

สำหรับคนทำงานยุค AI คำนี้สำคัญเพราะ inference คือด่านที่เราสัมผัสจริงทุกวัน: ประสบการณ์ใช้งานวัดกันที่ latency (เวลารอคำตอบ) และ TTFT (เวลากว่าจะได้ token แรกออกมา) ส่วนผู้ให้บริการต้อง balance ระหว่างการตอบแต่ละคนให้เร็วแบบ real-time กับการรองรับผู้ใช้จำนวนมากพร้อมกัน จนระบบที่รัน model ให้เราเรียก API ใช้ได้ ถูกเรียกว่า inference service และมีรายละเอียดที่ควรรู้ไว้: ต่อให้ตั้งค่า temperature เป็น 0 ผลลัพธ์จาก inference ก็ไม่ได้เหมือนเดิมเป๊ะทุกครั้ง ถามคำถามเดิมสองรอบอาจได้คำตอบต่างกันเล็กน้อย ซึ่งเป็นธรรมชาติของระบบ ไม่ใช่ความผิดพลาด

ตัวอย่างจากบทสนทนาจริง

ฝ่ายบุคคล: เราใช้ AI ตอบคำถามพนักงานมาสามเดือนแล้ว ป่านนี้มันคงรู้เรื่องบริษัทเราทะลุปรุโปร่งแล้วมั้ง คุยกันทุกวันขนาดนี้

ทีม IT: ยังครับ ตอนที่มันตอบเราอยู่นั่นคือ inference: model แค่เอาความรู้ที่ถูก train มาแล้วมาใช้ ไม่ได้เรียนเพิ่มจากบทสนทนาเลย ถ้าอยากให้มันตอบเรื่องบริษัทได้แม่น ต้องป้อนข้อมูลของเราเข้าไปใน context ตอนถามทุกครั้งครับ

ระวังสับสนกับ

• Training: training คือขั้น "สร้าง" ความสามารถของ model จากข้อมูลจำนวนมหาศาล เกิดขึ้นก่อนปล่อยใช้งาน ส่วน inference คือขั้น "ใช้" model ที่ฝึกเสร็จแล้ว ระหว่างใช้งาน model ไม่ได้เก่งขึ้นเอง ถ้าอยากเปลี่ยนพฤติกรรมถาวรต้องกลับไปฝั่ง training เช่นการทำ fine-tuning ไม่ใช่แค่คุยกับมันบ่อยๆ
• การอนุมานเชิงเหตุผล (reasoning): คำแปลไทยว่า "การอนุมาน" ทำให้หลายคนนึกว่า inference แปลว่า model กำลังใช้ตรรกะขั้นสูง จริงๆ ในบริบทของระบบ AI คำนี้หมายถึงการรัน model เพื่อผลิตผลลัพธ์เท่านั้น ต่อให้เป็นงานง่ายๆ อย่างแปลประโยคเดียว ก็นับเป็น inference เหมือนกัน