RAG

RAG ย่อมาจาก Retrieval-Augmented Generation คือเทคนิคที่ให้ model ภาษาไป "ค้นก่อน แล้วค่อยตอบ" : แทนที่ AI จะตอบจากความรู้ที่ฝังมาตั้งแต่ตอน training เพียงอย่างเดียว ระบบจะไปดึงข้อมูลที่เกี่ยวข้องจากแหล่งความรู้ภายนอก (เช่น คู่มือบริษัท ฐานข้อมูลเอกสาร หรือเว็บ) มาแนบเข้ากับคำถามก่อนส่งให้โมเดลสร้างคำตอบ นึกภาพง่ายๆ เหมือนเปลี่ยนจากการสอบแบบปิดตำราที่ต้องตอบจากความจำล้วนๆ มาเป็นการสอบแบบเปิดตำรา คำนี้มาจากงานวิจัยของทีม Meta ปี 2020 (Lewis และคณะ ตีพิมพ์ที่ NeurIPS 2020) ซึ่งเสนอการจับคู่ความจำสองแบบ: ความรู้ที่ฝังในตัวโมเดล (parametric-knowledge) กับความรู้จากดัชนีเอกสารภายนอกที่ค้นได้แบบสดๆ

กลไกทำงานเป็นสองจังหวะ จังหวะแรกคือ retrieval : เอกสารในคลังจะถูกแปลงเป็นตัวเลขที่เรียกว่า embeddings เก็บไว้ใน vector database พอผู้ใช้พิมพ์คำถาม ระบบจะแปลงคำถามเป็นตัวเลขแบบเดียวกันแล้วเทียบหาเอกสารท่อนที่ "ความหมายใกล้กัน" ที่สุด จังหวะที่สองคือ generation : เนื้อหาที่ค้นเจอจะถูกแนบเข้าไปใน prompt กลายเป็น contextual-knowledge ให้โมเดลใช้เรียบเรียงคำตอบ พร้อมอ้างอิงได้ว่าตอบจากเอกสารชิ้นไหน คลังที่ระบบไปค้นไม่จำเป็นต้องเป็นกองเอกสารอย่างเดียว บางองค์กรวาง knowledge-graph ที่เก็บความสัมพันธ์ระหว่างคน ลูกค้า และเอกสารไว้เป็นอีกแหล่งค้น เพื่อตอบคำถามที่ต้องต่อจุดข้ามเอกสารหลายใบ ข้อควรระวังคือเอกสารที่เป็นไฟล์สแกนหรือรูปถ่ายต้องผ่าน ocr ให้กลายเป็นข้อความก่อน ไม่อย่างนั้นจังหวะ retrieval จะไม่มีตัวหนังสือให้แปลงเป็น embeddings เลย

คนทำงานยุค AI ควรรู้จักคำนี้เพราะ RAG คือคำตอบของคำถามที่เจอบ่อยที่สุดในองค์กร: "ทำยังไงให้ AI ตอบจากข้อมูลของเราได้" ข้อดีที่ทำให้มันกลายเป็นมาตรฐาน: หนึ่ง ข้อมูลสดเสมอ ไม่ติดกำแพง knowledge-cutoff เพราะอัปเดตเอกสารในคลังได้ตลอด · สอง ลดอาการ hallucination เพราะโมเดลมีข้อเท็จจริงจริงๆ ให้ยึด · สาม ตรวจสอบย้อนได้ว่าคำตอบมาจาก source ไหน · สี่ ถูกกว่าการเอาข้อมูลไปฝึกโมเดลใหม่มาก แชตบอท HR ที่ตอบจากระเบียบบริษัท หรือฟีเจอร์ "ถามไฟล์เอกสาร" ที่ใช้กันทุกวัน เบื้องหลังก็คือ RAG นี่เอง

ตัวอย่างจากบทสนทนาจริง

ฝ่ายบุคคล: อยากให้แชตบอทตอบคำถามพนักงานจากระเบียบบริษัทเราได้ แปลว่าต้องส่งเอกสารทั้งหมดไป train โมเดลใหม่ใช่ไหมคะ กลัวแพงแล้วก็กลัวข้อมูลหลุดด้วย

ทีมไอที: ไม่ต้อง train ใหม่เลยครับ กรณีนี้ใช้ RAG คือเอาเอกสารเข้าคลังให้ระบบค้น พอพนักงานถาม ระบบจะดึงเฉพาะท่อนที่เกี่ยวมาแนบให้โมเดลตอบ ตัวโมเดลไม่ได้จำข้อมูลเราไปไหน แล้วพอระเบียบเปลี่ยน แค่อัปเดตไฟล์ในคลัง คำตอบก็เปลี่ยนตามทันที

ระวังสับสนกับ

• fine-tuning : fine-tuning คือการฝึกโมเดลเพิ่มจนความรู้หรือพฤติกรรมฝังเข้าไปในตัวโมเดลเลย ส่วน RAG ไม่แตะตัวโมเดล แค่ป้อนความรู้ให้ตอนถาม ถ้าข้อมูลเปลี่ยนบ่อย RAG ถูกกว่าและอัปเดตง่ายกว่ามาก
• การยัดเอกสารทั้งหมดลง context-window ตรงๆ : ทำได้ถ้ามีไฟล์ไม่กี่ชิ้น แต่คลังเอกสารระดับองค์กรใส่ไม่หมด จุดต่างคือ RAG มีขั้นตอน "ค้นแล้วคัดเฉพาะท่อนที่เกี่ยว" มาใส่ให้พอดี ไม่ใช่เทของทั้งตู้ใส่คำถาม
• glean : ตัวอย่างสินค้าที่เอาแนวคิด RAG ไปประกอบกับ connector ข้อมูลองค์กรและชั้นสิทธิ์การเข้าถึง เป็นระบบค้นข้อมูลภายในที่บังคับสิทธิ์การเข้าถึงเดิมของผู้ใช้ตอนค้นและตอบด้วย