Multimodal AI

Multimodal AI คือ ai ที่รับ เข้าใจ และประมวลผลข้อมูลได้มากกว่าหนึ่งรูปแบบ (เรียกแต่ละรูปแบบว่า modality) ในระบบเดียว: ข้อความ ภาพ เสียง ไปจนถึงวิดีโอ ต่างจาก AI แบบ unimodal ที่ทำงานกับข้อมูลชนิดเดียว เช่น รับได้เฉพาะข้อความอย่างเดียว การรวมหลาย modality เข้าด้วยกันทำให้ model มองเห็นภาพรวมของสถานการณ์ได้ใกล้เคียงมนุษย์มากขึ้น และแม่นยำกว่าการดูข้อมูลชนิดเดียวโดดๆ ตัวอย่างที่คนทำงานเจอทุกวันคือการส่งรูปถ่ายเอกสารให้ chatgpt ช่วยสรุป หรือคุยกับ gemini และ Claude ด้วยภาพประกอบคำถาม: โมเดลอย่าง GPT-4o รับและสร้างได้ทั้งข้อความ เสียง และภาพในตัวเดียว

เบื้องหลังการทำงาน ระบบ multimodal มักประกอบด้วยสามส่วน: input module ที่ใช้ neural-network แยกกันประมวลผลข้อมูลแต่ละชนิด · fusion module ที่หลอมรวมข้อมูลจากทุก modality เข้าด้วยกัน · และ output module ที่สร้างคำตอบหรือคำทำนายออกมา เทคนิคที่นิยมคือแปลงทุกอย่างให้กลายเป็น token หรือ embedding ในพื้นที่เดียวกัน เช่น ใช้ image encoder ตัดภาพเป็นชิ้นเล็กๆ (patch) แล้วแปลงเป็น token เรียงสลับกับ token ของข้อความ ให้ transformer อ่านต่อเนื่องกันได้เลย ส่วนเสียงก็แปลงเป็น spectrogram แล้วประมวลผลแบบเดียวกับภาพ การหลอมรวมทำได้หลายจังหวะ ทั้ง early fusion ที่รวม embedding ตั้งแต่ต้นทาง และ intermediate fusion ที่ให้แต่ละ modality ประมวลผลแยกก่อนแล้วค่อยเชื่อมกันผ่าน cross-attention (กลไกแบบเดียวกับ attention-mechanism ใน llm)

สำหรับคนทำงานยุค AI เรื่องนี้สำคัญเพราะงานจริงไม่ได้มาเป็นข้อความล้วน: ใบเสร็จเป็นรูปถ่าย ประชุมเป็นไฟล์เสียง รายงานเป็นสไลด์ปนกราฟ ความสามารถ multimodal คือสิ่งที่ทำให้ AI ช่วยงานพวกนี้ได้โดยไม่ต้องแปลงข้อมูลเองก่อน เช่น ถามข้อมูลจากภาพใบเสร็จได้เลยโดยไม่ต้องรัน ocr แปลงภาพเป็นข้อความก่อน งานที่ multimodal ทำได้ดีขึ้นชัดเจน ได้แก่ visual question answering (ถามตอบจากภาพ) image captioning และ cross-modal retrieval (ค้นรูปด้วยข้อความ) ส่วนงานเฉพาะทางก็มีตั้งแต่การแพทย์ที่รวมภาพถ่ายทางการแพทย์กับประวัติผู้ป่วย ไปจนถึงรถยนต์ไร้คนขับและ robotics ที่ต้องรวมข้อมูลจากหลาย sensor พร้อมกัน แต่ก็มีความท้าทาย: การจัดข้อมูลต่างชนิดให้สอดคล้องกัน (alignment) ทำได้ยาก และปริมาณข้อมูลที่ต้องใช้ก็มหาศาลกว่าระบบชนิดเดียวมาก

ตัวอย่างจากบทสนทนาจริง

พี่หน่อย ฝ่ายบัญชี: เมื่อวานลองถ่ายรูปกองใบเสร็จส่งให้ AI ช่วยลงตาราง มันอ่านออกหมดเลย สงสัยว่าเบื้องหลังมีระบบแยกที่พิมพ์ข้อความจากรูปให้มันก่อนใช่ไหม

แชมป์: ไม่ใช่ครับ โมเดลรุ่นใหม่เป็น Multimodal AI คือตัวโมเดลเองรับภาพได้ตรงๆ เลย มันแปลงรูปเป็น token แบบเดียวกับข้อความ แล้วประมวลผลรวมกันในโมเดลเดียว เพราะงั้นมันไม่ได้แค่ "อ่านตัวหนังสือในรูป" แต่เข้าใจด้วยว่าตัวเลขไหนคือยอดรวม ตรงไหนคือวันที่ ถามต่อจากรูปเดิมได้เลยครับ

ระวังสับสนกับ

• generative-ai : Generative AI เน้นที่ความสามารถ "สร้าง" เนื้อหาใหม่ ส่วน multimodal เน้นที่การ "รับและเข้าใจ" ข้อมูลหลายรูปแบบ โมเดลตัวหนึ่งเป็นได้ทั้งสองอย่างพร้อมกัน (เช่น GPT-4o) แต่สองคำนี้ตอบคนละคำถาม: อันหนึ่งคือทำอะไรได้ อีกอันคือกินข้อมูลแบบไหนได้
• text-to-image : เป็นงานเฉพาะทางแบบเดียว (ป้อนข้อความ ได้ภาพออกมา) ถือเป็นส่วนย่อยของโลก multimodal เท่านั้น ส่วน Multimodal AI ครอบคลุมกว้างกว่านั้นมาก ทั้งการเข้าใจภาพ เสียง และวิดีโอที่ผู้ใช้ป้อนเข้าไปด้วย