Model Card

Model Card คือเอกสารสั้นๆ ที่แนบมากับ model เพื่อรายงานข้อมูลสำคัญของโมเดลนั้นอย่างเป็นระบบ: โมเดลนี้ทำอะไร ตั้งใจให้ใช้ในบริบทไหน วัดผลด้วยวิธีอะไร และมีข้อจำกัดหรืออคติตรงไหนบ้าง แนวคิดนี้ถูกเสนอในเปเปอร์ "Model Cards for Model Reporting" (2018) โดยทีมนักวิจัยที่มี Margaret Mitchell และ Timnit Gebru ร่วมเขียน ตีพิมพ์ในงานประชุม FAT* '19 ด้านความเป็นธรรมและความโปร่งใสของ AI จุดที่เปเปอร์ต้นฉบับเน้นเป็นพิเศษคือ model card ไม่ควรรายงานแค่คะแนนรวม แต่ต้องรายงานผลการทดสอบแยกตามกลุ่มประชากร เช่น เพศ อายุ สีผิว หรือภูมิภาค เพื่อเปิดเผยว่าโมเดลทำงานได้ดีกับคนกลุ่มไหนและด้อยกับกลุ่มไหน ซึ่งเป็นหัวใจของการประเมิน ai-bias โดยเปเปอร์สาธิตด้วยตัวอย่างจริงสองโมเดล: โมเดลตรวจจับรอยยิ้มในภาพ และโมเดลตรวจจับคอมเมนต์ toxic ในข้อความ

ในทางปฏิบัติทุกวันนี้ ที่เห็น model card กันบ่อยที่สุดคือบน hugging-face Hub: ทุก repo ของโมเดลจะแสดงไฟล์ README.md เป็น model card ของโมเดลนั้น ตัวไฟล์เป็น Markdown ธรรมดาที่มีส่วนหัวเป็น YAML metadata ระบุข้อมูลอย่าง license, ภาษา, dataset ที่ใช้ในการ training, base model (กรณีเป็นเวอร์ชัน fine-tuning หรือ quantized ของโมเดลอื่น) รวมถึงผลการประเมินจาก benchmark ต่างๆ ในรูปแบบ structured ที่ Hub นำไปแสดงผลและใช้ให้ผู้ใช้กรองค้นหาโมเดลได้ ส่วนเนื้อหาตัวหนังสือจะอธิบาย intended use, ข้อจำกัด, อคติ และข้อพิจารณาเชิงจริยธรรมตามแนวทางของเปเปอร์ Mitchell 2018

ทำไมคนทำงานยุค AI ต้องรู้จักคำนี้: เพราะเวลาองค์กรจะเลือกโมเดลมาใช้ โดยเฉพาะโมเดลแบบ open-weights ที่ดาวน์โหลดมารันเองได้ model card คือจุดแรกที่ควรเปิดอ่านก่อนตัดสินใจ มันตอบคำถามเชิงธุรกิจได้เกือบครบ: โมเดลนี้เหมาะกับงานเราไหม license ให้ใช้เชิงพาณิชย์หรือเปล่า ฝึกจากข้อมูลภาษาอะไร และมีจุดอ่อนที่อาจกลายเป็นความเสี่ยงหรือไม่ การอ่าน model card เป็นจึงถือเป็นทักษะพื้นฐานของ responsible-ai ในองค์กร ไม่ต่างจากการอ่านฉลากโภชนาการก่อนซื้ออาหาร

ตัวอย่างจากบทสนทนาจริง

ถาม: ทีมผมจะเอาโมเดลจาก Hugging Face มาใช้ในระบบของบริษัท ดูแค่ยอดดาวน์โหลดกับคะแนน benchmark ที่สูงๆ ก็พอใช่ไหมครับ

ตอบ: ยังไม่พอครับ เปิด model card ของโมเดลนั้นอ่านก่อน: มันคือหน้า README ของโมเดลที่บอกว่าฝึกจากข้อมูลอะไร ตั้งใจให้ใช้กับงานแบบไหน มีข้อจำกัดหรืออคติที่ผู้พัฒนารายงานไว้ตรงไหน และ license อนุญาตให้ใช้เชิงพาณิชย์หรือเปล่า ถ้า model card เขียนไว้แค่สองบรรทัดหรือไม่บอกอะไรเลย นั่นแหละคือสัญญาณเตือนก่อนเอาเข้า production

ระวังสับสนกับ

• system-card : model card อธิบาย "ตัวโมเดล" หนึ่งตัว ส่วน system card อธิบายทั้ง "ระบบ" ที่เอาโมเดลไปประกอบใช้งานจริง รวมถึงมาตรการความปลอดภัยรอบตัวโมเดล ขอบเขตจึงกว้างกว่า
• evals : ผลการทดสอบโมเดลเป็นแค่ "ส่วนหนึ่ง" ที่ถูกรายงานอยู่ใน model card ตัว model card เองคือเอกสารรวมข้อมูลทั้งหมด ไม่ใช่ตัวการทดสอบ