Constitutional AI

Constitutional AI คือวิธีฝึกโมเดลภาษาให้ประพฤติตัวตามชุดหลักการที่มนุษย์เขียนไว้เป็นลายลักษณ์อักษร แทนที่จะให้คนมานั่งอ่านคำตอบทีละใบแล้วตัดสินว่าอันไหนรับได้หรือรับไม่ได้ anthropic เสนอวิธีนี้ในเปเปอร์ชื่อ Constitutional AI: Harmlessness from AI Feedback ที่ส่งขึ้น arXiv เมื่อ 15 ธันวาคม 2022 และใช้เป็นแกนหลักในการฝึก claude-ai เรื่อยมา ที่เรียกว่า constitution เพราะชุดหลักการนั้นเป็นเอกสารรากฐานที่กำหนดค่านิยมและนิสัยของโมเดล โดยบริษัทระบุเองว่าไม่ได้ตั้งใจให้เป็นเอกสารกฎหมายที่ตายตัว และหลักการชุดนี้ส่งผลกับโมเดลผ่านกระบวนการฝึกเป็นหลัก

กลไกแบ่งเป็นสองช่วง ช่วงแรกโมเดลตอบคำถามออกมาก่อน จากนั้นถูกสั่งให้วิจารณ์คำตอบของตัวเองว่าไปขัดหลักการข้อไหน แล้วเขียนคำตอบใหม่ตามคำวิจารณ์นั้น ทีมวิจัยนำคำตอบที่แก้แล้วไป finetune โมเดลตั้งต้น โดยชุดข้อมูลฝึกมีทั้งคำตอบที่แก้แล้วด้านความไม่เป็นอันตราย และตัวอย่างคำตอบด้านความเป็นประโยชน์ผสมอยู่ด้วย ช่วงที่สองเป็นการเรียนแบบเสริมกำลัง โดยให้โมเดลผลิตคำตอบสองแบบต่อหนึ่งคำถาม แล้วให้โมเดลอีกตัวตัดสินว่าอันไหนดีกว่าตามหลักการ ผลการตัดสินชุดนั้นถูกนำไปฝึก preference model เพื่อใช้เป็นสัญญาณรางวัลอีกที เปเปอร์เรียกวิธีนี้ว่า RL from AI Feedback หรือ RLAIF เพื่อให้ต่างจาก rlhf ที่สัญญาณรางวัลมาจากคนจริง ในเปเปอร์ต้นฉบับ ทีมงานเขียนหลักการที่เกี่ยวกับความไม่เป็นอันตรายไว้ทั้งหมด 16 ข้อ

ตัวเอกสารหลักการของ Claude เผยแพร่ต่อสาธารณะครั้งแรกเมื่อ 9 พฤษภาคม 2023 โดยหยิบมาจากหลายแหล่งผสมกัน ทั้งปฏิญญาสากลว่าด้วยสิทธิมนุษยชนของสหประชาชาติ แนวปฏิบัติด้าน trust and safety หลักการที่ห้องวิจัยอื่นเคยเสนอไว้ และความพยายามดึงมุมมองที่ไม่ใช่โลกตะวันตกเข้ามา เดือนมกราคม 2026 บริษัทเผยแพร่ constitution ฉบับใหม่ (หน้าประกาศของ Anthropic ลงวันที่ 22 มกราคม 2026 ขณะที่หน้า constitution ฉบับเดิมขึ้นหมายเหตุอัปเดตไว้วันที่ 21 มกราคม 2026) ซึ่งระบุคุณสมบัติที่อยากให้โมเดลมีไว้สี่อย่าง เรียงจากปลอดภัยในภาพกว้าง มีจริยธรรมในภาพกว้าง ทำตามแนวปฏิบัติของบริษัท และเป็นประโยชน์จริงกับผู้ใช้ โดยเอกสารระบุว่าเมื่อคุณสมบัติเหล่านี้ขัดกัน โดยทั่วไปให้โมเดลจัดลำดับความสำคัญตามลำดับที่เขียนไว้ เอกสารฉบับนี้ระบุว่าเขียนขึ้นเพื่อให้โมเดลอ่านเป็นหลัก และถูกใช้สร้าง synthetic-data สำหรับการฝึกโดยตรง ทั้งบทสนทนาที่หลักการน่าจะเกี่ยวข้อง คำตอบที่สอดคล้องกับค่านิยม และการจัดอันดับคำตอบที่เป็นไปได้ ฉบับใหม่เผยแพร่ภายใต้สัญญาอนุญาต Creative Commons CC0 1.0 ซึ่งเปิดให้ใครก็ตามเอาไปใช้ต่อได้โดยไม่ต้องขออนุญาต

เรื่องที่คนเข้าใจผิดบ่อยที่สุดคือคิดว่าวิธีนี้ตัดคนออกจากวงจรทั้งหมด ความจริงคือคนยังเป็นผู้เขียนหลักการเอง และเปเปอร์ต้นฉบับก็ระบุตรงๆ ว่าใช้ป้ายกำกับจากคนสำหรับด้านความเป็นประโยชน์ ใช้ป้ายจาก AI เฉพาะด้านความไม่เป็นอันตราย ทั้งกระบวนการยังเริ่มต้นจากโมเดลที่ผ่านการฝึกด้วย RLHF ให้ช่วยเหลือคนเป็นก่อนแล้วด้วย สิ่งที่ลดลงจริงคือจำนวนคนที่ต้องมานั่งอ่านเนื้อหาอันตรายเพื่อติดป้ายทีละใบ ไม่ใช่การตัดมนุษย์ออกจากสมการ

คำถามที่ยังไม่จบคือใครควรเป็นคนเขียนหลักการ ตัวบริษัทเองเขียนไว้ในหน้าเอกสารฉบับแรกว่าการคัดเลือกหลักการชุดนี้สะท้อนทางเลือกของทีมออกแบบเอง และหวังว่าในอนาคตจะมีกระบวนการระดับสังคมมาช่วยร่าง งานที่ชื่อ Collective Constitutional AI ซึ่งเผยแพร่เมื่อ 17 ตุลาคม 2023 คือความพยายามทดลองในทิศทางนั้น โดยจับมือกับ Collective Intelligence Project ให้ประชาชนอเมริกันราว 1,000 คนช่วยกันร่างหลักการผ่านแพลตฟอร์ม Polis ได้ข้อความเข้ามา 1,127 ข้อความและการโหวต 38,252 ครั้ง ผลที่รายงานคือหลักการฉบับสาธารณะทับซ้อนกับฉบับของบริษัทราวครึ่งหนึ่งในเชิงแนวคิดและค่านิยม และโมเดลที่ฝึกด้วยหลักการฉบับสาธารณะมีอคติน้อยกว่าโมเดลที่ฝึกด้วยหลักการฉบับที่บริษัทเขียนเอง ครบทั้งเก้ามิติทางสังคมที่วัดด้วยชุดทดสอบ BBQ ฝั่งนักวิชาการก็ยังตั้งคำถามต่อ บทวิเคราะห์ที่เผยแพร่บนบล็อก Ethics in AI ของ University of Oxford เมื่อ 13 มีนาคม 2026 ตั้งข้อสังเกตว่าเอกสารฉบับใหม่ไม่ปรากฏคำว่า human rights เลยแม้แต่ครั้งเดียว ทั้งที่ฉบับก่อนหน้าอ้างถึง และเสนอว่าเอกสารควรอ้างอิงกรอบสิทธิมนุษยชนระหว่างประเทศไว้อย่างชัดเจน เพราะจะให้ฐานบรรทัดฐานที่มีความชอบธรรมระดับสากลกับเอกสารที่ถูกใช้กำกับโมเดลซึ่งให้บริการทั่วโลก

คนทำงานมักเจอคำนี้ตอนฝ่ายกฎหมายหรือฝ่ายความปลอดภัยถามว่าโมเดลที่จะเอามาใช้ถูกฝึกให้ปฏิเสธอะไรบ้างและใครเป็นคนกำหนด สิ่งที่ต้องเข้าใจคือหลักการชุดนั้นเป็นของผู้ผลิตโมเดล ไม่ใช่นโยบายขององค์กรคุณ กฎขององค์กรยังต้องไปอยู่ในชั้นของคุณเองอยู่ดี และต่อให้หลักการเขียนดีแค่ไหน บริษัทก็ระบุเองว่าคำตอบของโมเดลอาจไม่เป็นไปตามอุดมคติในเอกสารเสมอไป เพราะการฝึกให้ตรงตามนั้นยังเป็นโจทย์ทางเทคนิคที่ทำกันอยู่ ในทางปฏิบัติแปลว่างานด้าน ai-safety ขององค์กรยังต้องเผื่อกรณีที่คำตอบหลุดกรอบ ไม่ว่าจะหลุดเองหรือหลุดเพราะมีคนจงใจ jailbreak

ตัวอย่างจากบทสนทนาจริง

ฝ่ายกำกับดูแล: "ถ้าโมเดลตัวนี้ฝึกด้วย Constitutional AI มาแล้ว แปลว่ามันจะเซ็นเซอร์ตัวเองตามกฎของบริษัทเราใช่ไหม" หัวหน้าทีม AI: "ไม่ใช่ครับ หลักการที่ว่านั้นเป็นของผู้ผลิตโมเดล เขาเขียนไว้กว้างๆ เรื่องความปลอดภัยกับจริยธรรม กฎเฉพาะของเรา เช่น ห้ามพูดถึงราคาลูกค้ารายอื่น ต้องไปใส่ในชั้นของเราเอง" ฝ่ายกำกับดูแล: "แล้วหลักการของเขาเราขออ่านได้ไหม จะได้รู้ว่าเขาตีกรอบไว้แค่ไหน" หัวหน้าทีม AI: "อ่านได้ครับ ฉบับล่าสุดเขาเผยแพร่สาธารณะตั้งแต่มกราคม 2026 และเปิดให้เอาไปใช้ต่อได้ฟรี เดี๋ยวผมส่งลิงก์ให้"

ระวังสับสนกับ

• rlhf : RLHF ให้คนเป็นคนจัดอันดับคำตอบเพื่อสร้างสัญญาณรางวัล ส่วน Constitutional AI ให้โมเดลจัดอันดับกันเองตามหลักการที่คนเขียนไว้ แต่เปเปอร์ต้นฉบับก็ยังใช้ป้ายจากคนสำหรับด้านความเป็นประโยชน์อยู่ดี ไม่ได้แทนที่กันทั้งหมด
• system-prompt : system prompt คือคำสั่งที่ใส่ตอนเรียกใช้งาน แก้ได้ทันทีทุกครั้ง ส่วนหลักการใน Constitutional AI ถูกอบเข้าไปในตัวโมเดลตั้งแต่ตอนฝึก ผู้ใช้ปลายทางแก้ไม่ได้
• guardrails : guardrails คือด่านตรวจที่ครอบอยู่รอบนอกโมเดลตอนรันจริง ทำงานคนละชั้นกับการฝึกด้วยหลักการ องค์กรที่เอาไปใช้งานจริงมักต้องมีทั้งสองอย่าง
• alignment : alignment คือเป้าหมายว่าอยากให้โมเดลทำตามเจตนาของคน ส่วน Constitutional AI เป็นวิธีการหนึ่งที่ใช้เดินไปหาเป้าหมายนั้น ไม่ใช่คำที่ใช้แทนกันได้