Dictionary · ความปลอดภัยและสังคม · 237 / 291

Red Teaming

การตั้งทีมสวมบทผู้โจมตีมาทดสอบระบบหรือ AI ขององค์กรเองอย่างเป็นระบบ หาช่องโหว่ให้เจอก่อนผู้ไม่หวังดีตัวจริง แล้วนำผลไปปิดจุดอ่อน

Red Teaming คือการตั้งทีม "ฝ่ายแดง" ให้สวมบทผู้ไม่หวังดี แล้วลงมือโจมตีระบบขององค์กรตัวเองแบบจริงจัง โดยทำอย่างถูกกฎหมายและได้รับมอบหมายจากองค์กรนั้นเอง เป้าหมายไม่ใช่การทำลาย แต่คือหาช่องโหว่ให้เจอก่อนคนร้ายตัวจริง แล้วรายงานกลับเพื่อให้ฝ่ายป้องกันปิดจุดอ่อนได้ทัน คำนี้เกิดในวงการทหารสหรัฐฯ ยุคสงครามเย็นราวต้นทศวรรษ 1960 เมื่อ RAND Corporation จัดซ้อมรบจำลองโดยใช้สีแดงแทนฝ่ายโซเวียตและสีน้ำเงินแทนฝ่ายสหรัฐฯ ต่อมาแนวคิดนี้ถูกยืมมาใช้ในโลก cybersecurity: ฝ่ายแดงเจาะ ฝ่ายน้ำเงิน (blue team) ป้องกัน โดยบริษัทใหญ่อย่าง Microsoft และ Google ต่างมีทีม red team ประจำของตัวเอง

พอมาถึงยุค generative AI ความหมายของคำนี้ขยายกว้างขึ้น: ไม่ได้จำกัดแค่การเจาะระบบเครือข่าย แต่รวมถึงการระดมคนมา "ลองของ" กับ model หรือ chatbot ทุกวิถีทางก่อนปล่อยใช้งานจริง เช่น พยายาม jailbreak ให้โมเดลข้ามกฎ ยิง prompt-injection ล้วงเอา system-prompt หรือหลอกให้ผลิตเนื้อหาอันตราย จุดที่ทำให้ AI red teaming ต่างจากงาน security แบบเดิมคือ กับ llm แม้แต่ผู้ใช้ธรรมดาที่ไม่ได้ตั้งใจร้าย (benign) ก็อาจทำให้ระบบตอบเนื้อหาที่เป็นอันตรายออกมาได้ Microsoft จึงแนะนำให้ทีม red team ประกอบด้วยคนหลากหลาย: ผู้เชี่ยวชาญ security ผู้เชี่ยวชาญเฉพาะโดเมน (เช่น บุคลากรการแพทย์ ถ้าเป็น chatbot ด้านสุขภาพ) ไปจนถึงคนธรรมดาที่ใช้งานแบบผู้ใช้ทั่วไป

สำหรับคนทำงานยุค AI เรื่องนี้ใกล้ตัวกว่าที่คิด: ถ้าองค์กรของคุณกำลังจะปล่อย chatbot ให้ลูกค้าหรือพนักงานใช้ การทำ red teaming ก่อน launch คือ best practice ของ responsible-ai โดยควรทดสอบหลายชั้น ทั้งตัว base model ผ่าน API และตัวแอปจริงผ่านหน้าจอใช้งาน ทั้งก่อนและหลังใส่ guardrails แล้วนำรายการช่องโหว่ที่เจอไปกำหนดว่า evals ควรวัดอะไรต่ออย่างเป็นระบบ · Microsoft ถึงขั้นเผยแพร่บทเรียนจากการ red team ผลิตภัณฑ์ generative AI กว่า 100 ตัว และเปิดเครื่องมืออัตโนมัติชื่อ PyRIT ให้ทีมอื่นนำไปใช้ทดสอบระบบของตัวเองได้

ตัวอย่างจากบทสนทนาจริง

ฝ่ายการตลาด: "ทีม IT บอกว่าก่อนเปิดตัว chatbot ตอบลูกค้า ต้องทำ red teaming อีกรอบ นี่คือจ้างแฮกเกอร์มาเจาะ server เราเหรอ ระบบเราแทบไม่มีข้อมูลอะไรให้ขโมยเลยนะ"

ทีม AI: "ไม่ใช่แค่เจาะ server ครับ red teaming ของระบบ AI คือหาคนมาสวมบทผู้ไม่หวังดีแล้วลองคุยกับ bot ทุกรูปแบบ เช่น หลอกให้ลดราคาเกินสิทธิ์ ชวนพูดเรื่องอ่อนไหว หรือล้วงข้อมูลภายในออกมา เจอช่องโหว่ตอนนี้ดีกว่าปล่อยให้ลูกค้าตัวจริงเจอแล้วกลายเป็นข่าว"

ระวังสับสนกับ

  • jailbreak : jailbreak คือเทคนิคโจมตีแบบหนึ่ง (หลอกให้โมเดลละเมิดกฎของตัวเอง) ส่วน red teaming คือกระบวนการทดสอบทั้งหมดที่ทำอย่างเป็นระบบและได้รับอนุญาต โดย jailbreak เป็นเพียงหนึ่งในเครื่องมือที่ทีมหยิบมาใช้
  • Penetration testing : pen test เน้นเจาะระบบเชิงเทคนิคตามขอบเขตที่ตกลงและแจ้งล่วงหน้า ส่วนปฏิบัติการ red team กว้างกว่านั้น: เพิ่มองค์ประกอบความไม่รู้ตัว social engineering และในยุค AI ยังรวมการทดสอบว่าโมเดลผลิตเนื้อหาอันตรายหรือไม่ ซึ่งไม่ใช่ "ช่องโหว่ซอฟต์แวร์" แบบเดิมเลย

ดูคำนี้ใน Knowledge Atlas →

■ ไม่อยากพลาดของใหม่

อ่านจบแล้วอยากตามเรื่อง AI แบบนี้ต่อทุกวัน เรามีสรุปข่าวภาษาไทยส่งทาง LINE ทุกเช้า กดเพิ่มเพื่อนไว้ได้เลย ไม่มีค่าใช้จ่าย

เพิ่มเพื่อนใน LINE →
QR เพิ่มเพื่อน LINE ของ TRAINIAC AIคอมพิวเตอร์สแกนด้วยมือถือได้เลย

Recursive self-improvementResponsible AI