Last Secure Code Benchmark ชุดทดสอบความปลอดภัยของโค้ดจาก vibe coding

Last Secure Code Benchmark เป็นชุดทดสอบที่ทีมผู้เขียน 15 คนเผยแพร่บน arXiv เมื่อวันที่ 10 ตุลาคม 2026 เพื่อตอบคำถามว่าโค้ดที่ AI coding agent เขียนให้ตามคำสั่งแบบ vibe coding ปลอดภัยแค่ไหน (arXiv) เปเปอร์ได้รับความสนใจบน Hugging Face daily papers วันที่ 14 ตุลาคม ด้วย 48 upvotes ณ วันที่ 15 ตุลาคม (Hugging Face)

วิธีทดสอบ

ผู้เขียนสร้างโจทย์จากช่องโหว่จริง 150 รายการ แต่ละรายการแตกเป็นสามระดับ รวมเป็น 450 งาน ครอบคลุมเจ็ดภาษาคือ Java, C, C++, JavaScript, Python, PHP และ Go และช่องโหว่ 24 ประเภทตามระบบ CWE (arXiv)

สามระดับของโจทย์จำลองวิธีใช้ AI เขียนโค้ดที่พบบ่อย คือให้เติมฟังก์ชันเดียว ให้เขียนทั้งไฟล์ และให้สร้างซอร์สโค้ดทั้งโปรเจกต์ตั้งแต่ศูนย์ (arXiv)

จุดสำคัญคือโจทย์ทุกข้อขอเฉพาะความสามารถของโปรแกรม และไม่พูดถึงความปลอดภัยเลย เหมือนคนทั่วไปที่สั่ง AI ว่าอยากได้อะไรโดยไม่ได้บอกให้ระวังช่องโหว่ ผลงานถูกตรวจด้วยชุดทดสอบการทำงานและชุดทดสอบความปลอดภัยที่ซ่อนไว้ agent มองไม่เห็นระหว่างทำงาน (arXiv) (arXiv HTML)

ผลที่ได้

ผู้เขียนทดสอบ agent แนวหน้าหกตัว พบว่าโค้ดผ่านการทดสอบการทำงานได้ 73.6% ถึง 91.3% ของงาน แต่เมื่อนับเฉพาะงานที่ทั้งใช้งานได้และปลอดภัย ตัวที่ดีที่สุดคือ Claude Fable 5 ทำได้เพียง 25.1% ส่วนอีกห้าตัวอยู่ที่ 16.4% ถึง 24.7% (arXiv)

ถ้าดูแบบเข้มขึ้น คือนับเฉพาะช่องโหว่ที่โมเดลต้องเขียนได้ทั้งใช้งานได้และปลอดภัยครบทั้งสามระดับพร้อมกัน โมเดลที่ดีที่สุดผ่านได้เพียง 12% ของสถานการณ์ทั้งหมด ผู้เขียนสรุปว่าเป็นข้อกังวลร้ายแรงต่อความปลอดภัยของซอฟต์แวร์ที่สร้างด้วย vibe coding (arXiv) ตัวเลข 12% กับ 25.1% จึงวัดคนละแบบ ไม่ได้ขัดกัน

ความหมายสำหรับคนที่ใช้ AI เขียนโค้ด

ช่องว่างระหว่างตัวเลขการใช้งานได้กับตัวเลขความปลอดภัยบอกว่า การที่โปรแกรมรันผ่านและทำงานตามที่ขอไม่ได้แปลว่าปลอดภัย เมื่อคำสั่งไม่พูดถึงความปลอดภัย agent ส่วนใหญ่ก็ไม่ได้ระวังให้ (arXiv)

สิ่งที่ทำได้ทันทีคือระบุข้อกำหนดด้านความปลอดภัยไว้ในคำสั่งหรือไฟล์คำสั่งของ agent ใช้เครื่องมือสแกนช่องโหว่กับโค้ดที่ AI เขียน และให้คนที่เข้าใจความปลอดภัยตรวจก่อนนำโค้ดขึ้นระบบที่แตะข้อมูลจริง ข้อแนะนำนี้เป็นการตีความของเราจากผลการทดสอบ ไม่ได้มาจากเปเปอร์โดยตรง

ข้อควรระวังคือเปเปอร์ยาว 10 หน้านี้ยังเป็น preprint รุ่นแรก ไม่ระบุว่าผ่านการตรวจโดยผู้ทรงคุณวุฒิหรือได้รับการตีพิมพ์ที่ใด และยังไม่มีผู้อื่นทดสอบซ้ำ ตัวเลขอาจเปลี่ยนได้ในรุ่นถัดไป (arXiv)

คำถามที่ยังไม่มีคำตอบ

• ถ้าใส่ข้อกำหนดด้านความปลอดภัยไว้ในคำสั่ง อัตราผ่านทั้งสองด้านจะเพิ่มขึ้นแค่ไหน
• ผลจะเป็นอย่างไรกับโมเดลรุ่นที่ออกหลังเปเปอร์นี้
• จะมีทีมอื่นนำชุดทดสอบไปรันซ้ำและได้ตัวเลขใกล้เคียงหรือไม่