พรอมต์บทบาทอาชีพไม่ได้ทำให้ AI ตอบแม่นขึ้น

เกิดอะไรขึ้น

Timothy Kassis เผยแพร่งานวิจัยบน arXiv ที่ทดสอบว่าการใส่ system prompt แบบบรรยายบทบาทอาชีพอย่างละเอียด เช่น บอกว่าโมเดลเป็นนักชีวสารสนเทศหรือนักเคมีพร้อมรายละเอียดวิธีทำงาน ช่วยให้ตอบคำถามวิทยาศาสตร์แม่นขึ้นจริงหรือไม่ (arXiv)

ชุดบทบาทที่ใช้ชื่อ Scientific Agents เป็นคลังโอเพนซอร์สของโปรไฟล์อาชีพ 503 แบบ ทดสอบกับโมเดล Gemini 3.8 Flash ผ่าน OpenRouter ในโปรแกรม agent ชื่อ Pi (arXiv)

ทดสอบอย่างไร

ผู้เขียนเทียบโปรไฟล์อาชีพที่ตรงกับคำถาม กับเงื่อนไขควบคุมสี่แบบ คือพรอมต์สั้นที่สุด "You are a helpful assistant" ประโยคแรกของโปรไฟล์ที่บอกบทบาทอย่างเดียว คู่มือความรอบคอบทางวิทยาศาสตร์แบบทั่วไป และโปรไฟล์ของสาขาที่ไม่เกี่ยวข้อง (arXiv)

ใช้ชุดทดสอบวิทยาศาสตร์แบบข้อความเก้าชุด สุ่มคำถามมา 4,531 ข้อ จับคู่กับโปรไฟล์ 100 แบบ มี 4,488 ข้อที่รันครบทั้งห้าเงื่อนไข และให้คะแนนด้วยกฎอัตโนมัติ (arXiv)

ผลที่พบ

ความแม่นยำของโปรไฟล์อาชีพต่ำกว่าพรอมต์สั้นเฉลี่ย 0.6 จุดเปอร์เซ็นต์ ช่วงความเชื่อมั่น 95% อยู่ระหว่าง -1.5 ถึง +0.2 และไม่มีชุดทดสอบใดที่ดีขึ้นอย่างชัดเจนทางสถิติ (arXiv)

ในด้านต้นทุน โปรไฟล์อาชีพทำให้โมเดลตอบยาวขึ้น 1.5 ถึง 2.3 เท่า และค่าใช้จ่ายโดยประมาณต่อคำตอบที่สำเร็จสูงขึ้น 2.2 ถึง 4.5 เท่า (arXiv)

ในโจทย์ชีวสารสนเทศ 60 ข้อจาก BioMysteryBench ที่ต้องใช้เครื่องมือ โปรไฟล์อาชีพแก้ได้เฉลี่ย 46.7% เทียบกับ 56.7% ของพรอมต์สั้น ต่างกัน 10 จุดเปอร์เซ็นต์ สาเหตุหลักคือชนเพดานโทเคนและเวลาบ่อยกว่า (arXiv)

มีผลที่ไม่คาดคิดหนึ่งข้อ คือบนชุด SuperGPQA ที่ API ของผู้ให้บริการหลุดบ่อย พรอมต์สั้นได้คำตอบถูกในรอบแรก 54.0% ขณะที่โปรไฟล์อาชีพได้ 71.6% แต่พรอมต์แบบทั่วไปและโปรไฟล์ของสาขาที่ไม่เกี่ยวข้องให้ผลใกล้เคียงกัน ผู้เขียนจึงสรุปว่าข้อดีนี้มาจากความยาวหรือรูปแบบของพรอมต์ ไม่ได้มาจากความเชี่ยวชาญของบทบาท (arXiv)

ความหมายสำหรับคนทำงาน

คนทำงานจำนวนมากเริ่มทุกพรอมต์ด้วยการกำหนดบทบาทยาวๆ เพราะเชื่อว่าโมเดลจะ "เก่งขึ้น" งานนี้ชี้ว่าอย่างน้อยกับโมเดลและงานประเภทนี้ การบรรยายบทบาทเต็มรูปแบบไม่ได้เพิ่มความแม่นยำ แต่ทำให้คำตอบยาวและแพงขึ้น ซึ่งมีผลจริงเมื่อจ่ายเงินตามจำนวนโทเคน หรือเมื่อ agent มีเพดานเวลาและโทเคน

สิ่งที่น่าจะคุ้มกว่าคือการบอกงานที่ต้องทำ เงื่อนไข และรูปแบบผลลัพธ์ที่ต้องการให้ชัด แล้ววัดผลกับงานของตัวเองก่อนสรุปว่าพรอมต์แบบไหนดีกว่า

ข้อจำกัดของหลักฐาน

งานนี้ทดสอบกับโมเดลเดียวคือ Gemini 3.8 Flash ใช้คำถามวิทยาศาสตร์ที่มีคำตอบตายตัวและตรวจด้วยกฎอัตโนมัติ และเป็นงานของผู้เขียนคนเดียวที่ช่อง Comments บน arXiv ไม่ได้ระบุเวทีตีพิมพ์ (arXiv)

ผู้เขียนเองระบุว่ายังต้องทดสอบต่อว่าการดึงเฉพาะบางส่วนของโปรไฟล์มาใช้ หรืองานวิทยาศาสตร์แบบปลายเปิด จะให้ผลต่างไปหรือไม่ (arXiv) และผู้เขียนไม่ได้เปิดโค้ดประเมินผลกับข้อมูลรายข้อ ตามที่ระบุไว้ในช่อง Comments (arXiv)

ผลนี้จึงยังไม่ครอบคลุมงานประเภทอื่น เช่น งานเขียนที่ต้องการน้ำเสียงเฉพาะ และไม่ได้แปลว่าการกำหนดบทบาทไม่มีประโยชน์ในทุกงาน

คำถามที่ยังไม่มีคำตอบ

• ผลจะเหมือนกันไหมกับโมเดลรุ่นใหญ่ เช่น Claude Opus หรือ GPT รุ่นแนวหน้า
• งานธุรกิจที่ไม่มีคำตอบตายตัว เช่น การเขียนหรือวิเคราะห์ จะได้ผลต่างจากคำถามวิทยาศาสตร์หรือไม่