Stateful

Stateful คือคุณสมบัติของระบบที่จำข้อมูลจากการโต้ตอบครั้งก่อนๆ ไว้ได้ แล้วเอามาใช้ต่อในการโต้ตอบครั้งถัดไป: แชตที่คุยค้างไว้เมื่อเช้าแล้วกลับมาคุยต่อได้ หรือ agent ที่ทำงานหลายขั้นตอนโดยยังจำได้ว่าขั้นก่อนหน้าทำอะไรไปแล้ว ทั้งหมดนี้คือพฤติกรรมแบบ stateful ส่วนขั้วตรงข้ามคือ stateless : แต่ละคำขอเป็นอิสระจากกันโดยสิ้นเชิง จบแล้วจบเลย ไม่มีอะไรติดค้างไปถึงครั้งหน้า

จุดที่คนมักไม่รู้คือ ตัว model ภาษาขนาดใหญ่เองเป็น stateless โดยกำเนิด เอกสาร Conversation state ของ OpenAI ระบุตรงๆ ว่าแต่ละคำขอที่ส่งเข้า API เป็นอิสระจากกัน โมเดลไม่มีความจำในตัวระหว่างการเรียกแต่ละครั้ง ความรู้สึกว่า "AI จำเราได้" จึงเป็นความ stateful ที่ชั้นระบบรอบโมเดลสร้างขึ้น วิธีหลักคือส่งประวัติบทสนทนาทั้งหมดกลับเข้าไปใน context-window ใหม่ทุก turn : เอกสารของ Anthropic อธิบายว่า input ของแต่ละ turn คือประวัติการคุยก่อนหน้าทั้งหมดบวกข้อความล่าสุด สะสมเพิ่มขึ้นเรื่อยๆ จนกว่าจะชนเพดาน context window นอกจากนี้ผู้ให้บริการบางรายมีกลไกเก็บ state ไว้ฝั่ง server ให้เลย เช่น parameter previous_response_id และ Conversations API ของ OpenAI ที่ผูกบทสนทนาเป็น object ถาวร ทำให้ไม่ต้องส่งประวัติเองทุกครั้ง (แต่ token ของประวัติก็ยังถูกนับและคิดเงินเป็นฝั่ง input เหมือนเดิม)

คนทำงานยุค AI ควรรู้คำนี้เพราะมันอธิบายพฤติกรรม "งงๆ" ของ AI ได้เกือบหมด: ทำไมเปิดแชตใหม่แล้ว AI ลืมทุกอย่าง (เพราะ session ใหม่คือ state ที่เริ่มจากศูนย์) ทำไมแชตที่ยาวมากค่อยๆ แพงขึ้น ช้าลง และตอบเพี้ยนขึ้น (เพราะ state สะสมในรูปประวัติที่ต้องส่งซ้ำทุกรอบจนใกล้เต็ม context window) และทำไมเครื่องมือรุ่นใหม่ต้องมี memory-system หรือ compaction มาช่วยบีบอัดและจัดการ state ให้อยู่ในขนาดที่โมเดลรับไหว

ตัวอย่างจากบทสนทนาจริง

ถาม: "เมื่อวานสอน AI ไปตั้งนานว่าฟอร์แมตรายงานของบริษัทเราเป็นยังไง วันนี้เปิดแชตใหม่มันจำอะไรไม่ได้เลย ตกลงที่คุยกันเมื่อวานมันเก็บไว้ที่ไหน"

ตอบ: "มันไม่ได้เก็บในตัวโมเดลครับ โมเดลเป็น stateless: ทุกครั้งที่ตอบ แอปจะส่งประวัติของแชตนั้นกลับไปให้โมเดลอ่านใหม่ทั้งก้อน ความจำเลยติดอยู่กับแชตเดิมเท่านั้น พอเปิดแชตใหม่ state ก็เริ่มนับหนึ่งใหม่ ถ้าอยากได้ความ stateful ข้ามแชต ต้องพึ่งฟีเจอร์ memory ของแอป หรือเก็บฟอร์แมตไว้เป็นไฟล์แล้วแนบให้ทุกครั้งครับ"

ระวังสับสนกับ

• stateless : ขั้วตรงข้ามโดยตรง คือแต่ละคำขอเป็นอิสระ ไม่จำอะไรข้ามครั้ง จำง่ายๆ ว่าตัวโมเดลเป็น stateless เสมอ ส่วนประสบการณ์แชตที่ "จำได้" คือระบบรอบนอกทำให้ดูเป็น stateful
• memory-system : ไม่ใช่คำเดียวกัน memory system คือกลไกเสริม (เช่น ไฟล์โน้ตหรือฟีเจอร์ memory ของแอป) ที่ช่วยให้ระบบ stateful ข้าม session ได้ ส่วน stateful คือคำเรียกคุณสมบัติโดยรวมว่าระบบจำ state ระหว่างการโต้ตอบได้หรือไม่