Context window

Context window คือขอบเขตของข้อความทั้งหมดที่ model สามารถ "มองเห็น" ได้ในขณะสร้างคำตอบหนึ่งครั้ง รวมถึงตัวคำตอบที่กำลังพิมพ์ออกมาด้วย เอกสารของ Anthropic เปรียบมันเป็น working memory หรือความจำใช้งานของโมเดล ส่วนเอกสาร Gemini ของ Google ก็เปรียบมันเป็น "ความจำระยะสั้น" (short term memory) · จุดสำคัญที่คนมักเข้าใจผิดคือ มันคนละอย่างกับความรู้ที่โมเดลได้จากการฝึก: ความรู้จากการฝึกคือสิ่งที่ฝังอยู่ในตัวโมเดลถาวร แต่ context window คือกระดาษทดชั่วคราวของบทสนทนานั้นๆ และทุกอย่างถูกนับรวมหมด ไม่ว่าจะเป็น system-prompt, ประวัติการคุยทุก turn, ไฟล์หรือรูปที่แนบ, tool-result ที่ระบบดึงกลับมา ไปจนถึงข้อความที่โมเดลคิดและตอบเอง ทั้งหมดวัดเป็นหน่วย token

ขนาดของ context window โตขึ้นเร็วมาก: เอกสาร Gemini เล่าว่าโมเดลยุคก่อนรับได้เพียง 8,000 ถึง 128,000 token แต่ปัจจุบันทั้ง Gemini และโมเดล Claude รุ่นใหม่รองรับถึงระดับ 1 ล้าน token (โมเดล Claude บางรุ่นอยู่ที่ 200,000 token) · หนึ่งล้าน token ใหญ่แค่ไหน? Google เทียบว่าประมาณนิยายภาษาอังกฤษ 8 เล่ม หรือโค้ดราว 50,000 บรรทัด · แต่ใหญ่ไม่ได้แปลว่าดีเสมอไป: เอกสาร Anthropic เรียกอาการที่ความแม่นยำและการระลึกข้อมูลถดถอยลงเมื่อ context ยาวขึ้นว่า context rot ส่วนฝั่ง Google ก็ยอมรับว่าถ้าต้องค้นข้อมูลหลายจุดพร้อมกันจากกองข้อความมหาศาล ความแม่นจะตก และยิ่งป้อนยาว latency ก็ยิ่งสูงขึ้น

สำหรับคนทำงานยุค AI เรื่องนี้อธิบายอาการ "AI ขี้ลืม" ได้เกือบทั้งหมด: ยิ่งคุยนาน ข้อความยิ่งสะสมจนหน้าต่างใกล้เต็ม เมื่อเกินขีดจำกัด ระบบอาจปฏิเสธคำขอ (ฝั่ง Claude API จะตอบกลับเป็น error ว่า prompt is too long) หรือไม่ก็ต้องสรุปย่อบทสนทนาเก่าทิ้งด้วยเทคนิคอย่าง compaction เพื่อให้คุยต่อได้ · ดังนั้นทักษะสำคัญไม่ใช่การยัดทุกอย่างเข้าไป แต่คือการคัดเลือกว่า context ชิ้นไหนควรอยู่ในหน้าต่าง ณ ตอนนั้น เหมือนจัดโต๊ะทำงานให้เหลือเฉพาะเอกสารที่ใช้จริง

ตัวอย่างจากบทสนทนาจริง

ถาม: เมื่อเช้าอธิบายรายละเอียดโปรเจกต์ให้ AI ฟังยาวมาก พอตอนบ่ายเปิดแชทใหม่ถามต่อ มันทำเป็นจำอะไรไม่ได้เลย นี่มันแกล้งเราหรือเปล่า?

ตอบ: ไม่ได้แกล้งครับ เปิดแชทใหม่คือเริ่ม session ใหม่ ซึ่งเท่ากับได้ context window ที่ว่างเปล่า ความจำของโมเดลมีอยู่แค่ภายในหน้าต่างเดียวกันเท่านั้น ไม่ได้ถูกบันทึกลงตัวโมเดล ถ้าอยากให้มันรู้เรื่องเดิม ให้คุยต่อในแชทเดิม หรือสรุปข้อมูลสำคัญเป็นย่อหน้าสั้นๆ แล้ววางเข้าไปในแชทใหม่ตั้งแต่ต้น

ระวังสับสนกับ

• context : context คือเนื้อหาจริงที่ถูกป้อนให้โมเดล ส่วน context window คือขนาดของพื้นที่ที่รองรับเนื้อหานั้น เทียบง่ายๆ คือ "ของในกระเป๋า" กับ "ขนาดกระเป๋า"
• compaction : ไม่ใช่ตัวหน้าต่าง แต่เป็นเทคนิคบีบอัด: สรุปบทสนทนาช่วงเก่าให้สั้นลงเพื่อเคลียร์พื้นที่ เมื่อบทสนทนายาวจนใกล้ชนเพดานของ context window