Token

Token คือหน่วยย่อยที่เล็กที่สุดที่ model ภาษาใช้ในการอ่านและเขียนข้อความ ก่อนที่ AI จะประมวลผลอะไรก็ตาม ข้อความของเราจะถูกแปลง (encode) จากตัวอักษรให้กลายเป็นลำดับของ token เสียก่อน โดย token หนึ่งตัวอาจเป็นคำเต็มคำ ท่อนของคำ (subword) ตัวอักษรเดี่ยว หรือกระทั่ง byte ก็ได้ ตามเอกสารของ Anthropic token ของ Claude หนึ่งตัวเทียบได้ประมาณ 3.5 ตัวอักษรภาษาอังกฤษ และตัวเลขนี้แกว่งไปตามภาษาที่ใช้ · เนื้อหาความยาวเท่ากันในต่างภาษาจึงกิน token ไม่เท่ากัน

ในการใช้งานปกติเราแทบไม่เห็น token เลย เพราะระบบซ่อนขั้นตอนนี้ไว้หลังฉาก แต่ token คือหน่วยนับของแทบทุกอย่างเบื้องหลัง AI: ค่าบริการคิดตามจำนวน token ขาเข้า (input) และขาออก (output) · ความจำของโมเดลหรือ context-window ก็วัดเป็น token เช่นกัน (บางโมเดลรองรับได้ถึง 1 ล้าน token ต่อครั้ง) และทุกสิ่งที่ส่งเข้าไปนับรวมหมด ทั้ง system-prompt ประวัติการสนทนา นิยามของ tool ไปจนถึงคำตอบที่โมเดล generate ออกมาเอง เพดานความถี่ในการเรียกใช้บริการหรือ rate-limit ที่ผู้ให้บริการตั้งไว้ก็นับเป็นจำนวน token ต่อนาทีเช่นกัน

สำหรับคนทำงานยุค AI เรื่องนี้ไม่ใช่แค่เกร็ดเทคนิค: มันคือคำตอบว่าทำไมบิลค่า AI ถึงแพงขึ้นทั้งที่พิมพ์สั้นลง ทำไมแชทยาวๆ แล้ว AI เริ่มหลงลืมต้นเรื่อง และทำไมเอกสารคนละภาษาถึงใช้โควตาไม่เท่ากัน ฝั่งผู้พัฒนายังมีเครื่องมืออย่าง token counting API ไว้ประเมินจำนวน token ก่อนส่งจริง เพื่อคุมต้นทุนและไม่ให้ชนเพดาน context window

ตัวอย่างจากบทสนทนาจริง

ฝ่ายบัญชี: ค่า AI เดือนนี้พุ่งเกือบเท่าตัว ทั้งที่ทีมบอกว่าพิมพ์ถามสั้นลงกว่าเดิมอีก ระบบคิดเงินตามจำนวนคำถามไม่ใช่เหรอคะ

ทีม IT: ไม่ใช่ครับ ระบบคิดตามจำนวน token ทั้งขาเข้าและขาออก ทุกครั้งที่ถาม ระบบจะแนบประวัติแชทและไฟล์ที่อัปโหลดไว้กลับเข้าไปทั้งก้อน คำถามสั้นแต่ context สะสมยาว ก็เผา token มหาศาลอยู่ดี ลองให้ทีมเปิด session ใหม่เมื่อขึ้นเรื่องใหม่ แล้วแนบเฉพาะไฟล์ที่เกี่ยวจริงๆ บิลจะลงทันที

ระวังสับสนกับ

• context-window : token คือ "หน่วยนับ" ส่วน context window คือ "ความจุสูงสุด" ที่โมเดลอ่านได้ในครั้งเดียวซึ่งวัดเป็น token · เทียบง่ายๆ token คือเมกะไบต์ ส่วน context window คือขนาดของฮาร์ดดิสก์
• คำ (word) : token ไม่เท่ากับหนึ่งคำเสมอไป คำเดียวอาจถูกตัดเป็นหลาย token และแต่ละภาษาถูกตัดไม่เหมือนกัน การนับจำนวนคำจึงใช้ประเมินค่าใช้จ่าย AI ตรงๆ ไม่ได้