Parameters

Parameters คือค่าตัวเลขจำนวนมหาศาลที่อยู่ภายใน model ภาษาขนาดใหญ่ ประกอบด้วย weight (น้ำหนักของเส้นเชื่อมระหว่าง node แต่ละชั้นในโครงข่ายประสาทเทียม) bias และ embedding ถ้าเปรียบโมเดลเป็นสมอง parameters ก็คือความแรงของจุดเชื่อมต่อระหว่างเซลล์สมองแต่ละคู่ : โมเดลไม่ได้เก็บความรู้เป็นไฟล์เอกสารหรือประโยคที่เปิดค้นได้ แต่เก็บทุกอย่างกระจายอยู่ในค่าตัวเลขเหล่านี้

ค่าเหล่านี้ไม่มีใครนั่งเขียนทีละค่า แต่เกิดจากการ training : โมเดลอ่านข้อความปริมาณมหาศาลแล้วฝึกทายคำถัดไป (next-token-prediction) ทายผิดก็ขยับค่า parameters ทีละนิด วนซ้ำแบบนี้จนกว่าจะทาย token ถัดไปได้แม่นที่สุด ผลคือแพทเทิร์นของภาษาและข้อเท็จจริงในข้อมูลฝึกถูกบีบอัดลงมาอยู่ในค่าตัวเลขทั้งหมดนี้ ความรู้ที่ฝังมากับตัวโมเดลแบบนี้เรียกว่า parametric-knowledge

ตัวเลขอย่าง "8B" หรือ "70B" ที่ห้อยท้ายชื่อโมเดล (B = billion หรือพันล้าน) ก็คือจำนวน parameters นี่เอง เช่น GPT-2 มี 1,500 ล้านค่า (1.5B) · GPT-3 มี 175,000 ล้านค่า (175B) · DeepSeek R1 มี 671,000 ล้านค่า (671B) งานวิจัยกลุ่ม scaling laws พบว่าความสามารถของโมเดลขึ้นกับสามปัจจัยประกอบกัน คือจำนวน parameters ขนาดข้อมูลฝึก และพลังประมวลผลที่ใช้ train ดังนั้นโมเดลที่ parameters เยอะกว่ามีแนวโน้มเก่งกว่า แต่ไม่ใช่ตัวตัดสินเพียงตัวเดียว จุดที่คนทำงานยุค AI ต้องเข้าใจคือ parameters ถูกล็อกไว้ตั้งแต่ train เสร็จ ความรู้ใหม่หรือข้อมูลภายในองค์กรของคุณไม่ได้ซึมเข้าไปเองจากการแชท ต้องป้อนให้โมเดลผ่าน prompt ทุกครั้งที่ใช้งาน หรือถ้าจะฝังลงในตัวโมเดลจริงๆ ต้องผ่านกระบวนการอย่าง fine-tuning

ตัวอย่างจากบทสนทนาจริง

ทีมการตลาด: เห็นข่าวเปิดตัวโมเดลใหม่ 70B ตกลงเลขนี้คือความจุหน่วยความจำใช่ไหม ยิ่งเยอะแปลว่ายิ่งจำบทสนทนาของเราได้นานขึ้นหรือเปล่า

วิทยากร: คนละเรื่องกันครับ 70B คือจำนวน parameters : ค่าตัวเลขภายในที่ได้จากการ train ซึ่งสะท้อนว่าโมเดลจุแพทเทิร์นความรู้ไว้มากแค่ไหน ส่วนความยาวบทสนทนาที่โมเดลรับได้ต่อครั้งคือ context-window ซึ่งเป็นคนละตัวเลขกันเลย และไม่ว่าเราจะคุยกับมันนานแค่ไหน ค่า parameters ก็ไม่เปลี่ยน เพราะมันถูกล็อกมาตั้งแต่ train เสร็จแล้ว

ระวังสับสนกับ

• ค่า setting ตอนเรียกใช้ (temperature · max tokens) : เอกสาร API มักเรียกค่าพวกนี้ว่า "parameters" เหมือนกัน แต่มันคือปุ่มปรับพฤติกรรมตอน inference ที่ผู้ใช้เปลี่ยนได้ทุกครั้ง ส่วน parameters ของโมเดลคือค่าภายในนับพันล้านค่าที่ผู้ใช้แก้ไม่ได้ตอนใช้งาน
• context-window : ขนาดข้อความที่โมเดลอ่านได้ต่อหนึ่งการสนทนา · parameters บอกว่าโมเดล "รู้" ติดตัวมาแค่ไหน ส่วน context window บอกว่ามัน "อ่านตรงหน้า" ได้ยาวแค่ไหน