Computer use

Computer use คือความสามารถที่ให้ AI ควบคุมหน้าจอคอมพิวเตอร์แทนคน หน้าผลิตภัณฑ์ของ claude-cowork อธิบายไว้ว่า "Computer use lets Claude interact directly with your screen to open apps, navigate your browser, or run tools" คือเปิดแอป ใช้งานเบราว์เซอร์ และรันเครื่องมือได้โดยตรงบนหน้าจอ ประโยชน์ของมันคือทำให้ AI ทำงานกับโปรแกรมที่ไม่มีช่องทางเชื่อมต่อโดยตรงได้ ซึ่งในทางปฏิบัติคือโปรแกรมภายในองค์กรจำนวนมากที่ไม่มี API ให้เรียก

สิ่งที่ต้องรู้ก่อนเป็นอันดับแรกคือมันเป็นทางเลือกสุดท้าย ไม่ใช่ทางเลือกแรก หน้าผลิตภัณฑ์ระบุลำดับไว้ชัดว่า "Claude reaches for your connectors and integrations first, falls back to your browser when needed, and only uses your screen as a last resort" เหตุผลคือการควบคุมหน้าจอเป็นการทำงานผ่านสิ่งที่ออกแบบมาให้คนใช้ ไม่ใช่ให้เครื่องใช้ จึงช้ากว่า เปราะบางกว่า และผิดพลาดง่ายกว่าการต่อผ่าน connector มาก แค่ตำแหน่งปุ่มขยับหรือหน้าจอโหลดช้ากว่าปกติก็ทำให้งานพลาดได้ อีกเรื่องที่ต้องระบุให้ชัดคือสถานะ หน้าผลิตภัณฑ์ระบุว่าความสามารถนี้ยังอยู่ในสถานะ research preview ทั้งใน Cowork และใน claude-code ซึ่งแปลว่ายังเป็นของทดลองที่อยู่ระหว่างประเมิน ไม่ใช่ของที่พร้อมใช้ในงานที่ผิดพลาดไม่ได้

ด้านการควบคุม หน้าผลิตภัณฑ์ระบุว่า "Claude asks permission before accessing each application. You see what it's doing and can stop it at any step" คือขออนุญาตก่อนเข้าถึงแต่ละแอป เราเห็นทุกอย่างที่มันทำและสั่งหยุดได้ทุกขั้น ซึ่งเป็นชั้นป้องกันที่จำเป็นเพราะการควบคุมหน้าจอเท่ากับมอบสิทธิ์ระดับเดียวกับที่คนนั่งหน้าเครื่องมี สำหรับองค์กรไทยที่สนใจใช้กับระบบภายในที่ไม่มี API หลักที่ควรยึดคือใช้กับงานที่อ่านหรือรวบรวมข้อมูลก่อน อย่าเพิ่งใช้กับงานที่กดยืนยันแล้วย้อนไม่ได้ เช่น อนุมัติรายการหรือส่งข้อมูลออกนอกองค์กร และควรทดลองในสภาพแวดล้อมทดสอบก่อนเสมอ เพราะยังเป็นของที่ผู้ผลิตเองยังไม่ประกาศว่าพร้อมใช้เต็มรูปแบบ

ตัวอย่างจากบทสนทนาจริง

ผู้จัดการฝ่ายบัญชี: "ระบบ ERP ของเราเก่ามากครับ ไม่มี API อะไรเลย ถ้าให้ AI คุมหน้าจอกรอกข้อมูลแทนพนักงานได้ก็ประหยัดคนไปเยอะเลย ทำได้ไหม"

ฝ่ายไอที: "ทำได้ในทางเทคนิคครับ แต่ผมยังไม่แนะนำให้ใช้กับการกรอกข้อมูลจริงตอนนี้ ผู้ผลิตเองยังระบุว่าความสามารถนี้อยู่ในสถานะ research preview อยู่ และการคุมหน้าจอเปราะบางกว่าการต่อ API มาก แค่หน้าจอโหลดช้าหรือปุ่มขยับตำแหน่งก็พลาดได้ ถ้าจะเริ่มผมเสนอให้ใช้กับงานอ่านอย่างเดียวก่อน เช่น ให้มันเปิดดูรายงานแล้วสรุปตัวเลขออกมา ส่วนงานที่กดแล้วย้อนไม่ได้อย่างการอนุมัติ ขอให้คนทำไปก่อนครับ"

ระวังสับสนกับ

• connector : connector คือช่องต่อโดยตรงกับบริการที่ออกแบบมาให้เครื่องคุยกับเครื่อง ซึ่งเร็วและแม่นกว่า ส่วน computer use คือการไปกดหน้าจอแทนคน ซึ่งผู้ผลิตเองระบุว่าให้ใช้เป็นทางเลือกสุดท้าย
• agent-mode : agent mode คือการปล่อยให้ AI ทำงานหลายขั้นจนเสร็จ ซึ่งเป็นรูปแบบการทำงาน ส่วน computer use เป็นช่องทางหนึ่งที่ agent ใช้ลงมือ พูดอีกแบบคืออันหนึ่งบอกว่าทำงานแบบไหน อีกอันบอกว่าลงมือผ่านอะไร
• sandbox : sandbox คือพื้นที่จำกัดที่ AI ทำงานได้โดยไม่กระทบระบบจริง ส่วน computer use ทำงานบนหน้าจอจริงของเรา จึงมีขอบเขตกว้างกว่ามากและเป็นเหตุผลที่ต้องมีการขออนุญาตทีละแอป