Inpainting

Inpainting คือการให้ AI วาดใหม่เฉพาะบริเวณที่เราระบายเลือกไว้ในภาพเดิม แล้วปล่อยส่วนที่เหลือไว้อย่างที่มันเป็น คู่มือ Diffusers ของ Hugging Face อธิบายไว้ว่า inpainting คือการแทนที่หรือแก้ไขพื้นที่เฉพาะจุดของภาพ และบอกว่าเป็นเครื่องมือที่มีประโยชน์กับงานซ่อมภาพ ยกตัวอย่างเช่น การลบตำหนิและร่องรอยที่ไม่ต้องการ หรือกระทั่งแทนที่พื้นที่นั้นด้วยของใหม่ทั้งชิ้น ในวิธีที่คู่มือเล่มนี้อธิบาย ของที่ต้องส่งให้ AI มีสามอย่างคือ prompt ภาพตั้งต้น และ mask ซึ่งเป็นภาพอีกใบที่ทำหน้าที่เป็นแผนที่บอกว่าให้แก้ตรงไหน หน้าเดียวกันระบุว่าพื้นที่ที่จะให้ inpaint แทนด้วยจุดสีขาว พื้นที่ที่จะเก็บของเดิมไว้แทนด้วยจุดสีดำ และจุดสีขาวคือส่วนที่จะถูกเติมตาม prompt ที่เราพิมพ์ไป จุดนี้เองที่ทำให้มันต่างจาก text-to-image ซึ่งสั่งทีเดียวแล้วได้ภาพใหม่ทั้งใบ

ในเครื่องมือฝั่ง open source อย่าง Diffusers เบื้องหลังใช้เทคโนโลยีเดียวกับการสร้างภาพตามปกติคือ diffusion-model แต่ตัว checkpoint ที่ใช้มักเป็นรุ่นที่ finetune มาสำหรับงานนี้ ตัวอย่างหนึ่งที่คู่มือยกไว้คือ Stable Diffusion Inpainting ซึ่งเป็น latent diffusion model ที่นำมา finetune เพิ่มบนภาพขนาด 512x512 สำหรับงาน inpainting โดยเฉพาะ อีกสองตัวที่คู่มือจัดว่าเป็นรุ่นยอดนิยมสำหรับงานนี้คือ SDXL Inpainting และ Kandinsky 2.2 Inpainting หน้าเดียวกันยังอธิบายปุ่มปรับที่คนทำงานจะได้ยินบ่อย เช่น strength ที่เป็นตัววัดว่าใส่ noise ลงบนภาพตั้งต้นมากแค่ไหน ค่าสูงใช้เวลา denoise นานขึ้นแต่ได้ภาพคุณภาพสูงกว่าและต่างจากภาพเดิมมากขึ้น ส่วนค่าต่ำทำงานเร็วกว่าและได้ภาพที่เหมือนของเดิมมากกว่า แลกกับคุณภาพที่อาจไม่ดีเท่า นอกจากนี้ยังมีการเบลอขอบ mask เพื่อให้รอยต่อระหว่างของเดิมกับของใหม่กลมกลืนขึ้น มีการใส่ negative prompt เพื่อบอกว่าไม่อยากให้อะไรโผล่มาในพื้นที่นั้น และมีตัวเลือกที่ครอปเฉพาะบริเวณ mask พร้อมระยะเผื่อรอบๆ แล้วขยายทั้งภาพและ mask ไปทำงานที่ความละเอียดสูงกว่าก่อนวางกลับลงบนภาพเดิม ซึ่งเอกสารบอกว่าเป็นวิธีง่ายๆ ที่ช่วยยกคุณภาพโดยไม่ต้องเรียกตัว upscaling แยกอีกรอบ ตัวอย่างโค้ดในหน้านั้นยังกำหนด seed ไว้ด้วย เพื่อให้ผลลัพธ์ซ้ำเดิมได้เวลาทดลองปรับค่าอื่น ฝั่งบริการเชิงพาณิชย์ก็มีวิธีระบุพื้นที่ที่จะแก้เหมือนกัน แต่ออกแบบไว้คนละแบบ เอกสาร image generation ของ OpenAI กำหนดว่าภาพที่จะแก้กับ mask ต้องเป็นไฟล์รูปแบบเดียวกันและขนาดเท่ากัน โดยมีขนาดน้อยกว่า 50MB และ mask ต้องมี alpha channel อยู่ในไฟล์ด้วย ส่วนเอกสาร image generation ของ gemini เล่าอีกแนวทางหนึ่งคือให้ผู้ใช้นิยาม mask ผ่านบทสนทนา เพื่อแก้ภาพเฉพาะส่วนโดยไม่แตะส่วนที่เหลือ แปลว่าคนใช้ไม่ต้องเตรียมไฟล์ mask เองก็ได้

สิ่งที่คนทำงานต้องระวังคือคำว่า "ส่วนที่เหลือไม่ถูกแตะ" ไม่ได้แปลว่ารับประกันแบบพิกเซลต่อพิกเซล เอกสารของ OpenAI เขียนไว้ตรงๆ ว่าการทำ mask กับ GPT Image ทำงานผ่าน prompt ทั้งหมด โมเดลใช้ mask เป็นแนวทาง แต่อาจไม่ทำตามรูปทรงของ mask ได้แม่นยำสมบูรณ์ ส่วนคู่มือ Diffusers ก็เตือนคล้ายกันว่า checkpoint ที่ finetune มาเพื่อ inpainting โดยเฉพาะจะให้รอยต่อที่เป็นธรรมชาติกว่า แต่ก็มีแนวโน้มจะเปลี่ยนพื้นที่นอก mask มากกว่า ถ้างานไหนต้องคงพื้นที่นอก mask ไว้จริงๆ หน้านั้นเสนอวิธีบังคับทับพื้นที่เดิมกลับลงไป โดยแลกกับรอยต่อที่ดูไม่เป็นธรรมชาติขึ้นบ้าง ในทางปฏิบัติจึงควรเทียบภาพก่อนหลังแบบซูมดูขอบ ก่อนส่งงานที่ลูกค้าจะเอาไปใช้จริง อีกเรื่องที่ต้องรู้ไว้ล่วงหน้าคือผู้ให้บริการบางเจ้ากำกับที่มาของภาพที่สร้างออกมาไว้กับตัวภาพเอง เช่น เอกสาร image generation ของ Gemini ระบุว่าภาพที่ generate ออกมาทุกภาพมี SynthID watermark ติดไปด้วย ใครที่ทำงานสายภาพจึงควรอ่านเรื่อง watermarking และ content-provenance ควบคู่ไป และเช็ครายละเอียดข้อนี้จากเอกสารของผู้ให้บริการที่องค์กรใช้อยู่เป็นรายเจ้า เพราะแต่ละเจ้าเขียนเรื่องนี้ไว้ไม่เหมือนกัน

ตัวอย่างจากบทสนทนาจริง

ฝ่ายการตลาด: ภาพสินค้าที่ถ่ายมาสวยแล้ว แต่มีสายไฟโผล่ที่มุมขวาล่าง ต้องจ้างถ่ายใหม่ไหมคะ หรือให้ AI สร้างภาพใหม่ให้เลย

ทีมกราฟิก: ไม่ต้องครับ เคสนี้ใช้ inpainting พอดี คือระบายเลือกเฉพาะมุมที่มีสายไฟ แล้วบอกว่าอยากให้ตรงนั้นเป็นพื้นโต๊ะเรียบๆ AI จะวาดใหม่เฉพาะกรอบที่เราเลือก ตัวสินค้ากับแสงเงายังเป็นของจริงจากการถ่ายเหมือนเดิม ต่างจากการสั่งสร้างภาพใหม่ทั้งใบที่สินค้าจะกลายเป็นของที่ AI แต่งขึ้นมาเอง

ฝ่ายการตลาด: แล้วมั่นใจได้แค่ไหนว่าส่วนอื่นไม่เปลี่ยน

ทีมกราฟิก: ต้องเช็คเองครับ เอกสารของผู้ให้บริการบางเจ้าบอกไว้เลยว่าโมเดลใช้ mask เป็นแค่แนวทาง อาจไม่ทำตามรูปทรงเป๊ะ ผมจะซูมเทียบขอบภาพก่อนหลังให้ก่อนส่งงานทุกครั้ง

ระวังสับสนกับ

• text-to-image : สั่งด้วยข้อความแล้วได้ภาพใหม่ทั้งใบโดยไม่มีภาพตั้งต้น ส่วน inpainting เริ่มจากภาพที่มีอยู่แล้วแก้เฉพาะกรอบที่เลือก จึงเป็นเครื่องมือคนละจังหวะกัน ใบแรกใช้ตอนยังไม่มีภาพ อีกใบใช้ตอนมีภาพที่พอใจแล้วเหลืออีกนิดเดียว
• upscaling : เป็นการเพิ่มความละเอียดของภาพเดิม เนื้อหาในภาพยังเป็นเรื่องเดียวกัน ส่วน inpainting เปลี่ยนเนื้อหาในกรอบที่เลือกจริงๆ คู่มือ Diffusers ยังบอกว่าต่อ inpainting เข้ากับ pipeline อื่น เช่น ตัวขยายภาพ เพื่อยกคุณภาพอีกชั้นได้
• prompt : prompt คุมผลลัพธ์ด้วยข้อความว่าอยากได้อะไร แต่ไม่ได้ชี้ว่าจะให้แก้ตรงไหนบนภาพ ส่วน mask ของ inpainting ชี้พื้นที่บนภาพโดยตรง งานจริงใช้สองอย่างนี้คู่กันคือเลือกพื้นที่ด้วย mask แล้วบอกด้วย prompt ว่าอยากให้พื้นที่นั้นกลายเป็นอะไร
• stable-diffusion : เป็นชื่อตระกูลโมเดลสร้างภาพ ส่วน inpainting เป็นชื่องานที่โมเดลทำได้ คู่มือ Diffusers แยก checkpoint สำหรับ inpainting ออกจาก checkpoint ปกติ และบอกว่า checkpoint ปกติก็พอใช้ได้กับงานง่ายอย่างการลบวัตถุออกจากภาพ โดยแลกกับคุณภาพภาพรวมที่อาจต่ำกว่า แต่มีข้อดีคือมักรักษาขอบเขตของ mask ไว้ได้ตรงกว่า ซึ่งเป็นเหตุผลที่มักเห็นเส้นขอบของ mask ในภาพที่ได้