AI Face Swap, เปลี่ยนชุด, และ Style Transfer: แต่ละอย่างทำงานยังไงจริง ๆ
Face swap, เปลี่ยนชุด, และ style transfer มักถูกจับรวมกันไว้ใต้ป้าย "AI editing" ที่คลุมเครือ แต่จริง ๆ แล้วเป็นสามกระบวนการทางเทคนิคที่ต่างกัน สร้างบนสถาปัตยกรรมโมเดลที่ต่างกัน มีจุดแข็งและรูปแบบการล้มเหลวต่างกัน เทมเพลตของเราครอบคลุมทั้งสามหมวดนี้ จึงคุ้มค่าที่จะอธิบายตรง ๆ ว่าแต่ละเทคนิคทำอะไรอยู่จริง ๆ เบื้องหลัง — ไม่ใช่ในฐานะข้อความการตลาด แต่เป็นการเปรียบเทียบเชิงเทคนิคแบบตรงไปตรงมาว่าแต่ละเทคนิคเก่งเรื่องอะไร และยังพังตรงไหนอยู่
สร้างตัวละครสมมติFace swap: ออโต้เอนโค้ดเดอร์แบบแชร์เอนโค้ดเดอร์ ไม่ใช่แค่แปะรูปธรรมดา
เทคโนโลยี face swap แบบคลาสสิก — เทคนิคที่คำว่า "deepfake" ถูกบัญญัติขึ้นมาแต่แรก — ทำงานบนสถาปัตยกรรมออโต้เอนโค้ดเดอร์ (autoencoder) แบบแชร์เอนโค้ดเดอร์: เอนโค้ดเดอร์ตัวเดียวบีบอัดทั้งใบหน้าต้นทางและปลายทางให้อยู่ในการแทนค่าแฝง (latent representation) ร่วมกัน จากนั้นดีโค้ดเดอร์แยกกันสองตัวจะสร้างใบหน้าแต่ละแบบกลับมา — ตัวหนึ่งฝึกด้วยตัวตนต้นทาง อีกตัวฝึกด้วยตัวตนปลายทาง การสลับว่าจะใช้ดีโค้ดเดอร์ไหนทำให้ลักษณะของตัวตนต้นทางถูกสร้างขึ้นใหม่ในท่าทางและสีหน้าของปลายทาง แล้วผลลัพธ์จะถูกผสานเข้ากับเฟรมโดยรอบ (มักผ่านเทคนิค Poisson image editing) เพื่อไม่ให้เห็นรอยต่อ หลายการทำงานยังเพิ่มขั้นตอนปรับแต่งด้วย GAN ทับไปอีกชั้น เพื่อเพิ่มความสมจริงของภาพถ่ายเท่านั้น เทคนิคนี้แข็งแรงในการรักษาความเป็นตัวตนที่สม่ำเสมอตลอดหลายเฟรมของวิดีโอ แต่อ่อนแอเมื่อเจอมุมสุดขั้ว การบัง หรือแสงที่ไม่ตรงกันระหว่างต้นทางกับปลายทาง — ร่องรอยที่ขอบการผสานภาพและแสงที่ไม่ตรงกันคือสัญญาณที่มองเห็นได้บ่อยที่สุด
เปลี่ยนชุด: คือ inpainting ไม่ใช่เอ็กซเรย์ที่ซ่อนอยู่
เครื่องมือเปลี่ยนชุดทำงานบนกระบวนการที่ต่างออกไปโดยสิ้นเชิง คือ image inpainting ขั้นตอน segmentation จะสร้างมาสก์บริเวณที่ต้องการเปลี่ยน จากนั้นโมเดล diffusion จะสร้างพิกเซลในส่วนที่ถูกมาสก์ขึ้นใหม่เท่านั้น ผ่านกระบวนการลดสัญญาณรบกวนซ้ำ ๆ โดยอิงจากภาพโดยรอบและพรอมต์ข้อความหรือภาพอ้างอิง — ไม่มีอะไรที่ซ่อนอยู่ถูกเปิดเผยออกมา มันคือการเดาพิกเซลใหม่ที่มีความเป็นไปได้ทางสถิติเท่านั้น วิธีการแบบเก่าใช้ GAN ที่บิดเสื้อผ้าให้เข้ากับรูปร่างก่อน แล้วค่อยสร้างภาพผสม วิธีนี้รักษาลายผ้าที่แม่นยำได้ดี แต่ปรับตัวเข้ากับท่าทางหรือพื้นหลังที่ไม่คุ้นเคยได้ไม่ดี ส่วน inpainting แบบ diffusion ซึ่งเป็นวิธีที่พบได้บ่อยกว่าในเครื่องมือรุ่นใหม่ ฝึกได้เสถียรกว่าและปรับตัวเข้ากับท่าทางได้หลากหลายกว่า แลกกับความแม่นยำของสีและลายผ้าในบริเวณที่สร้างขึ้นบ้าง (เราเคยเขียนวิเคราะห์เชิงเทคนิคเชิงลึกเกี่ยวกับกระบวนการนี้โดยเฉพาะไว้ในบทความอื่น — ที่นี่จึงขอเขียนสั้น ๆ เพราะเป็นเพียงหนึ่งในสามเทคนิคที่เปรียบเทียบกัน)
Style transfer: สองยุคของไอเดียเดียวกัน
Style transfer รวมสองวิธีที่ต่างกันจริง ๆ ไว้ใต้ชื่อเดียวกัน neural style transfer แบบคลาสสิกจะปรับสถิติของ feature map ใน CNN (Gram matrix) ให้เหมาะสม เพื่อนำภาพสไตล์อ้างอิงที่เจาะจงไปใช้กับภาพเนื้อหา — ต้องใช้ภาพตัวอย่างจริง และโดยพื้นฐานแล้วเรียนรู้ทีละสไตล์เดียว ส่วนการสร้างภาพแบบ img2img ที่ใช้ diffusion ทำงานต่างออกไป: พรอมต์ข้อความอธิบายสไตล์เป้าหมายโดยตรง การตั้งค่าความแรงของการลดสัญญาณรบกวนควบคุมว่าองค์ประกอบเดิมจะเหลืออยู่มากแค่ไหน และเนื่องจากคลังคำศัพท์ของสไตล์ถูกฝังอยู่ในการฝึกของโมเดลฐานอยู่แล้ว จึงไม่ต้องมีขั้นตอนฝึกแยกต่างหากสำหรับสไตล์ใหม่ ความยืดหยุ่นนี้ก็เป็นข้อแลกเปลี่ยนเช่นกัน — สไตล์ที่ขับเคลื่อนด้วยพรอมต์จะหลวมกว่าและทำซ้ำได้แม่นยำน้อยกว่าการปรับให้เหมาะกับภาพอ้างอิงที่เจาะจงเพียงภาพเดียว
แต่ละเทคนิคพังตรงไหน และการตรวจจับทำงานยังไงจริง ๆ
แต่ละเทคนิคล้มเหลวในแบบที่เป็นเอกลักษณ์เฉพาะตัว: face swap มีปัญหาที่ขอบการผสานภาพและเมื่อแสงไม่ตรงกันหรือมุมศีรษะสุดขั้ว และวิดีโอโดยเฉพาะอาจแสดงอาการกะพริบเฟรมต่อเฟรม; inpainting สำหรับเปลี่ยนชุดมีปัญหาที่ขอบมาสก์ มือ และผ้าที่ถูกบังมาก ๆ; style transfer ที่ความแรงสูงอาจสูญเสียองค์ประกอบเดิมมากจนความแม่นยำของเนื้อหาเสียหาย เครื่องมือตรวจจับทางนิติวิทยาศาสตร์โดยทั่วไปจะมองหาลายนิ้วมือเฉพาะเทคนิคเหล่านี้เป๊ะ ๆ — เช่น ร่องรอยขอบการผสานภาพและความไม่สอดคล้องตามเวลาสำหรับ face swap — แทนที่จะใช้ "ตัวตรวจจับ AI" สากลตัวเดียว อีกแนวทางหนึ่งที่แยกจากการตรวจจับทางนิติวิทยาศาสตร์คือการพิสูจน์แหล่งที่มา (provenance): มาตรฐานอย่าง C2PA (Coalition for Content Provenance and Authenticity สนับสนุนโดยคณะกรรมการกำกับที่มีสมาชิกอย่าง Adobe, Google, Microsoft และ OpenAI) จะแนบบันทึก "content credentials" ที่เซ็นรับรองไว้กับไฟล์ ซึ่งอธิบายแหล่งที่มาและประวัติการแก้ไข — ทำงานคล้ายเอกสารประกอบมากกว่าการสแกนทางนิติวิทยาศาสตร์ แต่จะช่วยได้ก็ต่อเมื่อมีเครื่องมือที่เขียนบันทึกนั้นจริง ๆ และบันทึกนั้นอยู่รอดจนถึงจุดที่มีคนตรวจสอบ ซึ่งปัจจุบันยังไม่สม่ำเสมอ
แพลตฟอร์มอย่าง Uncutly ขีดเส้นไว้ตรงไหน ไม่ว่าจะใช้เทคนิคไหน
ไม่มีเทคนิคทั้งสามข้างต้นเทคนิคใดที่เป็นเครื่องมือสำหรับแก้ไขรูปของบุคคลจริงโดยธรรมชาติ — มันคือวิธีการสร้างภาพทั่วไปที่สามารถชี้ไปยังอินพุตที่ต่างกันได้ เทมเพลตของ Uncutly ใช้ส่วนหนึ่งของเทคโนโลยีนี้เพื่อสร้างตัวละคร AI สมมติดั้งเดิมใหม่ นโยบายเนื้อหาของแพลตฟอร์มห้ามการสร้างเนื้อหาใด ๆ ที่อิงจากรูปลักษณ์จริงของบุคคลจริงที่ระบุตัวตนได้โดยไม่ได้รับความยินยอมโดยเด็ดขาด ไม่ว่าเทคนิคเบื้องหลังเหล่านี้จะทำอะไรได้บ้างในทางหลักการ นี่คือทางเลือกด้านนโยบายและสถาปัตยกรรมที่วางอยู่บนเทคโนโลยีทั่วไป ไม่ใช่ข้อจำกัดทางเทคนิคของตัวเทคโนโลยีเอง
FAQ
ความแตกต่างทางเทคนิคจริง ๆ ระหว่าง face swap กับเปลี่ยนชุดคืออะไร
Face swap ใช้ออโต้เอนโค้ดเดอร์แบบแชร์เอนโค้ดเดอร์ (มักเพิ่มขั้นตอนปรับแต่งด้วย GAN) เพื่อสร้างลักษณะของตัวตนหนึ่งขึ้นใหม่ในท่าทางและสีหน้าของอีกตัวตนหนึ่ง เปลี่ยนชุดใช้ image inpainting — บริเวณที่ถูกมาสก์จะถูกสร้างขึ้นใหม่โดยโมเดล diffusion โดยอิงจากภาพโดยรอบ นี่คือตระกูลโมเดลที่ต่างกันซึ่งแก้ปัญหาต่างกัน ไม่ใช่เทคนิคเดียวกันที่นำไปใช้กับเนื้อหาต่างกัน
Diffusion ดีกว่าวิธีที่ใช้ GAN เสมอหรือไม่
ไม่เสมอไป — มันคือข้อแลกเปลี่ยน ไม่ใช่การอัปเกรดที่ดีกว่าเสมอ โมเดล diffusion มักฝึกได้เสถียรกว่าและปรับตัวเข้ากับท่าทางหรือฉากที่ไม่เคยเห็นได้ดีกว่า ในขณะที่วิธีแบบ GAN สามารถรักษาลายผ้าที่แม่นยำและรายละเอียดปลีกย่อยได้ซื่อตรงกว่าในบริเวณที่มันถนัด จะใช้แบบไหนขึ้นอยู่กับว่ากระบวนการนั้น ๆ กำลังปรับให้เหมาะสมกับอะไร
เนื้อหาแบบ face swap หรือเปลี่ยนชุดสามารถถูกตรวจจับได้อย่างน่าเชื่อถือหรือไม่
ไม่ใช่ในทุกกรณี การตรวจจับทางนิติวิทยาศาสตร์มองหาลายนิ้วมือเฉพาะเทคนิค — ร่องรอยขอบการผสานภาพ ความไม่สอดคล้องระหว่างเฟรมในวิดีโอ ข้อผิดพลาดที่ขอบมาสก์ — และความแม่นยำแตกต่างกันมากขึ้นอยู่กับโมเดลที่ใช้และวิธีที่ไฟล์ถูกบีบอัดหรืออัปโหลดซ้ำในภายหลัง นี่คือเป้าหมายที่เคลื่อนไหวอยู่ตลอดเวลาจากทั้งสองฝ่าย ไม่ใช่ปัญหาที่แก้ไขได้แล้ว
C2PA คืออะไร และหยุด deepfake ได้ไหม
C2PA คือมาตรฐานการพิสูจน์แหล่งที่มาของเนื้อหา — บันทึกที่เซ็นรับรองแนบไปกับไฟล์ ซึ่งอธิบายแหล่งที่มาและประวัติการแก้ไข สนับสนุนโดยคณะกรรมการกำกับที่มีบริษัทเทคโนโลยีและ AI รายใหญ่รวมอยู่ด้วย มันไม่ได้ตรวจจับหรือบล็อกอะไรด้วยตัวเอง มันช่วยแค่ยืนยันแหล่งที่มาในกรณีที่มีเครื่องมือเขียนบันทึกนั้นจริง ๆ และบันทึกนั้นอยู่รอดจนถึงจุดที่มีคนตรวจสอบ ซึ่งปัจจุบันยังไม่สม่ำเสมอ
Uncutly ใช้เทคโนโลยี face swap กับรูปของบุคคลจริงหรือไม่
ไม่ใช่ เทมเพลตของ Uncutly ใช้ส่วนหนึ่งของเทคโนโลยีนี้เพื่อสร้างตัวละคร AI สมมติดั้งเดิมใหม่ และนโยบายของแพลตฟอร์มห้ามการสร้างเนื้อหาที่อิงจากรูปลักษณ์จริงของบุคคลจริงที่ระบุตัวตนได้โดยไม่ได้รับความยินยอมโดยเด็ดขาด — กฎนี้บังคับใช้ไม่ว่าโมเดลเบื้องหลังจะทำอะไรได้จริงในทางเทคนิค
เทมเพลต NSFW ยอดนิยม
