ในเร็วๆ นี้ นักวิจัยได้สร้างระบบ deep learning ตัวแรกที่สามารถโอนถ่ายสิ่งที่นักแสดงคนหนึ่งบนส่วนใบหน้าไปที่อีกคนหนึ่งได้อย่างสมบูรณ์ ไม่ว่าจะเป็นตำแหน่งศีรษะในระดับสามมิติ การแสดงสีหน้าอารมณ์บนใบหน้า (facial expression) และทิศทางการจ้องมองของดวงตา
“การสังเคราะห์และตัดต่อวีดีโอบุคคลหรือวีดีโอที่บันทึกตรงเฉพาะส่วนหัวและสวนร่างกายท่อนบนเท่านั้น นั้นเป็นหนึงในปัญหาที่สำคัญในงานด้านคอมพิวเตอร์กราฟฟิกส์่่ ด้วยแอปพลิเคชันที่ใช้ในการตัดต่อวีดีโอหรือภาพยนตร์หลังการผลิต (post-production) การใส่เอฟเฟค (visual effect) การพากย์เสมือน (visual dubbing) การใส่โลกความจริงเสมือน (virtual reality) และการปรากฎทางไกล (telepresence)” นักวิจัยอธิบายในงานตีพิมพ์ของพวกเขา
โดยทีมวิจัยได้เทรนโครงข่าย Generative Adversarial Network ด้วขข้อมูลคลิปวีดีโอในโดเมนทั่วไปเป็นเวลา 10 ชั่วโมง
“วิธีการของพวกเราทำให้นักแสดงต้นทางสามารถควบคุมทั้งตำแหน่งศีรษะ การแสดงสีหน้า และการเคลื่อนไหวของดวงตาของนักแสดงปลายทางได้อย่างสมบูรณ์ ถึงแม้ว่ารูปร่างใบหน้าอาจจะมีการเปลี่ยนแปลงขนาดไปบ้าง” ทีมอธิบายเพิ่มเติม “โดยทุกๆ มิติเหล่านี้สามารถถูกควบคุมได้ร่วมกันหรือเป็นอิสระก็ได้ โดยเฟรมปลายทางทั้งหมดนั้นรวมไปถึงทั้งส่วนศีรษะและเส้นผมนั้นจะถูกสังเคราะห์ออกมาได้โดยอัตโนมัติทั้งหมด ซึ่งร่างกายท่อนบนของจริงและฉากพื้นหลังนั้นก็จะปฏิบัติสอดคล้องกับศีรษะที่เปลี่ยนแปลงไปด้วย”
งานวิจัยนี้ได้สร้างบนงาน Face2Face ซึ่งได้เคยนำเสนอมาก่อนหน้านี้ในงานสัมมนา GPU Technology Conference โดยระบบอาจมีศักยภาพที่จะนำไปใช้ในแอปพลิเคชันต่างๆ เช่น การสร้างใบหน้าซ้ำๆ (face reenactment) การพากย์เสมือนสำหรับภาพยนตร์ภาษาต่างชาติและภาพยนตร์หลังการผลิต
เมื่อเปรียบเทียบกับวิธีการอื่นๆ แล้ว งานปัจจุบันของพวกเขาสามารถดำเนินการโดยเห็นความแตกต่างได้อย่างชัดเจน โดยนักวิจัยกล่าวว่า “พวกเราได้แสดงให้เห็นผ่านการทดลองต่างๆ และการศึกษาผู้ใช้ที่แสดงให้เห็นว่าวิธีการของพวกเรานั้นมีประสิทธิภาพเหนือกว่างานก่อนๆ หน้าทั้งเรื่องคุณภาพงานและความละเอียดเหนือกว่าความเป็นไปได้ที่ผ่านมา อีกทั้งมันเป็นการเปิดความสามารถในอีกระดับหนึ่งที่สามารถทำไปใช้ในหลายๆ แอปพลิเคชัน อย่างเช่นการสร้างวีดีโอใบหน้าซ้ำๆ ในโลกเสมือน และการ telepresence การตัดต่อวีดีโอแบบ interactive และการทำพากย์เสียง”
งานวิจัยนี้เป็นการรวมตัวกันของนักวิจัยจากสถาบัน Max Planck Institue for Informatics บริษัท Technicolor มหาวิทยาลัยเทคโนโลยีแห่งมิวนิค (Technical University of Munich) มหาวิทยาลัยบาธ (University of Bath) มหาวิทยาลัยแสตนฟอร์ด (Standford University)
