เราคงเคยเห็นความสามารถของ AI ในการลงสีภาพขาวดำ ทำภาพสามมิติจากรูปธรรมดา และอื่นๆ อีกมากมาย ตอนนี้ AI ยังมีความสามารถใหม่ นั่นคือ การย้ายวัตถุเคลื่อนที่ในวีดีโอออกไปจากฟุตเทจนั้นได้
เทคนิคการตัดต่อย้ายวัตถุออกไปจากวีดีโอนั้นต้องใช้ทักษะและซอฟต์แวร์การตัดต่อวีดีโอเฉพาะทาง และกินเวลาเป็นอย่างมาก แต่โปรเจค Github ทำให้การตัดต่อง่ายขึ้นมาก เพียงวาดกล่องไปบนวัตถุที่ต้องการลบออกไปจากฉากนั้น แล้วที่เหลือก็ปล่อยให้เป็นหน้าที่ของซอฟต์แวร์จัดการเอง
ซอฟต์แวร์นี้สร้างขึ้นโดยนักพัฒนาที่ใช้นามแฝงว่า zllrunning โดยนักพัฒนากล่าวว่า เขาพัฒนาซอฟต์แวร์มาจากโมเดลสำหรับฝึกสองอันคือ SiamMask ที่ใช้ติดตามวัตถุเคลื่อนที่ในวีดีโอ และ Deep Video Inpainting ที่ลบภาพออกจากฟุตเทจ
จากคลิปด้านบนจะเห็นได้ว่า แม้อัลกอริธึมจะลบคนข้ามถนนออกไปจากฉากแล้ว แต่ก็ยังมีจุดที่ทำได้ไม่แนบเนียนนัก เช่น เส้นขาวบนถนนมีการเคลื่อนตัวตามกล้องที่จับภาพวัตถุที่หายไป หรืออย่างกรณีภาพด้านล่างนี้ จะเห็นได้ว่ายังคงเหลือร่องรอยอยู่ในฟุตเทจ
แม้ AI จะลบวัตถุออกไปได้ยังไม่สมบูรณ์แบบนัก แต่ผลลัพธ์ก็ออกมาค่อนข้างน่าประทับใจ จากภาพข้างบน จะเห็นได้ว่ายิ่งพื้นหลังมีความเรียบง่ายมากเท่าใด ผลลัพธ์จะออกมาแนบเนียนมากขึ้นเท่านั้น ปัญหาความไม่แนบเนียนจึงเกิดขึ้นเมื่อพื้นหลังมีความซับซ้อนระดับหนึ่ง