AI ของ Microsoft ลงสีในวีดีโอได้สมจริงจากภาพอ้างอิงเพียงรูปเดียว

0

การลงสีในฟิล์มอาจเป็นรูปแบบงานศิลปะอย่างหนึ่ง แต่โมเดล AI ก็เรียนรู้ได้ โดยสามารถลงสีในวีดีโอได้จากตัวอย่างภาพอ้างอิงเพียงรูปเดียว

ในงานวิจัยของ Microsoft Research Asia แผนก AI Perception and Mixed Reality จาก Microsoft ร่วมกับ Hamad Bin Khalifa University และ USC’s Institute for Creative Technologies ให้รายละเอียดไว้ว่า AI สามารถแปลงคลิปวีดีโอขาวดำให้เป็นวีดีโอมีสีได้ จากการอิงข้อมูลจากตัวอย่างภาพได้อัตโนมัติ

การลงสีด้วย AI ไม่ใช่เรื่องแปลกใหม่แต่อย่างใด เมื่อเดือนกันยายนปีที่แล้ว นักวิจัยจาก Nvidia ได้อธิบายถึงเฟรมเวิร์คที่ใช้เฟรมวีดีโอมีสีเฟรมเดียวเป็นชุดข้อมูลอ้างอิง และในเดือนมิถุนายน Google AI ก็สร้างอัลกอริธึมที่ลงสีวีดีโอขาวดำโดยไม่มีคนกำกับ แต่ผลลัพธ์ที่ได้ยังมีข้อผิดพลาดและดูไม่แนบเนียนเพราะต้องใช้วีดีโออินพุตที่ยาวกว่านี้

วิธีที่นักวิจัยใช้เพื่อแก้ไขข้อบกพร่องนี้คือ การนำผลลัพธ์จากเฟรมวีดีโอก่อนหน้ามาเป็นอินพุตและลงสีโดยใช้ภาพอ้างอิง ซึ่งภาพดังกล่าวจะเป็นตัวชี้แนะการลงสีแบบเฟรมต่อเฟรมและลดข้อผิดพลาดลงไป ดังนั้น ระบบก็จะสามารถคาดเดาสีแบบธรรมชาติได้แม้ว่าภาพในวีดีโอกับภาพอ้างอิงจะไม่ได้ตรงกัน

ทีมวิจัยรวบรวมชุดข้อมูลฝึกจากคลังโอเพ่นซอร์ส Videvo และคัดวีดีโอที่สีมืดหรือซีดออกไป คงเหลือแค่วีดีโอ 768 ชุด และในแต่ละวีดีโอก็แยกออกมาเป็น 25 เฟรม และขยายหมวดชุดข้อมูลกับรูปภาพจาก ImageNet จึงได้ผลลัพธ์ออกมาเป็นวีดีโอ 70,000 คลิปในหมวดต่างๆ

ในการทดสอบ ระบบได้ให้ความแม่นยำระดับ Top-5 และ Top-1 ใน ImageNet โดยรวมแล้ว ผลลัพธ์ที่ได้นั้นแสดงสีในวีดีโอได้คล้ายกับความจริง และพบว่าวิธีนี้แสดงสีได้สดกว่าในแต่ละเฟรมและดูแนบเนียนกว่าเมื่อเทียบกับวิธีอื่นๆ