ในการลงสีให้กับคลิปวีดีโอขาวดำให้กลายเป็นคลิปสีนั้นเป็นงานที่ต้องใช้แรงงานอย่างหนักและเป็นกระบวนการที่น่าเบื่อ แต่ตอนนี้อัลกอริทึมที่ใช้ deep learning ใหม่ที่สร้างโดยนักวิจัยจาก NVIDIA นั้นได้ทำให้กระบวนการนี้ง่ายขึ้นมาก โดยเฟรมเวิร์กใหม่นี้ได้ทำให้ศิลปินสามารถใส่สีในเฟรมใดเฟรมหนึ่งแล้วระบบ AI จะจัดการใส่สีให้กับซีนที่เหลือได้อย่าง real time
“วีดีโอนั้นมีข้อมูลที่ซ้ำซ้อนกันอย่างมากในแต่ละเฟรม โดยความซ้ำซ้อนที่ว่านี้ได้รับการศึกษากันอย่างมากในการทำบีบอัดและเข้ารหัสวีดีโอ หากแต่การค้นหาวิธีการประมวลผลวีดีโอให้มีประสิทธิภาพสูงขึ้นนั้นยังดำเนินการกันน้อยอยู่ อย่างเช่น การใส่สีเข้าไปในวีดีโอ” คุณ Sifei Liu นักวิจัยที่ NVIDIA และผู้เขียนงานวิจัยนี้กล่าว “ตอนนี้การใส่สีลงไปในวีดีโอตัวเต็มนั้นสามารถดำเนินการได้ง่ายโดยการ annotate ในบางจุดของเฟรมที่เป็นคีย์หลักบางเฟรมเท่านั้น” คุณ Liu กล่าว
โดยระบบโครงข่าย Convolutional Neural Network นั้นสามารถอ้างถึงสีต่างๆ ที่ควรจะเป็นจากเฟรมที่ใส่สีไว้แล้ว 1 เฟรม แล้วใส่สีลงไปเองในเฟรมที่เหลือ ซึ่งสิ่งที่ทำให้งานนี้มีความแตกต่างคือผลลัพธ์การใส่สีนั้นสามารถดำเนินการได้สำเร็จโดยวิธีการที่มีปฏิสัมพันธ์กับผู้ใช้ได้เลย โดยผู้ใช้ annotate เพียงแต่ส่วนหนึ่งของภาพ แล้วผลลัพธ์ก็จะได้ออกมาเป็นผลิตภัณฑ์ได้เลย
โดยคุณ Liu ละทีมงานได้เทรนโครงข่าย hybrid นี้กับวีดีโอหลายร้อยวีดีโอจากหลายๆ dataset เพื่อข้อมูลสี HDR และ mask propagation โดยการนำข้อมูลตัวอย่างของสี และ mask propagation นั้นจึงทำให้เธอนั้นเทรนโมเดลกับเฟรมที่สังเคราะห์ขึ้นมาจากข้อมูล dataset ของ MS-COCO จากนั้นจึง fine tune โครงข่ายบนข้อมูล dataset ACT ซึ่งมีวีดีโอถึง 7,260 วีดีโอหรือประมาณ 600,000 เฟรม
คุณ Liu กล่าวว่าเฟรมเวิร์กนั้นสามารถทำงานได้อย่างรวดเร็วและสามารถดำเนินการได้อย่าง real-time โดยวิธีการนี้ยังสามารถให้ผลลัพธ์ได้ดีกว่าวิธีการที่เป็น state-of-the-art ก่อนหน้านี้อีกด้วย
“ภาพนั้นมีจำนวน artifact ที่้น้อยกว่า และจำนวนสีก็มีชีวิตชีวามากกว่า” คุณ Liu กล่าว “STPN นั้นได้ให้วิธีการทั่วๆ ไปสำหรับการกระจายข้อมูลไปกับเวลาในวีดีโอ โดยในอนาคตพวกเราจะค้นหาวิธีการที่จะรวมเข้ากับการมองเห็นระดับ mid level และ high level อย่างเช่นการตรวจจับ (detection) ติดตาม (tracking) การตัดแบ่งส่วนตามความหมาย (semantic segmentation) สำหรับ temporal propagation” คุณ Liu และทีมกล่าวไว้ในงานวิจัยตีพิมพ์
Source : https://news.developer.nvidia.com/ai-can-convert-black-and-white-clips-into-color/
