ทีมนักวิจัยจาก NVIDIA ได้สร้างระบบ deep learning ที่สามารถสร้างวีดีโอ slow motion คุณภาพสูงจากวีดีโอที่มี 30 fps หรือ 30 เฟรมต่อวินาทีได้ โดยได้ผลดีกว่าวิธีการต่างๆ ที่เป็น state-of-the-art ในปัจจุบันที่ทำในลักษณะเดียวกันนี้ ซึ่งทีมนักวิจัยจะนำเสนองานของพวกเขาในงานประชุมวิชาการ Computer Vision and Pattern Recognition (CVPR) ที่เมืองซอลต์เลกซิตี (Salt Lake City) รัฐยูทาห์ (Utah)
“ในชีวิตของคุณมีหลายๆ เหตุการณ์ที่น่าจดจำที่คุณต้องการที่จะบันทึกไว้ด้วยกล้องวีดีโอในลักษณะ slow motion เพราะสิ่งนั้นยากที่พวกเขาจะเห็นได้อย่างชัดเจนครบถ้วนด้วยตาของพวกเขา เช่น การเดินครั้งแรกของลูก การเล่นสเกตบอร์ดท่ายาก สุนัขจับลูกบอล” นักวิจัยเขียนในงานตีพิมพ์ “ในขณะที่มันเป็นไปได้ที่จะบันทึกวีดีโอแบบ 240 เฟรมต่อวินาทีด้วยโทรศัพท์มือถือ หากแต่การบันทึกทุกสิ่งด้วยเฟรมเรทสูงนั้นไม่มีประสิทธิภาพที่จะนำมาใช้งานจริงได้ อีกทั้งยังต้องการหน่วยความจำ (memory) ขนาดใหญ่และยังต้องกินพลังงานสูงสำหรับอุปกรณ์โทรศัพท์อีกด้วย” ทีมวิจัยกล่าว ซึ่งด้วยงานวิจัยใหม่นี้ ผู้ใช้งานจะสามารถทำให้วีดีโอที่บันทึกไว้แล้วสามารถแสดงผลได้ช้าลง
โดยทีมวิจัยใช้เฟรมเวิร์ก PyTorch ในการเทรนระบบโครงข่าย Convolutional Neural Network ของพวกเขาบนข้อมูลประมาณ 11,000 วีดีโอซึ่งเกี่ยวกับกิจกรรมชีวิตประจำวันและกีฬาที่เฟรมเรท 240 เฟรมต่อวินาที โดยทีมงานได้แยกข้อมูล dataset สำหรับ validate ความถูกต้องของระบบพวกเขาด้วย ซึ่งเมื่อเทรนเสร็จสิ้นแล้วทดสอบพบว่าโครงข่ายนั้นสามารถทำนายเฟรมเพิ่มเติมขึ้นมาได้ และสามารถสร้างวีดีโอที่มีเฟรมเรทต่ำกว่าที่ดูลื่นไหลและเบลอน้อยกว่าได้อีกด้วย
“วิธีการของพวกเราสามารถสร้างเฟรมคั่นกลาง (intermediate) หลายๆ เฟรมขึ้นมาที่จะเป็นส่วนเชื่อมโยงเชิงตำแหน่งชั่วคราว” นักวิจัยกล่าว “ด้วยวิธี multi-frame ของพวกเราสามารถได้ผลดีกว่าวิธีการ state-of-the-art อื่นๆ แบบ single frame ได้สอดคล้องกันหมด”
ในการช่วยจำลองงานวิจัย ทีมวิจัยนำซีรีย์คลิปวีดีโอจาก The Slow Mo Guys ซึ่งเป็นซีรีย์บน YouTube ที่ทำวีดีโอ slow motion ในเชิงวิทยาศาสตร์และเทคโนโลยีที่สร้างโดยคุณ Gavin Free ซึ่งนำแสดงเองร่วมกับเพื่อนของเขาคุณ Daniel Gruchy ซึ่งทีมวิจัยก็นำวีดีโอเหล่านั้นมาทำให้ช้าลงไปอีก
วิธีการนี้สามารถใช้กับวีดีโอจากชีวิตประจำวันที่มีช่วงเวลาที่ล้ำค่าที่สุดแล้วทำให้ช้าลงเพื่อทำให้เหมือนเป็นฉาก slow motion ซึ่งจะเพิ่มความน่าสงสัย เน้นจุดสำคัญและรอคอยอย่างคาดหวังเหมือนในหนังที่คุณชอบได้
Source : https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/