นักวิจัยจากมหาวิทยาลัยวอชิงตัน (University of Washington) และ Facebook ได้ร่วมกันตีพิมพ์งานวิจัยที่แสดงให้เห็นว่าระบบ deep learning นั้นสามารถที่จะแปลงภาพหรือภาพวาดนิ่งๆ ให้กลายเป็นแอนิเมชันได้แล้ว โดยอัลกอริทึมนี้มีชื่อเรียกว่า Photo Wake-Up ซึ่งเป็นการใช้ระบบโครงข่าย Convolutional Neural Network ในการทำให้คนหรือตัวละครในภาพนิ่งกลายมาเป็นตัวละครสามมิติที่ดูมีชีวิตขึ้นมาได้
“วิธีการของพวกเราสามารถใช้งานได้กับภาพที่ถ่ายเต็มตัวได้อย่างหลากหลาย ไม่ว่าจะเป็นภาพกีฬา ภาพศิลปะ หรือภาพโปสเตอร์” นักวิจัยกล่าวไว้ในงานตีพิมพ์ “นอกจากนี้ ผู้ใช้ยังสามารถแก้ไขภาพสามมิติที่สร้างขึ้นมาได้ และสามารถทำให้กลายเป็น Augmented Reality (AR) ได้ด้วย
เพื่อที่จะแสดงให้เห็นศักยภาพของอัลกอริทึมดังกล่าว ทางทีมวิจัยจึงใช้ภาพวาดแบบขีดเขียน (graffiti) ภาพตัวละครการ์ตูน ภาพนักกีฬา NBA คุณ Stephen Curry และภาพวาดของปิกัสโซ มาทดสอบให้เห็นผลลัพธ์ของอัลกอริทึมดังกล่าว
โดยประเด็นของงานนี้คือวิธีการที่แตกต่างที่ทำให้นักวิจัยสามารถตัดภาพตัวละครออกมาจากภาพ 2 มิติได้อย่างดีมากๆ จึงทำให้อัลกอริทึมสามารถสร้าง mesh สามมิติที่สามารถ animate เคลื่อนไหวได้เหมือนกับตัวละครในภาพได้
ทีมนักวิจัยได้ใช้เฟรมเวิร์ก PyTorch ในงานวิจัยนี้โดยใช้ pre-trained model ที่เรียกว่า SMPL ซึ่งเป็นโมเดลที่ถูกสร้างโดยทีม Microsoft และสถาบัน Max Planck Institute for Intelligent Systems ในประเทศเยอรมนี
ตามที่แสดงในภาพด้านบน ตัวซอฟต์แวร์จะเริ่มตัดส่วนของร่างกายคนหรือตัวละครจากในภาพก่อนแล้วจึงเพิ่มเติมข้อมูลเข้าไปให้กลายเป็นก้อน mesh สามมิติที่จะสามารถนำมาใช้ animate เพื่อทำให้ภาพหรือภาพวาดนั้นดูมีชีวิตขึ้นมา
“พวกเราเชื่อว่าวิธีการนี้ไม่ได้เป็นเพียงแค่รทำให้พบกับแนวทางใหม่สำหรับผู้คนชื่นชอบความสนุกสนานที่จะปฏิสัมพันธ์กับภาพเพียงเท่านั้น หากแต่ยังเป็นการแนะนำวิธีการอีกแนวหนึ่งที่จะสร้างตัวละครเสมือนขึ้นมาได้จากภาพนิ่ง และยังให้ข้อมูลเชิงลึกเป็น state of the art ในการทำด้าน human modeling จากภาพนิ่งเพียงภาพเดียวได้” นักวิจัยกล่าว
โดยงานวิจัยนี้ได้ตีพิมพ์ลงไป ArXiv และยังเปิดเผยในเว็บไซต์ของทีมงานเองด้วย
Source : https://news.developer.nvidia.com/transforming-paintings-and-photos-into-animations-with-ai/