ระบบ AI แปลงภาพวาดและรูปให้กลายเป็นแอนิเมชันได้แล้ว

0
https://news.developer.nvidia.com/wp-content/uploads/2019/01/feature_picasso.gif

นักวิจัยจากมหาวิทยาลัยวอชิงตัน (University of Washington) และ Facebook ได้ร่วมกันตีพิมพ์งานวิจัยที่แสดงให้เห็นว่าระบบ deep learning นั้นสามารถที่จะแปลงภาพหรือภาพวาดนิ่งๆ ให้กลายเป็นแอนิเมชันได้แล้ว โดยอัลกอริทึมนี้มีชื่อเรียกว่า Photo Wake-Up ซึ่งเป็นการใช้ระบบโครงข่าย Convolutional Neural Network ในการทำให้คนหรือตัวละครในภาพนิ่งกลายมาเป็นตัวละครสามมิติที่ดูมีชีวิตขึ้นมาได้

“วิธีการของพวกเราสามารถใช้งานได้กับภาพที่ถ่ายเต็มตัวได้อย่างหลากหลาย ไม่ว่าจะเป็นภาพกีฬา ภาพศิลปะ หรือภาพโปสเตอร์” นักวิจัยกล่าวไว้ในงานตีพิมพ์ “นอกจากนี้ ผู้ใช้ยังสามารถแก้ไขภาพสามมิติที่สร้างขึ้นมาได้ และสามารถทำให้กลายเป็น Augmented Reality (AR) ได้ด้วย

เพื่อที่จะแสดงให้เห็นศักยภาพของอัลกอริทึมดังกล่าว ทางทีมวิจัยจึงใช้ภาพวาดแบบขีดเขียน (graffiti) ภาพตัวละครการ์ตูน ภาพนักกีฬา NBA คุณ Stephen Curry และภาพวาดของปิกัสโซ มาทดสอบให้เห็นผลลัพธ์ของอัลกอริทึมดังกล่าว

โดยประเด็นของงานนี้คือวิธีการที่แตกต่างที่ทำให้นักวิจัยสามารถตัดภาพตัวละครออกมาจากภาพ 2 มิติได้อย่างดีมากๆ จึงทำให้อัลกอริทึมสามารถสร้าง mesh สามมิติที่สามารถ animate เคลื่อนไหวได้เหมือนกับตัวละครในภาพได้

ทีมนักวิจัยได้ใช้เฟรมเวิร์ก PyTorch ในงานวิจัยนี้โดยใช้ pre-trained model ที่เรียกว่า SMPL ซึ่งเป็นโมเดลที่ถูกสร้างโดยทีม Microsoft และสถาบัน Max Planck Institute for Intelligent Systems ในประเทศเยอรมนี

https://news.developer.nvidia.com/wp-content/uploads/2019/01/Screen-Shot-2019-01-08-at-11.15.45-AM.png

ตามที่แสดงในภาพด้านบน ตัวซอฟต์แวร์จะเริ่มตัดส่วนของร่างกายคนหรือตัวละครจากในภาพก่อนแล้วจึงเพิ่มเติมข้อมูลเข้าไปให้กลายเป็นก้อน mesh สามมิติที่จะสามารถนำมาใช้ animate เพื่อทำให้ภาพหรือภาพวาดนั้นดูมีชีวิตขึ้นมา

“พวกเราเชื่อว่าวิธีการนี้ไม่ได้เป็นเพียงแค่รทำให้พบกับแนวทางใหม่สำหรับผู้คนชื่นชอบความสนุกสนานที่จะปฏิสัมพันธ์กับภาพเพียงเท่านั้น หากแต่ยังเป็นการแนะนำวิธีการอีกแนวหนึ่งที่จะสร้างตัวละครเสมือนขึ้นมาได้จากภาพนิ่ง และยังให้ข้อมูลเชิงลึกเป็น state of the art ในการทำด้าน human modeling จากภาพนิ่งเพียงภาพเดียวได้” นักวิจัยกล่าว

โดยงานวิจัยนี้ได้ตีพิมพ์ลงไป ArXiv และยังเปิดเผยในเว็บไซต์ของทีมงานเองด้วย

Source : https://news.developer.nvidia.com/transforming-paintings-and-photos-into-animations-with-ai/