นักวิจัยที่มหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ (University of California Berkeley) ได้สร้างเฟรมเวิร์กสำหรับการเทรนระบบปัญญาประดิษฐ์ (Artificial Intelligence) เพื่อเรียนรู้การเคลื่อนไหว (motion) จากวีดีโอที่นำมาแสดงบน YouTube ได้
โดยเฟรมเวิร์กได้รวมเรื่อง Computer Vision และ Reinforcement Learning เพื่อที่จะเทรนทักษะ AI จากวีดีโอ ด้วยการรวมกันนี้ทำให้ทีมงานสามารถที่จะเทรนระบบ AI เพื่อที่จะทำท่าทางกายกรรมต่างๆ ได้ 20 แบบอย่างเช่น การกลิ้ง ตีลังกาใช้สองมือยันพื้น ตีลังกากลับหลัง และท่า martial art บางท่า
วิธีการดังกล่าวนี้ไม่ได้ต้องการใช้ข้อมูลวีดีโอ motion capture หรืออะไรที่จะต้องใช้การถ่ายทอดท่าทางของมนุษย์มาที่รูปแบบของดิจิทัลแต่อย่างใดเหมือนตัวอย่างก่อนหน้านี้ เช่นการเคลื่อนไหวของ LeBron James ที่เข้าไปอยู่ใน NBA 2K18 หรือการแสดงของ Andy Serkis ที่เป็นกอลลัมในภาพยนตร์ Lord of the Rings
เฟรมเวิร์กนี้ดำเนินการโดยรับเอาวีดีโอเข้าไปเพื่อเข้าใจท่าทาง (pose) ที่พบเห็นในแต่ละเฟรมในวีดีโอ จากนั้นตัวละครจำลองที่ถูกเทรนเพื่อเลียนแบบท่าทางการเคลื่อนไหวโดยใช้ reinforcement learning จะถูกสร้างขึ้นมา ซึ่งระบบยังสามารถที่จะรับเอาภาพภาพหนึ่งที่มีท่าทางของคนอยู่ในนั้นแล้วนำไปทำนายผลลัพธ์ที่ดูน่าจะเป็นไปได้ว่าท่าทางนั้นจะออกมาเป็นอย่างไรได้อีกด้วย
ทักษะการเรียนรู้โดยตรงจากวีดีโอนั้นสามารถที่จะนำเอาไปใช้ซ้ำในตัวละครและทรัพยาการที่แตกต่างกันได้ โดยหนึ่งในนั้นคือเพื่อเทรนการจำลองของ Atlas หุ่นยนต์ humanoid จาก Boston Dynamics ที่สามารถดึงดูกความสนใจระดับโลกได้เมื่อปีที่แล้วที่สามารถทำการกระโดดกลับหลังได้
“ทั้งหมดทั้งมวลนี้ เฟรมเวิร์กของพวกเรานั้นเป็นวิธีการที่ชัดเจนที่สุดที่ใครก็ตามสามารถคิดถึงได้เมื่อต้องจัดการกับปัญหาในการเลียนแบบวีดีโอ โดยกุญแจสำคัญคือการแยกส่วนปัญหาต่างๆ ไปเป็น component ที่สามารถจัดการได้ดียิ่งขึ้น แล้วเลือกวิธีการที่ถูกต้องสำหรับ component เหล่านั้น และเชื่อมรวมกันได้อย่างมีประสิทธิภาพ” ผู้เขียนงานวิจัย คุณ Jason (Xue Bin) Peng และ Angjoo Kanazawa กล่าวในบล็อคโพส Berkeley AI Research “อย่างไรก็ดี ทักษะการเลียนแบบจากวีดีโอนั้นยังคงเป็นปัญหาที่ท้าทายอย่างมาก และยังคงวีดีโอคลิปอีกจำนวนมากที่พวกเรายังไม่สามารถจะเลียนแบบสร้างขึ้นมาใหม่ เช่น เสต็ปการเต้น Nimble dance อย่างคลิป Gangnam style ซึ่งยังคงยากที่จะเลียนแบบ”
