อาจจะคิดว่ามันคือการถ่ายโอนสไตล์การเต้นก็ได้ โดยอัลกอริทึม deep learning นี้สามารถที่จะแสดงให้คนจริงๆ นั้นเห็นการจำลองให้เห็นตัวเองเคลื่อนไหวเหมือนกับนักเต้นที่ชื่นชอบได้
โดยงานนี้ได้ถูกพัฒนาโดยทีมนักวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ (University of California Berkeley) ซึ่งทำให้ใครก็ตามแสดงให้เห็นตัวกลายเหมือนเป็นนักเต้นระดับโลกหรือซูปเปอร์สตาร์เพลงป๊อปอย่าง Bruno Mars
“ด้วยเฟรมเวิร์กของพวกเรา พวกเราสร้างวีดีโอต่างๆ ที่หลากหลาย ซึ่งทำให้คนทั่วไปที่ไม่ได้ฝึกมาก่อนนั้นสามารถที่จะหมุน (spin) และบิด (twirl) ได้อย่างนักเต้นระบำ หรือเตะแบบ martial art หรือเต้นแบบสนุกๆ ได้อย่างป๊อปสตาร์” นักวิจัยกล่าวในงานตีพิมพ์ “โดยใช้การตรวจจับท่าทางเป็นเสมือนตัวกลางระหว่างต้นทาง (source) และปลายทาง (target) พวกเราจึงสามารถจับคู่จากภาพท่าทางไปที่การแสดงออกของคนปลายทางได้” ทีมงานอธิบาย
โดยทีมงานได้เทรนโครงข่าย Conditional Generative Adversarial Network เป็นครั้งแรกบนเฟรมเวิร์ก PyTorch กับข้อมูลวีดีโอของนักเต้นทั่วไปที่มีท่าทางที่แตกต่างกันไปด้วยวีดีโอเฟรม 120 เฟรมต่อวินาที โดยแต่ละคนนั้นให้เต้นอย่างน้อย 20 นาที จากนั้นทีมจึงคัดแยกข้อมูลจุดท่าทางที่สำคัญสำหรับร่างกาย ใบหน้า และมือ โดยใช้สถาปัตยกรรมที่เป็นระบบตรวจจับท่าทางที่เป็น state of the art ในปัจจุบันอย่าง OpenPose มาดำเนินการต่อ และสำหรับการแปลภาพนั้น ทีมงานได้อิงอัลกอริทึมของพวกเขากับสถาปัตยกรรมของ pix2pixHD ซึ่งพัฒนาโดยนักวิจัย NVIDIA
“โดยเบื้องต้น โมเดลของพวกเรานั้นสามารถที่จะสร้างวีดีโอการเต้นของคนปลายทางด้วยความยาวที่ดูสมเหตุสมผลและดูไร้กฎเกณฑ์ โดยให้ข้อมูลการเคลื่อนไหวของร่างกายของคนปลายทางกับข้อมูลวีดีโอ input อีกอันหนึ่งที่เป็นนักเต้น” ทีมงานกล่าว
นักวิจัยยังยอมรับว่าโมเดลของพวกเขานั้นไม่ได้สมบูรณ์ “ถึงแม้ว่าพวกเราจะพยายามที่จะพยายามใส่ temporal coherence เข้าไปผ่านการเซ็ตอัพและพยายามที่จะ smooth ตัวข้อมูลคีย์ต่างๆ หากแต่ผลลัพธ์ที่ออกมาของพวกเรานั้นก็มักจะมีอาการสั่น ซึ่ง error ที่เกิดขึ้นนี้มักจะเกิดขึ้นเฉพาะกับวีดีโอ input ที่มีความเร็วในการเคลื่อนที่นั้นแตกต่างจากการเคลื่อนที่ที่โมเดลได้เห็นในช่วงการเทรน” ทีมงานอธิบาย ซึ่งเพื่อแก้ไขปัญหานี้ ทีมงานจึงกำลังดำเนินการเพิ่มเติมโดยใช้เฟรมเวิร์กการประมาณท่าทางที่แตกต่างกันต่อไปเพื่อที่จะ optimize ในส่วนการถ่ายโอนการเคลื่อนไหว
หากใครสนใจรายละเอียดเพิ่มเติม สามารถดูรายละเอียดงานวิจัยนี้โดยถูกตีพิมพ์ไว้ที่ ArXiv
Source : https://news.developer.nvidia.com/ai-can-transform-anyone-into-a-professional-dancer/
