นักวิจัยจากมหาวิทยาลัยเซาเทิร์นแคลิฟอร์เนีย (University of Southern California) บริษัท Pinscreen และ Microsoft ได้ร่วมกันพัฒนาวิธีการ deep learning ที่สามารถสร้างเส้นผมแบบ 3 มิติจากภาพมุมมองเดียวได้อย่าง real time โดยทีมวิจัยกล่าวว่านี้เป็นโครงการแรกใน deep learning ที่สามารถดำเนินการได้
“การสร้างแบบจำลองเส้นผมแบบเสมือนจริงนั้นเป็นหนึ่งในงานที่ยากที่สุดเมื่อต้องการสร้างมนุษย์เสมือนในโลกดิจิทัล” ทีมวิจัยกล่าว “ในทางตรงกันข้าม วัตถุอื่นๆ กลับง่ายต่อการทำ อย่างเช่น ใบหน้ามนุษย์ เนื่องจากเส้นผมนั้นสามารถขยายได้ในช่วงที่กว้างและมีรูปแบบลักษณะที่หลากหลาย อีกทั้งยังมีความซับซ้อนสูงเนื่องจากโครงสร้างเชิงปริมาตรและระดับการเปลี่ยนแปลงรูปร่างของเส้นผมแต่ละเส้น”
โดยทีมวิจัยได้เทรนระบบโครงข่าย Convolutional Neural Network บนเฟรมเวิร์ก PyTorch บนข้อมูล dataset ที่รวบรวมสไตล์ทรงผมที่แตกต่างกันมากถึง 40,000 แบบ และภาพ 2 มิติที่สอดคล้องกับข้อมูลทรงผมที่เรนเดอร์ในมุมมอง random แตกต่างกันไปถึง 160,000 ภาพ
โดยการทำงานของโครงข่ายประสาทเทียม (Neural Network) จะมี 3 ขั้นตอนคือ การประมวลผลก่อนหน้า (Pre-processing) การสร้างเส้นผมแต่ละเส้น (Hair Strand Generation) และการสร้างขึ้นมาใหม่ (Reconstruction)
“ขั้นตอนการประมวลผลก่อนหน้านี้เป็นจุดแรกที่นำมาใช้เพื่อคำนวณหาค่าโซนของเส้นผมที่ในภาพ 2 มิติซึ่งจะอิงจาก hair mask ที่ประมาณการได้อัตโนมัติ จากนั้น HairNet จะนำค่าดังกล่าวไปเป็นข้อมูล input เพื่อสร้างเส้นผมในมุมมอง 3 มิติขึ้นมาใหม่ โดยขั้นตอนการสร้างขึ้นมาใหม่นั้นท้ายที่สุดก็สามารถที่จะสร้างโมเดลได้อย่างมีประสิทธิภาพ ซึ่งโมเดลเส้นผมจะมีความเนียนเรียบและหนาแน่น” นักวิจัยกล่าว
เมื่อเปรียบเทียบกับระบบที่มีลักษณะคล้ายกันเพื่อที่จะทำสิ่งเดียวกันนี้ พบว่าวิธีการนี้สามารถให้รายละเอียดที่มากกว่าและได้ผลลัพธ์ที่ดูดีกว่า “เส้นผมจากวิธีการของพวกเราสามารถเก็บรักษารายละเอียดในแต่ละจุดได้ดีกว่า และทำให้ดูธรรมชาติมากกว่า โดยเฉพาะอย่างยิ่งถ้าเป็นเส้นผมที่หยิก”
วิธีการดังกล่าวสามารถจัดการกับทรงผมสไตล์ที่แตกต่างกันทั้งเส้นแบบหยิก แบบตรง แบบหยักศก หรือหยิกมากๆ ได้ อย่างไรก็ดี ทีมวิจัยก็ยอมรับว่าวิธีการของพวกเขานั้นยังไม่ใช่วิธีการที่ดีที่สุด
“พวกเราพบว่าวิธีการของพวกเรานั้นผิดพลาดในการสร้างทรงผมที่แปลกๆ เช่น ทรงผมหยิกเป็นเกลียว (kinky) ทรงแอฟโฟร่ (afro) หรือทรงผมสั้น (buzz cut) พวกเราคิดว่าเหตุผลหลักคือพวกเราไม่ได้มีข้อมูลทรงผมเหล่านั้นในข้อมูลเทรน ซึ่งเชื่อว่าการสร้างข้อมูล dataset ทรงผมขนาดใหญ่ที่ครอบคลุมความหลากหลายได้มากขึ้นนั้นจะสามารถจัดการกับปัญหานี้ได้” ทีมวิจัยระบุ
โดยงานในอนาคต นักวิจัยกล่าวว่าพวกเขาจะมุ่งเน้นไปที่การขยายข้อมูล dataset ให้มีแบบทรงผมให้มากขึ้น
รายละเอียดสามารถดูเพิ่มเติมได้ในงานตีพิมพ์
Source : https://news.developer.nvidia.com/ai-can-render-hair-in-3d-in-real-time/
