25 ปีผ่านไป NVIDIA นั้นก็ได้เปลี่ยนกลายมาอยู่ในอุตสาหกรรม computer graphics โดยสร้าง GPU ตัวแรก เครื่องมืออันทันสมัยที่เปรียบเสมือนดาวินชีและไอน์สไตน์ในช่วงเวลาของพวกเราเลยทีเดียว และตอนนี้โมเดล deep learning ใหม่ที่พัฒนาโดยนักวิจัย NVIDIA นั้นก็มุ่งหวังที่จะดันให้อุตสาหกรรมด้านกราฟฟิกนั้นไปสู่บทใหม่ของโลก AI แล้ว
ด้วยการใช้ระบบโครงข่าย Conditional Generative Neural Network มาเป็นจุดเริ่มต้น ซึ่งทีมได้เทรนระบบโครงข่ายเพื่อที่จะเรนเดอร์สภาพแวดล้อม 3 มิติขึ้นมาใหม่ หลังจากที่ถูกเทรนมากับวีดีโอที่มีอยู่ก่อนหน้านี้
ระบบ AI ที่ก้าวหน้าอย่างมากนี้ได้ทำให้นักพัฒนาระบบและศิลปินนั้นสามารถที่จะสร้างโลกจำลอง 3 มิติใหม่ที่ interactive ได้ทันทีสำหรับทั้งทางด้านยานยนต์ เกม หรือโลกความจริงเสมือน (virtual reality) โดยเทรนโมเดลกับวีดีโอต่างๆ จากโลกความเป็นจริงได้ สิ่งนี้จะทำให้ลดค่าใช้จ่ายและเวลาในการสร้างโลกเสมือนขึ้นมาได้
ผลงานนี้ถูกสร้างขึ้นมาโดยทีมนักวิจัยของ NVIDIA นำโดยคุณ Bryan Catanzaro รองประธานแผนก Applied Deep Learning ของ NVIDIA
“NVIDIA ได้มีการสร้างแนวทางใหม่ต่างๆ ในการสังเคราะห์กราฟฟิกแบบ interactive มาเป็นเวลาถึง 25 ปี และสิ่งนี้เป็นครั้งแรกที่พวกเราสามารถทำได้โดยใช้โครงข่ายเดียว” คุณ Catanzaro กล่าว “โครงข่าย neural network แบบต่างๆ หรือ generative model นั้นกำลังจะเปลี่ยนแนวทางในการสร้างกราฟฟิกไป”
“หนึ่งในอุปสรรคหลักที่นักพัฒนาระบบได้พบเมื่อสร้างโลกเสมือน ไม่ว่าจะเป็นทางด้านการพัฒนาเกม การปรากฎทางไกล (telepresence) หรือแอปพลิคเชันอื่นๆ ที่ใช้สร้าง content นั้นจะมีราคาที่แพง ซึ่งวิธีการนี้จะทำให้ศิลปินและนักพัฒนาระบบสามารถที่จะสร้างได้ด้วยราคาที่ต่ำกว่ามาก โดยใช้ระบบ AI ที่เรียนรู้มาจากโลกความจริง” คุณ Catanzaro กล่าว
งานวิจัยนี้กำลังถูกนำเสนออยู่ที่งานสัมมนาวิชาการ NeurIPS ที่เมืองมอนทรีออล ประเทศแคนาดา ซึ่งเป็นงานแสดงที่มีนักวิจัยด้าน AI ที่โดดเด่นที่สุดของโลกมาเข้าร่วมงาน ซึ่งทีมวิจัยได้สร้างเกมขับรถแบบง่ายๆ สำหรับงานนี้ที่จะทำให้ผู้เข้าร่วมสามารถทดลองสัมผัสกับสภาพแวดล้อมที่ระบบ AI สร้างขึ้นได้อย่าง interactive ได้
โดยโครงข่ายจะดำเนินการกับรายละเอียดของฉากในระดับ high-level ตัวอย่างเช่น การแยกส่วนของแผนที่หรือขอบต่างๆ แล้วอธิบายว่าคือวัตถุอะไรอยู่จุดไหน และลักษณะโดยทั่วไปของพวกมันเป็นอย่างไร เช่น ในส่วนของภาพนั้นมีรถ อาคาร หรือว่าขอบของวัตถุนั้นอยู่ตรงที่ใดก็ตาม ระบบโครงข่ายจะเติมรายละเอียดลงไปโดยอิงจากสิ่งที่เคยเรียนรู้มาจากวีดีโอในโลกจริงได้
ซึ่งหลังจากผลลัพธ์ที่สังเคราะห์ออกมานั้นสร้างขึ้นมาได้ ฉากต่างๆ ก็สามารถที่จะนำเอาไปแก้ไขหรือว่าปรับแต่ง ลบเพิ่มวัตถุต่างๆ ได้โดยง่าย
โดยทีมวิจัยได้เทรนบนเฟรมเวิร์ก PyTorch กับข้อมูลวีดีโอหลายพันวีดีโอจากข้อมูล dataset Cityscapes และ Apolloscapes
“ความสามารถของโมเดลและการสร้างขึ้นมาใหม่ได้อย่าง dynamic บนโลกเสมือนนั้นเป็นสิ่งที่สำคัญในการสร้าง intelligent agent ต่างๆ” นักวิจัยกล่าวในงานตีพิมพ์ “ต่างจากความสนใจเชิงวิทยาศาสตร์ การเรียนรู้ในการสังเคราะห์ประสบการณ์ภาพต่อเนื่องนั้นจะมีแอปพลิเคชันต่างๆ ที่กว้างมากทั้งในด้าน computer vision, robotics และ computer graphics” นักวิจัยอธิบาย
อย่างไรก็ดี งานวิจัยนี้ยังคงเป็นเพียงช่วงเริ่มต้น ซึ่งแอปพลิเคชันต่างๆ ที่จะประยุกต์ใช้จากเทคโนโลยีนี้นั้นทางทีมตั้งใจที่จะทำให้มันมีราคาที่ถูกกว่านี้และง่ายกว่านี้ในการสร้างสภาพแวดล้องเสมือนเพื่อรองรับในหลายๆ โดเมนที่แตกต่างกันไปมากๆ ได้
Source : https://news.developer.nvidia.com/nvidia-invents-ai-interactive-graphics/