เพื่อช่วยให้ผู้ซื้อบ้านสามารถทัวร์ดูบ้านได้แบบ 360 องศา บริษัท Zillow ที่ทำฐานข้อมูลอสังหาริมทรัพย์ออนไลน์ได้เปิดตัวแอปบริการใหม่ที่ใช้ระบบ machine learning ในการสร้างภาพสามมิติภายในบ้านขึ้นมาให้ได้
“ก่อนหน้านี้ การทัวร์แบบสามมิตินั้นจะมีเฉพาะบ้านที่ราคาแพงในระดับ high-end อันเนื่องมาจากราคาที่สูงและกระบวนการจับภาพที่ต้องใช้เวลามาก” คุณ Josh Weisberg ผู้อำนวยการอาวุโสฝ่ายพัฒนาผลิตภัณฑ์ด้าน 3D Computer Vision ของ Zillow กล่าว “ตอนนี้ด้วยการชมบ้านแบบสามมิติได้เพิ่มประสบการณ์ที่ยอดเยี่ยมในการเข้าชมได้เร็วขึ้น ง่ายขึ้น และฟรี”
โดยทีมงานได้เทรนอัลกอริทึม machine learning บนเฟรมเวิร์ก TensorFlow และ PyTorch กับข้อมูลภาพพาโนรามาที่มีการต่อกันอัตโนมัติที่ถ่ายมาจากกล้องมือถือ รวมกับภาพพาโนรามาภายในบ้านที่มีการต่อภาพกันแล้วด้วย เนื่องจากอัลกอริทึมดังกล่าวนั้นต้องใช้ทั้งข้อมูลวีดีโอที่บันทึกผ่านอุปกรณ์ดังกล่าวและข้อมูลหน่วยวัดแรงเฉื่อยของการเคลื่อนที่ (Inertial measurement unit motion data) ของอุปกรณ์ดังกล่าว
เมื่อผู้ใช้เปิดแอปขึ้นมา การจับภาพให้เริ่มจากจุดที่ผู้ใช้เลือกที่จะจับภาพพาโนรามา ซึ่งภาพพาโนรามานั้นจะดำเนินการตามภาพด้านล่าง โดยเป็นเส้นการเคลื่อนที่จากจุดเริ่มต้นบันทึกภาพพาโนรามา
“ข้อมูลเข้าสำหรับการสร้างภาพพาโนรามาขึ้นมานั้นจะขึ้นกับวีดีโอที่หมุนไปมาตามที่ผู้ใช้งานเลือกบันทึกในที่นั้นๆ ซึ่งพวกเราจะคัดแยกจากวีดีโอที่จับมาให้กลายเป็นลำดับของภาพหลายๆ เฟรม แล้วจากนั้นจึงค่อยๆ เชื่อมมันเข้าด้วยกัน และเบลนด์ภาพจนกลายเป็นภาพพาโนรามาตามที่แสดงในภาพด้านล่าง” นักวิจัยกล่าว
นอกจากนี้ทีมงานวิจัยังมีเทคนิคในการแก้ไขปัญหาต่างๆ ที่เกิดขึ้นมากมายเช่น parallax effect ในการเชื่อมระหว่างเฟรมของแต่ละวัตถุ การเชื่อมภาพพาโนรามาระหว่างห้อง เป็นต้น ซึ่งคุณสามารถอ่านเทคนิคต่างๆ ที่ใช้ในงานนี้ได้จากที่นี่
แอปดังกล่าวได้เริ่มต้นทดสอบในตลาดที่คัดเลือกเพื่อเริ่มโปรแกรม pilot ตั้งแต่เมื่อปี 2561 ซึ่งตอนนี้แอปเริ่มให้ใช้งานได้แล้วในสหรัฐอเมริกาและแคนาดา
Source : https://news.developer.nvidia.com/zillow-launches-ai-powered-app-that-can-create-a-3d-home-tour/