เวลาคุณเลือกซื้อสินค้าอย่างพรมหรือผ้าทางออนไลน์ เคยสงสัยหรือไม่ว่าของชิ้นนั้นจะหน้าตาเป็นอย่างไรเวลากระทบแสง นักวิจัยจาก the Massachusetts Institute of Technology’s Computer Science and Artificial Intelligence Lab (CSAIL) และ Inria Sophia Antipolis จากประเทศฝรั่งเศส ได้พัฒนา AI ที่จะช่วยให้คุณได้เข้าใกล้ประสบการณ์ใหม่ไปอีกขั้น
ในงานประชุม 2018 Siggraph ใน Vancouver ทีมวิจัยได้นำเสนอ “Single-Image SVBRDF Capture with a Rendering-Aware Deep Network” ซึ่งเป็นวิธีที่แยกพื้นผิว แสงและเงาของวัตถุในภาพ และประมวลผลด้วยระบบดิจิทัลสร้างแสงและเงาสะท้อนตามสภาพแวดล้อม
นักวิจัยเขียนว่า “สิ่งที่มองเห็นได้ทำให้มนุษย์รับรู้ลักษณะของวัตถุได้ในภาพเดี่ยวหลายๆ ภาพ แต่นับว่าเป็นเรื่องท้าทายสำหรับนักวิจัยด้านคอมพิวเตอร์กราฟิคมาหลายทศวรรษที่จะสร้างการสะท้อนแสงของวัตถุทึบแสงจากหลายทิศทาง ทีมวิจัยก็ได้รับมือกับปัญหานั้นโดยการฝึก deep neural network ให้แยกและเข้าใจนัยทางภาพเหล่านี้โดยอัตโนมัติ”
ทีมวิจัยเริ่มจากการป้อนข้อมูลตัวอย่างจำนวนมากจากชุดข้อมูลของวัตถุที่ศิลปินสร้างขึ้นมากกว่า 800 ชิ้น และเลือกชุดข้อมูลคุณภาพสูงจากงานศิลปะ 9 ประเภท (ภาพวาด พลาสติก หนัง โลหะ ไม้ ผ้า หิน เซรามิก ดิน) หลังจากนั้น จึงเรนเดอร์ภาพในฉากจำลองคล้ายกับการถ่ายภาพด้วยกล้องมือถือ (ค่าขอบเขตการมองเห็น หรือ FOV 50 องศา) พร้อมแฟลช
แต่นั่นก็ยังไม่เพียงพอสำหรับการฝึกระบบ ดังนั้น เพื่อขยายชุดข้อมูล นักวิจัยจึงใช้ CPU 40 เครื่อง ในการผสมและสุ่มพารามิเตอร์ ผลคือ พวกเขาสามารถสร้างวัตถุที่มีความหลากหลายและมีแสงเงาสมจริงได้ถึง 200,000 ชิ้น
ขั้นตอนต่อไปคือการฝึกโมเดล ทีมวิจัยได้ออกแบบ convolutional neural network ซึ่งเป็นอัลกอริธึมระบบเรียนรู้ประเภทหนึ่งที่จำลองการเรียงตัวของเซลล์ประสาทในเยื่อหุ้มสมองด้านการมองเห็น เพื่อคาดการณ์แสงจากสี่ทิศตามค่าปกติ per-pixel normal (ค่าแสงในแต่ละพิกเซลบนภาพที่ผ่านการเรนเดอร์แล้ว) diffuse albedo (แสงสะท้อนบนพื้นผิว) specular albedo (การสะท้อนคล้ายกระจกของคลื่นแสง) และ specular roughness (ความเงาของแสงสะท้อน)
เพื่อลดค่าความต่าง ทีมวิจัยได้สร้าง similarity metric ที่เปรียบเทียบการเรนเดอร์ของภาพที่คาดการณ์กับภาพต้นแบบ และเพื่อให้มั่นใจถึงความสม่ำเสมอของภาพ output พวกเขาจึงใช้โมเดลระบบเรียนรู้ตัวที่สองที่ใช้ข้อมูลทางกายภาพ (แสงที่สะท้อนออกจากพื้นผิว) เพื่อช่วยทำให้การแลกเปลี่ยนข้อมูลทำได้ง่ายขึ้น
ทีมวิจัยฝึกระบบด้วยการทำซ้ำ 400,000 ครั้ง และป้อนข้อมูลเป็นภาพจากกล้องมือถือ iPhone SE และ Nexus 5X เป็นจำนวน 350 ภาพที่ถูกครอบตัดตามค่าขอบเขตการมองเห็นของชุดข้อมูล ผลลัพธ์ที่ได้คือ โมเดลทำงานได้ค่อนข้างดี โดยสามารถสร้างแสงสะท้อนเสมือนจริงได้บนโลหะ พลาสติก ไม้ ภาพวาด และวัตถุอื่นๆ
ทั้งนี้ ยังมีข้อจำกัดคือ สามารถทำได้เฉพาะภาพขนาด 256 x 256 พิกเซล และมีปัญหาในการสร้างแสงและการสะท้อนจากภาพที่มีช่วงไดนามิกต่ำ อย่างไรก็ดี ทีมวิจัยเผยว่า ระบบทำงานได้ดีกับภาพถ่ายจริง และแสดงให้เห็นว่า ระบบหนึ่งก็สามารถถูกฝึกให้จัดการกับวัตถุได้หลากหลายประเภทอีกด้วย