นักวิจัยจาก Computer Science and Artificial Intelligence Lab (CSAIL) ของ MIT ได้พัฒนาระบบใหม่ขึ้นมาที่ช่วยให้หุ่นยนต์เชื่อมโยงประสาทสัมผัสต่างๆ เข้าด้วยกัน
ระบบใหม่ที่สร้างโดย CSAIL เกี่ยวข้องกับระบบ AI ที่สามารถเรียนรู้การมองเห็นผ่านการรับรู้ทางการสัมผัสและอื่นๆ คล้ายๆ กับการเลียนแบบสิ่งที่มนุษย์ทำอยู่ทุกวัน เช่น มองดูพื้นผิววัตถุและคิดว่าสิ่งของนั้นจะให้สัมผัสแบบใด ไม่ว่าจะเป็นความรู้สึกนุ่ม ขรุขระ เป็นต้น ระบบสามารถรับอินพุตอิงจากการสัมผัสและแปลงผลคาดการณ์ว่าวัตถุนั้นจะมีหน้าตาเป็นอย่างไร คล้ายๆ กับการที่เด็กไปพิพิธภัณฑ์แล้วเอามือสัมผัสวัตถุในกล่องปิดและพยายามเดาว่าในกล่องนั้นมีสิ่งของใดอยู่
ทีมวิจัยได้ใช้ระบบนี้กับแขนหุ่นยนต์ KUKA และเพิ่มเซ็นเซอร์รับรู้การสัมผัสที่มีชื่อว่า GelSight ที่สร้างโดยทีมวิจัยของ Ted Adelson จาก CSAIL ข้อมูลที่รวบรวมได้จาก GelSight นั้นจะถูกป้อนสู่ AI ทำให้มันสามารถเรียนรู้ความสัมพันธ์ระหว่างข้อมูลภาพและข้อมูลการสัมผัส ส่งผลให้ระบบสามารถคาดเดาตำแหน่งของวัตถุได้แม้มองไม่เห็น และระบุวัตถุได้ผ่านการสัมผัส
การสอนให้ AI รู้จักระบุวัตถุได้ผ่านการสัมผัสนั้น ทีมวิจัยได้บันทึกวีดีโอ 12,000 คลิปของสิ่งของ 200 ชนิด เช่น ผ้า เครื่องมือ และสิ่งของภายในบ้าน ที่ถูกสัมผัส ตัววีดีโอก็ถูกแตกออกเป็นภาพนิ่ง และ AI ก็ใช้ชุดข้อมูลนี้เชื่อมโยงข้อมูลภาพกับข้อมูลการสัมผัสเข้าด้วยกัน ซึ่งการนำประสาทสัมผัสทั้งสองนี้ประกอบเป็นข้อมูลเข้าด้วยกันจะช่วยลดปริมาณข้อมูลที่ทีมวิจัยใช้ป้อนสำหรับการจัดการกับวัตถุได้ด้วย
ถึงตอนนี้ หุ่นยนต์อาจทำได้แค่ระบุวัตถุในสภาพแวดล้อมที่ได้รับการควบคุม แต่ขั้นต่อไปคือการสร้างข้อมูลที่ขนาดใหญ่ขึ้นเพื่อให้หุ่นยนต์สามารถทำงานได้ในสภาพแวดล้อมที่หลากหลายขึ้น
AI ประเภทนี้สามารถนำไปใช้ช่วยหุ่นยนต์ให้ทำงานได้อย่างมีประสิทธิภาพในสภาพแวดล้อมแสงน้อยโดยไม่ต้องมีเทคโนโลยีเซ็นเซอร์ขั้นสูง อีกทั้งยังสามารถนำไปใช้เป็นองค์ประกอบในระบบทั่วไปที่ใช้ร่วมกับเทคโนโลยีจำลองประสาทสัมผัสอื่นๆ