คนนับหลายล้านสื่อสารโดยใช้ภาษามือ แต่ถึงตอนนี้ยังไม่ค่อยมีเทคโนโลยีที่ใช้จับภาษาท่าทางอันซับซ้อนและแปลความออกมาได้เท่าใดนัก แต่ความก้าวหน้าของระบบติดตามมือแบบเรียลไทม์จากห้องแล็บ AI ของ Google อาจเป็นสิ่งที่หลายๆ คนต่างเฝ้ารอ
เทคนิคใหม่นี้อาศัยประสิทธิภาพของระบบเรียนรู้ในการจับภาพมือและนิ้วแบบเรียลไทม์ด้วยความแม่นยำสูง โดยใช้เพียงแค่กล้องสมาร์ทโฟนเท่านั้น สำหรับการใช้คอมพิวเตอร์วิทัศน์ในการจับภาพมือนั้นเป็นเรื่องที่ท้าทาย เพราะมือเองก็ไม่มีรูปแบบแสดงถึงความแตกต่างที่ชัดเจน อีกทั้งการเคลื่อนไหวของมือนั้นมักจะเร็ว ละเอียดอ่อน ซึ่งไม่ใช่สิ่งที่คอมพิวเตอร์จะจับภาพได้ดีนักในแบบเรียลไทม์แม้จะใช้กล้องหลายตัวช่วยจับการเคลื่อนไหวก็ตาม
จุดประสงค์ของนักวิจัยในงานวิจัยนี้คือลดปริมาณข้อมูลที่อัลกอริธึมใช้คำนวณ ยิ่งข้อมูลน้อยลงนั่นย่อมหมายถึงการประมวลผลที่เร็วขึ้น ทีมวิจัยจึงละทิ้งแนวคิดที่ใช้ระบบตรวจจับตำแหน่งและขนาดของทั้งมือ แต่ให้ระบบหาฝ่ามือแทนซึ่งเป็นส่วนที่เด่นชัดที่สุดของมือ เมื่อระบบตรวจพบฝ่ามือแล้ว นิ้วต่างๆ ก็จะถูกวิเคราะห์แยกต่างหาก อัลกอริธึมจะศึกษาภาพและกำหนดพิกัด 21 จุดที่เชื่อมโยงกับข้อนิ้ว ปลายนิ้ว รวมถึงระยะห่างของแต่ละนิ้วโดยอาศัยขนาดและองศาของฝ่ามือ
เพื่อฝึกระบบให้เรียนรู้จับภาพนิ้วมือได้ นักวิจัยต้องกำหนดพิกัดทั้ง 21 จุดเองก่อนลงในภาพมือจำนวน 30,000 ภาพในหลายอิริยาบถและในสภาพแสงที่ต่างไป ซึ่งเป็นปกติที่ AI ต้องพึ่งมนุษย์ก่อนที่พัฒนาได้ต่อไป
เมื่อตำแหน่งท่าทางของมือถูกระบุได้แล้ว ระบบจะเปรียบเทียบรูปแบบมือกับฐานข้อมูลท่าทางตั้งแต่สัญลักษณ์ตัวอักษรและตัวเลขแบบภาษามือ รวมถึงคำอื่นๆ เช่น “สันติ” และ “ร็อคเมทัล” ผลคืออัลกอริธึมทำงานได้เร็วและแม่นยำ และใช้งานบนสมาร์ทโฟนได้เลย
จากจุดนี้ก็ยังนับว่าเป็นเพียงแค่การเริ่มต้นที่จะให้ระบบเข้าใจภาษามือทั้งหมดได้ เพราะต้องใช้ทั้งสองมือ สีหน้าและนัยอื่นๆ ในการสื่อสาร ดังนั้นในตอนนี้ระบบยังไม่ได้นำไปใช้ในผลิตภัณฑ์ Google แต่อย่างใด นักวิจัยจึงเปิด open source ให้คนทั่วไปเข้าไปพัฒนาต่อได้