Google พยายามสร้างโลกที่ข้อมูลเข้าถึงได้สำหรับทุกคน ไม่เว้นแม้แต่ผู้ใช้ภาษามือ จึงได้เปิดตัว SignTown เว็บเกมแอปพลิเคชันเดสก์ท็อปที่สอนภาษามือและวัฒนธรรมของผู้มีความบกพร่องด้านการได้ยิน โดยใช้ระบบเรียนรู้ (Machine Learning) ในการประเมินท่าทางภาษามือ รวมถึงภาษากายและสีหน้าของผู้ใช้งานผ่านกล้องบนเว็บเบราว์เซอร์
Google ได้พัฒนาฐานข้อมูลจากวิดีโอภาษามือญี่ปุ่น (Japanese Sign Language) และภาษามือฮ่องกง (Hongkong Sign Language) มาเป็นเวลา 14 เดือนก่อนที่จะออก SignTown ในรูปแบบแอปพลิเคชันเกม
SignTown เป็นหนึ่งในความพยายามผลักดันเทคโนโลยีสำหรับภาษามือและวัฒนธรรมของผู้มีความบกพร่องด้านการได้ยิน ในโปรเจกต์ชื่อว่า “Project Shuwa” ที่มาจากคำภาษาญี่ปุ่นที่แปลว่าภาษามือ (“手話”)
การพัฒนาในอนาคตจะครอบคลุมไปถึงการสร้างคลังคำศัพท์รูปแบบพจนานุกรมสำหรับภาษามือ และทำงานร่วมกับทีม Google Search เพื่อเพิ่มคุณภาพการค้นหาสำหรับภาษามือด้วย
ความก้าวหน้าในด้าน AI และ ML ช่วยให้ระบบสามารถตรวจจับการเคลื่อนไหวของมือ ร่างกาย และสีหน้าผ่านกล้องบนแล็บท็อปหรือมือถือ ซึ่ง SignTown ใช้โมเดล MediaPipe Holistic ในการระบุจุดสำคัญจากเฟรมวิดีโอ ซึ่งฟีดไปยังโมเดลแยกประเภทให้ตรงกับสัญลักษณ์ของภาษามือ ทั้งหมดนี้รันอยู่ในเบราว์เซอร์ของผู้ใช้งานด้วย Tensorflow.js
Google ได้เปิดโมเดลนี้เป็น Open-source สำหรับนักพัฒนาและนักวิจัยเพื่อสร้างโมเดลปรับแต่งของตนเองที่งาน Google IO 2021 ดังนั้น สำหรับผู้ที่ต้องการฝึกและพัฒนาภาษามือในภาษาของตนก็สามารถนำโมเดลนี้ไปพัฒนาต่อได้