ในการบินโดรนหรือยานพาหนะไร้คนขับโดยใช้เพียงเปล่งเสียงพูดเหมือนกับฉากในภาพยนตร์ sci-fi นั้น ตอนนี้ได้กลายเป็นความจริงแล้ว โดยนักวิจัยจากมหาวิทยาลัยเพนซิลเวเนีย (University of Pennsylvania) มหาวิทยาลัยนิวยอร์ก (New York University) และผู้เข้าร่วมงานต่างๆ ได้ร่วมกันพัฒนาระบบ deep learning ที่ใช้ GPU ของ NVIDIA ในการทำให้ผู้ใช้สามารถควบคุมโดรนโดยเพียงเปลี่ยนทิศทางของตาคุณไปในที่ที่คุณต้องการให้มันบินไปได้
“พวกเราแสดงให้เห็นว่าอุปกรณ์ที่มีแว่นตาที่ติดอุปกรณ์ติดตามสายตา (gaze tracker) กล้อง 1 ตัวและ หน่วยวัดความเฉื่อย (Inertial Measurement Unit :IMU) นั้นสามารถนำมาใช้ในการประมาณตำแหน่งสัมพัทธ์กับคนและโดรน quadrotor ได้ ใช้ลดทิศทางที่ซ้ำซ้อนจากการเคลื่อนไหวของศีรษะได้ และทำให้มนุษย์สามารถใช้งานในพื้นที่จำกัดได้ ตัวอย่างเช่น การส่งข้อมูลจุดเส้นทางสำรวจ 3 มิติ (3D navigation waypoint) ใหม่ให้กับหุ่นยนต์ในสภาพแวดล้องที่ไม่เคยมีข้อมูลมาก่อน” นักวิจัยกล่าวไว้ในวีดีโอของพวกเขา
โดยงานนี้ เป็น highlight แรกในสัมมนาของ IEEE Spectrum ซึ่งได้อธิบายสิ่งที่นักวิจัยใช้ระบบ deep learning ร่วมกับ NVIDIA Jetson TX2 GPU ที่ติดอยู่บนบอร์ดของโดรน และการใช้แว่นตาเพื่อติดตามการเคลื่อนที่ของตาเพื่อควบคุมโดรน
สิ่งที่ทำให้งานนี้มีความแตกต่างคือตัวระบบนั้นสมบูรณ์อยู่ในตัวของมันเอง ซึ่งแปลว่าโดรนนั้นไม่ได้ขึ้นกับเซ็นเซอร์ข้างนอกเพิ่มเติมแต่อย่างใด
โดยทีมวิจัยได้เทรนระบบโครงข่ายประสาทเทียม (Neural Network) บนเฟรมเวิร์ก TensorFlow เพื่อประมวลผลข้อมูลจุดเส้นทางสำรวจ 3 มิติจากตำแหน่งการเคลื่อนที่ของตาจากตัวแว่นตา ซึ่งเป็นข้อมูล 2 มิติ โดยพวกเขายังได้เทรนโครงข่ายเพื่อทำเรื่องตรวจจับวัตถุ (Object Detection) อีกด้วย
“งานของพวกเรานั้นสามารถทำให้เห็นถึงความสำเร็จในการเคลื่อนที่แบบอิสระโดยมีคนไกด์เส้นทางเพื่อทำงานบางอย่างในอากาศได้” ทีมนักวิจัยกล่าว “โดยสามารถที่จะประมวลผลจุดเว็กเตอร์จากแว่นตาแล้วสามารถที่จะเลือกจุดเส้นทางเชิงลึกในที่ที่กำหนดว่าเป็นโซนที่ปลอดภัยได้แบบแรนดอม ซึ่งความจริงแล้วข้อมูลจุดเส้นทางสำรวจ 3 มิตินั้นจะมาจากตัวแว่นตาที่ติดตามการเคลื่อนที่ของตา หากแต่พวกเราพบว่าในการทดลองของพวกเรานั้นข้อมูลความลึกที่ได้จากแว่นตานั้นจะมี noise มากเกินกว่าที่จะใช้งานได้จริง และในอนาคต พวกเราหวังว่าในการทดลองที่มากขึ้นจะสามารถทำให้ผู้ใช้งานควบคุมในเรื่องความลึกได้ดียิ่งขึ้น”
“วิธีการที่นำเสนอนี้สามารถที่จะนำไปใช้งานได้หลากหลาย scenario อย่างเช่น กรณีการตรวจสอบ การช่วยเหลือให้กับผู้พิการต่างๆ ที่มีผลกระทบต่อการเคลื่อนที่ไปมาได้” นักวิจัยกล่าว
Source : https://news.developer.nvidia.com/this-ai-drone-can-be-controlled-by-your-eyes/