ในการช่วยให้นักดนตรีที่เข้าแข่งขันสามารถสร้างจังหวะที่ดีที่สุดในเพลงของพวกเขาได้นั้น นักพัฒนาจากบริษัทสตาร์ทอัพ AI ที่ญี่ปุ่นจึงได้สร้างระบบ deep learning ที่มีชื่อว่า Neural Beatboxer ที่จะสามารถแปลงเสียงต่างๆ ทั่วไปให้กลายเป็นเสียงจังหวะ (rhythm) ที่แปลงมาได้แบบอัตโนมัติ
ผู้ใช้สามารถเข้าไปที่เว็บไซต์แล้วให้ข้อมูลเสียงบางอย่างเข้าไป แล้วระบบโครงข่ายประสาทเทียม (Neural Network) ก็จะสร้างเสียงกลองแบบ custom ขึ้นมาได้อัตโนมัติที่จะสามารถเล่นได้เป็นหลายชั่วโมง
คุณ Nao Tokui ผู้เป็น CEO แห่ง Qosmo กล่าวว่าเขานั้นได้มีไอเดียในขณะที่ทำงานเป็น DJ อยู่ในญี่ปุ่น ซึ่งเขารู้สึกข้องใจเมื่อเห็นแนวทางของระบบ AI ในปัจจุบันที่เกี่ยวกับงานวิจัยที่สร้างเสียงดนตรีขึ้นมา และหวังว่าโครงข่ายประสาทเทียมของเขานั้นจะช่วยได้
โดยคุณ Tokui นั้นได้สร้างระบบโครงข่าย Convolutional Neural Network บนเฟรมเวิร์ก Keras เพื่อทำเป็นโมเดลสำหรับจำแนกเสียงขึ้นมา
“ฉันใช้ข้อมูล dataset ที่เป็นเสียงกลองที่มีอยู่ในโลกออนไลน์ และเทรนระบบโครงข่าย Convolutional Neural Network เพื่อจัดกลุ่ม (classify) เสียงโดยอิงจากข้อมูล spectrogram ของเสียง” เขาอธิบาย “โมเดลนั้นได้เทรนเพื่อจัดกลุ่มเสียงของกลองต่างๆ ได้แก่ เสียงกระเดือง (kick) เสียงสแนร์ (snare) เสียงฉาบไฮแฮต (hi-hat) เปิดและปิด เสียงทอม (tom) ต่างๆ ทั้งต่ำกลางสูง เสียงตบ (clap) และเสียง rim”
สำหรับการสร้างเสียงทำนอง rhythm นั้นเขาใช้โครงข่าย Recurrent Neural Network ที่เทรนเสียงกลองไว้ก่อนหน้านี้แล้ว (pre-trained model) จากโครงการ Magenta ของ Google
โดยเว็บ front-end นั้นสร้างโดยใช้ TensorFlow.js, magenta.js และ p5.js
Source : https://news.developer.nvidia.com/ai-can-help-anyone-become-a-beatbox-champion/
