ห้องแล็บวิจัย OpenAI ได้เปิดตัว generative model ใหม่แต่งเพลงได้ชื่อว่า Jukebox โดยทีมนักวิจัยเลือกพัฒนา AI ด้านดนตรีเพราะมีความยาก ผลลัพธ์ที่ได้ก็ออกมาน่าพอใจและพอฟังเป็นเพลงมีคอร์ดและเมโลดี้ที่คุ้นหูอยู่บ้าง
วิธีการที่ Open AI ใช้คือ ใช้ไฟล์เสียง raw ฝึกโมเดล ซึ่งจะผลิตออกมาเป็นไฟล์เสียงแบบ raw อีกที แทนที่จะใช้โมเดลสัญลักษณ์โน้ตหรือ symbolic music อย่างที่เปียโนใช้ เพราะว่า symbolic music ไม่มีเสียงร้อง นักวิจัยเริ่มใช้ convolutional neural netword ถอดรหัสและบีบอัดไฟล์เสียง raw จากนั้นจึงใช้สิ่งที่เรียกว่า transformer แต่งไฟล์เสียงบีบอัดใหม่ขึ้นที่จะเพิ่มตัวอย่างข้อมูลและเปลี่ยนกลับไปเป็นไฟล์เสียง raw อีกครั้ง ตามภาพ
:no_upscale()/cdn.vox-cdn.com/uploads/chorus_asset/file/19935907/Screen_Shot_2020_04_30_at_1.55.44_PM.png)
วิธีการนี้ลักษณะเหมือนกับวิธีที่ OpenAI พัฒนา MuseNet ซึ่งเป็น AI ที่แต่งเพลงก่อนหน้านี้ แต่ Jukebox ก้าวล้ำไปอีกขั้นตรงที่มันแต่งเนื้อเพลงร่วมกับนักวิจัย OpenAI ด้วย ต่างกับ MuseNet ที่ใช้ข้อมูล MIDI ตรงที่โมเดลของ Jukebox ถูกฝึกด้วยชุดข้อมูลดิบจากเพลง 1.2 ล้านเพลง (600,000 เพลงเป็นภาษาอังกฤษ) และใช้ metadata และเนื้อเพลงที่ถอดมาจาก LyricWiki ซึ่งข้อมูลศิลปินและแนวเพลงก็รวมอยู่ด้วย ถึงกระนั้น ก็ยังมีข้อจำกัดอยู่
ตามที่นักวิจัยได้เขียนอธิบายไว้นั้น แม้ว่า Jukebox จะกำลังไปสู่อีกขั้นหนึ่งของการทำเพลง แต่ยังมีช่องว่างระหว่างเพลงที่แต่งขึ้นด้วยระบบกับเพลงที่มนุษย์แต่งขึ้น ยกตัวอย่างเช่น แม้เพลงที่ระบบแต่งขึ้นจะมีความเข้ากันทางดนตรี ตามรูปแบบคอร์ดดั้งเดิม และมีท่อนโซโลที่น่าสนใจ แต่ทีมวิจัยก็ไม่ได้ยินโครงสร้างทางดนตรีที่ใหญ่กว่านั้น เช่น ท่อนคอรัสซ้ำ
อีกปัญหาหนึ่งก็คือ Jukebox อาจทำให้เกิดปัญหาด้านลิขสิทธิ์ ดังที่ Cherie Hu นักเขียนและผู้ผลิตพอดแคสต์ได้ระบุไว้ใน Twitter
this new tool from @OpenAI that automatically generates songs AND lyrics in the style of major celebrities — including replicating their voices — is not only technologically fascinating and impressive, but also kind of terrifying in terms of copyright law. https://t.co/RHtGd47doG
— cherie hu (@cheriehu42) April 30, 2020