ช่วงต้นสัปดาห์ Cohere for AI (C4AI) ห้องปฏิบัติการวิจัยไม่แสวงหาผลกำไรที่ก่อตั้งโดย Cohere ในปี 2022 นั้นได้เปิด “Aya” โมเดล Open Source LLM ที่รองรับได้ถึง 101 ภาษา มากกว่าจำนวนภาษาที่โมเดล Open Source รองรับได้อยู่ถึง 2 เท่า
โดยโครงการ Aya นั้นเปิดตัวขึ้นในปีช่วงมกราคม 2023 หรือราว ๆ 1 ปีที่ผ่านมา โดยรองประธานฝ่ายวิจัยแห่ง Cohere และหัวหน้า Cohere for AI (C4AI) คุณ Sara Hooker กล่าวว่ามีผู้เข้าร่วมโครงการมากกว่า 3,000 คนทั่วโลก จาก 119 ประเทศในโครงการนี้
นอกจากโมเดล LLM แล้ว นักวิจัยยังปล่อยชุดข้อมูล (Dataset) ของ Aya ที่จัดเก็บรวบรวมและอธิบายโดยมนุษย์ออกมาให้อีกด้วย โดยมีขนาด 513 ล้านคำอธิบายประกอบ (Annotation) ที่ครอบคุลม 114 ภาษา โดยจะเป็นชุดข้อมูลที่มี Annotation ที่หาได้ยากจากเจ้าของภาษา (Native Speaker) หรือว่าผู้เชี่ยวชาญจากทั่วโลก
สิ่งนี้คือกุญแจสำคัญอย่างมาก เพราะหนึ่งในอุปสรรคที่ยิ่งใหญ่ในการฝึกฝนโมเดล AI นั้นคือ “ข้อมูล” และถ้าหากข้อมูลน้อยเกินไป AI ที่ได้ออกมาก็จะไม่สามารถใช้งานได้จริง หากแต่ วิศวกรที่ Cohere for AI ค้นพบแนวทางที่จะช่วยปรับปรุงประสิทธิภาพของโมเดลได้ด้วยการใช้ข้อมูลฝึกฝนที่น้อยกว่าเดิมได้แล้ว
การปล่อย Open Source ออกมาทั้งโมเดลและ Dataset ของ Cohere for AI นั้นมุ่งหวังที่จะช่วยให้นักวิจัยสามารถปลดล็อกศักยภาพของโมเดล LLMs อันทรงพลังสำหรับอีกหลาย ๆ ภาษาและวัฒนธรรมที่ส่วนใหญ่แทบจะถูก “เพิกเฉย (Ignore)” โดยโมเดลที่มีความก้างหน้าที่สุดในตลาดวันนี้
สำหรับผู้ที่สนใจ Aya จาก Cohere for AI สามารถเข้าไปอ่านรายละเอียดเพิ่มเติมได้ในบล็อกโพส ซึ่งหากต้องการลองเล่นโมเดล Aya สามารถเข้าไปเล่นใน Cohere Playground ได้ รวมทั้งสามารถดาวน์โหลดโมเดลและ Dataset ได้ที่นี่
นอกจากนี้ Cohere for AI จะมี Virtual Event ที่จะมาแบ่งปันข้อมูลเกี่ยวกับโมเดล Aya นี้ด้วย สามารถเข้าไปรับฟังข้อมูลได้ในหลากหลายช่องทางในวันที่ 16 ก.พ.2024 ตั้งแต่เวลา 20:00 น.เป็นต้นไปได้ทั้ง YouTube, Discord, LinkedIn หรือ X(Twitter)
ที่มา: https://venturebeat.com/ai/cohere-for-ai-launches-open-source-llm-for-101-languages/