Groq เผยชิป AI เร็วขั้นสุด รัน Llama 3 ของ Meta ได้เร็วถึง 800 โทเคนต่อวินาที

0

ดูเหมือนขั้นตอนการอนุมาน (Inference) ของ AI จะมี Breakthrough ที่เขย่าวงการในเร็ว ๆ นี้ได้ นั่นคือ  Groq สตาร์ตอัปผู้พัฒนาชิป AI ได้ออกมายืนยันผ่านรีทวีตบน X จากหลาย ๆ ท่านที่ทดสอบ ว่าสามารถบริการ Llama 3 ของ Meta ได้ถึง 800 โทเคนต่อวินาที (Token Per Second)

จากวีดีโอที่ CEO และ Co-Founder แห่ง OthersideAI คุณ Matt Shumer และอีกหลาย ๆ ท่าน จะเห็นว่าระบบของ Groq นั้นสามารถทำการ Inference และตอบสนองต่อผู้ใช้งานได้แบบไวมาก ๆ ซึ่งวัดค่าได้มากกว่า 800 โทเคนต่อวินาทีบน Llama 3 โมเดลตัวล่าสุดจาก Meta อีกด้วย

โดย Groq คือสตาร์ตอัป AI ที่พัฒนาสถาปัตยกรรมชิปที่ปรับแต่งมาเพื่อกระบวนการประมวลผล AI หรือการคูณกันของเมตริก (Matrix Multiplication Operation) ให้มีประสิทธิภาพสูง โดย Tensor Streaming Processor ของ Groq นั้นสามารถเลี่ยงการใช้แคช (Cache) และตรรกะควบคุมที่ซับซ้อนของ CPU หรือ GPU รุ่นดั้งเดิม เพื่อทำให้ง่ายขึ้นและสามารถรัน AI Workload ได้เร็วขึ้นกว่าเดิม

เรียกว่าเป็นสถาปัตยกรรมที่ต้องจับตา และด้วยขีดความสามารถในระดับนี้ ก็อาจจะปฏิวัติอุตสาหกรรมชิปรวมไปถึงหน่วยประมวลผลสำหรับ AI ที่ออกมาก่อนหน้านี้จากหลาย ๆ เจ้าได้เลย ซึ่งคงต้องจับตาดูกันอย่างใกล้ชิดว่าเจ้าตลาดและยักษ์ใหญ่มากมายนั้นจะมีปฏิกิริยาตอบสนองอย่างไรในเรื่องดังกล่าวนี้

สำหรับผู้ที่สนใจลองทดสอบ สามารถเข้าไปได้ที่เว็บไซต์ของ Groq ได้เลย

ที่มา: https://venturebeat.com/ai/groqs-breakthrough-ai-chip-achieves-blistering-800-tokens-per-second-on-metas-llama-3/