หลังจาก Google ได้เปิดตัว Gemini ที่เคลมว่าเก่งกว่า GPT-4 แทบทุกด้านจนเป็นกระแสใหญ่อยู่ในช่วงหนึ่ง ล่าสุดอาจจะต้องรีบแก้เกมจริง ๆ เสียแล้ว หลังจากงานวิจัยใหม่พบว่าเวอร์ชันสุดยอดของ Gemini หรือ Gemini Pro นั้นก็ยังมีประสิทธิภาพที่ “ด้อยกว่า” GPT-3.5 ของ OpenAI ในหลาย ๆ งานที่ทำการทดสอบ
หลายคนอาจจะนึกว่าเขียนผิดหรือไม่ ตรวจสอบจากแหล่งข้อมูลต้นทางแล้วก็ยังเน้นว่าไม่ผิดแน่นอนว่า LLM ตัวล่าสุดของ Google ที่ได้ใช้เวลาพัฒนามาเป็นเวลาหลายปี ยังไม่สามารถเอาชนะโมเดลเก่าที่เปิดให้ใช้งานได้ฟรีของ OpenAI อย่าง GPT-3.5 ได้ในหลาย ๆ งาน ซึ่ง ChatGPT Plus และ Enterprise หรือเวอร์ชันเสียเงินนั้นได้ใช้ LLM ที่เป็นเวอร์ชัน GPT-4 และ GPT-4V กันเป็นปกติอยู่แล้วนั้น คือเวอร์ชันที่เหนือกว่า GPT-3.5 อีกด้วยซ้ำ
งานวิจัยดังกล่าวดำเนินการโดยนักวิจัยจาก Carnegie Mellon University และจาก BerriAI
ดูตารางเปรียบเทียบประสิทธิภาพในเรื่องความแม่นยำ (Accuracy) ของ Gemini Pro กับ GPT-3.5 Turbo และ GPT-4 Turbo จะเห็นว่าตัวเลขของ Gemini Pro นั้นยังไม่สามารถเอาชนะ GPT-3.5 Turbo เลยในทุกงาน
อีกทั้งนักวิจัยยังพบด้วยว่าในการตอบคำถามที่เป็นตัวเลือก A, B, C, D ตัว Gemini นั้นมักจะเลือกตอบ D มากกว่าโมเดลอื่น ๆ โดยที่ไม่สนว่าเป็นคำตอบที่ถูกต้องหรือไม่ก็ตามอีกด้วย ซึ่งเป็นไปได้ว่าโมเดลนั้นอาจจะมี Bias ในการเลือกคำตอบ D ที่อาจเชื่อว่ามักจะเป็นคำตอบที่ถูกต้อง ก็เป็นได้
ทั้งนี้ Gemini Pro นั้นสามารถเอาชนะ GPT-3.5 ได้ใน 2 งานที่เป็นรูปแบบการตอบแบบตัวเลือก คือ Security กับ High School Microeconomics หากแต่นักวิจัยก็เน้นว่า “Gemini Pro นั้นสามารถเอาชนะ GPT-3.5 Turbo ได้เพียงเล็กน้อยเท่านั้น” และ GPT-4 Turbo ก็ยังคงได้ผลลัพธ์ที่ดีที่สุดอยู่ดี
สำหรับผู้ที่สนใจงานวิจัยฉบับเต็ม สามารถอ่านได้ที่นี่ และคงต้องรอดูการตอบโต้จากทาง Google ต่อไปว่าจะออกมาในรูปแบบใด หรืออาจจะปล่อยโมเดลใหม่ที่เป็นเวอร์ชันขั้นกว่ามาให้ทดสอบเพิ่มเติม
ที่มา: https://venturebeat.com/ai/google-gemini-is-not-even-as-good-as-gpt-3-5-turbo-researchers-find/