นักวิจัย Microsoft ทุบสถิติ XTREME Benchmark พัฒนาเป็นโมเดล Multilingual Transfer Learning ที่ดีที่สุดในเวลานี้

0

นักวิจัยในโครงการ Turing ของ Microsoft ได้ออกมาเผยผลการทดสอบของโมเดล T-ULRv2 ว่าสามารถทำคะแนนได้เป็นอันดับหนึ่งใน XTREME Benchmark ที่ใช้ในการประเมินการทำงานของโมเดล Multilingual Transfer Learning

ในช่วงหลายปีที่ผ่านมา งานวิจัยด้านการประมวลผลภาษาธรรมชาตินั้นมีความคืบหน้าไปมาก แต่ทว่าโมเดลและการทดสอบที่ใช้ประเมินโมเดลก็ยังคงมุ่งเน้นไปที่ภาษาอังกฤษอยู่มาก ด้วยเหตุนี้ Google จึงได้จัดทำ XTREME Benchmark ขึ้นมาเพื่อเป็นมาตรฐานกลางในการวัดผล และสนับสนุนให้นักวิจัยมีการศึกษาเกี่ยวกับโมเดลที่ใช้เทคนิค Transfer Learning ที่ทำงานได้ในหลายภาษา

Transfer Learning เป็นเทคนิคหนึ่งใน Machine Learning ที่โมเดลจะมีโครงสร้างในการเรียนรู้ และนำความรู้ที่ได้นั้นไปใช้งานต่อในงานประเภทอื่น โดยในบริบทของ NLP เทคนิคนี้อาจถูกนำมาใช้ในรูปแบบต่างๆ เช่น เรียนรู้ Task จากภาษาที่หนึ่ง แล้วนำความรู้ไปใช้งานในภาษาที่สอง หรือการเรียนรู้ Task A แล้วนำความรู้นั้นไปทำ Task B

ด้าน T-ULRv2 หรือ Turing Universal Language Representation นั้นเป็นโมเดลแบบ Unsupervised Learning ที่ทีมงาน Turing ของ Microsoft ได้พัฒนาขึ้นโดยมีสถาปัตยกรรม Transformer 24 ชั้นซึ่งประกอบไปด้วย 1024 Hidden States และ 550 ล้าน Parameters

การเทรนโมเดลนี้แบ่งออกเป็น 3 ส่วนด้วยกัน ได้แก่

  • MMLM ซึ่งเป็นการฝึกให้โมเดลทายคำที่หายไปจากประโยคที่กำหนด โดยข้อมูลภาษาที่ใช้มีทั้งหมด 94 ภาษา
  • TLM ซึ่งเป็นการทำนายคำเช่นกัน แต่โจทย์นั้นจะให้ประโยคมาใน 2 ภาษา โมเดลสามารถเลือกทำนายจากภาษาใดก็ได้ การทำเช่นนี้จะช่วยให้โมเดลสามารถสร้างความเชื่อมโยงของคำศัพท์และบริบทของประโยคระหว่างคู่ภาษาทั้ง 2 ได้
  • XLCo นั้นก็เป็นการเทรนโดยใช้คู่ภาษาเช่นกัน โดยเน้นไปที่การสอนให้โมเดลแยกคำแปลของประโยคในภาษาแรกออกจากคำแปลที่ไม่ถูกต้อง

จากการประเมินด้วย XTREME Benchmark โมเดล T-ULRv2 นี้ได้คะแนนเฉลี่ยอยู่ที่ 80.7 คะแนน สูงกว่าสถิติอันดับหนึ่งเดิมของ Alibaba VECO ที่เพิ่งเข้ามาในช่วงปลายเดือนกันยายนที่อยู่ที่ 77.2 คะแนน โดย T-ULRv2 ทำได้เหนือกว่าในทุกด้านในการประเมิน และเข้าใกล้ความสามารถของมนุษย์ที่มีคะแนนอยู่ที่ 93.3 คะแนน

ตารางคะแนน XTREME Benchmark ณ ปัจจุบัน

Microsoft ได้ประกาศในงาน Ignite 2020 ว่าโมเดลจากโครงการ Turing นั้นจะเปิดให้ลูกค้าของ Microsoft ได้นำไปใช้สร้าง Custom Application กันผ่าน Private Preview และ T-ULRv2 นี้ก็ร่วมอยู่ในเกณฑ์นี้เช่นกัน และทางทีม Turing ได้มีการร่วมมือกับทีม Azure Cognitive Services อย่างต่อเนื่องในการนำผลการวิจัยของพวกเขาไปใช้พัฒนา Service ต่างๆต่อไป