โมเดล BigBird จาก Google ปรับปรุงการประมวลผลภาษาธรรมชาติและการศึกษาจีโนมิกส์

0
https://o.aolcdn.com/images/dims?thumbnail=640%2C&quality=95&image_uri=https%3A%2F%2Fs.yimg.com%2Fos%2Fcreatr-images%2F2019-12%2F37a07350-25b2-11ea-bfe1-e6a8b8b0b4ac&client=amp-blogside-v2&signature=fd5d1c7a8c3c3cffeae25b299c1dc194ba7fbafd
AI (Artificial Intelligence) concept.

นักวิจัยที่ Google ได้พัฒนาโมเดล deep learning ใหม่ที่มีชื่อว่า BigBird ที่ทำให้โครงข่ายประสาทเทียม (Neural Network) Transformer สามารถประมวลผลข้อมูลลำดับ (sequence) ได้ยาวขึ้นกว่าเดิม 8 เท่า ซึ่งโครงข่ายที่อิงโมเดลดังกล่าวนี้ได้กลายเป็น state-of-the-art ใหม่ที่มีประสิทธิภาพดีกว่าเดิมในงานด้านการประมวลผลภาษาธรรมชาติ (Natural Language Processing) และงานการศึกษาจีโนมิกส์ (Genomics)

ทีมงานได้อธิบายถึงโมเดลและการทดสอบต่างๆ ในงานตีพิมพ์ที่เผยแพร่บน arXiv ซึ่ง BigBird นั้นเป็นโมเดล self-attention ใหม่ที่สามารถลดความซับซ้อนของโครงข่ายประสาทเทียม Transformer ลงไปได้ จึงทำให้สามารถ train และ inference โดยใช้ข้อมูลเข้าที่ยาวกว่าเดิมได้ ซึ่งการเพิ่มความยาวลำดับได้มากกว่าเดิม 8 เท่า นั้นทำให้ทีมสามารถสร้างผลประสิทธิภาพที่เป็น state-of-the-art ใหม่ในงานด้าน NLP ต่างๆ ทั้งเรื่องการทำระบบคำถามคำตอบ (question-answering) และการสรุปเอกสาร (document summarization) ได้

นอกจากนี้ ทีมงานยังใช้ BigBird เพื่อพัฒนาแอปพลิเคชันสำหรับโมเดล Transformer ใหม่ในงานด้านการแสดงลำดับจีโนม ( genomic sequence representation) ซึ่งทำให้ได้ผลความแม่นยำที่ดีกว่าโมเดลก่อนหน้าราว 5 จุดเปอร์เซ็นต์

Source : https://www.infoq.com/news/2020/09/google-bigbird-nlp/