นักวิจัยที่ Google ได้พัฒนาโมเดล deep learning ใหม่ที่มีชื่อว่า BigBird ที่ทำให้โครงข่ายประสาทเทียม (Neural Network) Transformer สามารถประมวลผลข้อมูลลำดับ (sequence) ได้ยาวขึ้นกว่าเดิม 8 เท่า ซึ่งโครงข่ายที่อิงโมเดลดังกล่าวนี้ได้กลายเป็น state-of-the-art ใหม่ที่มีประสิทธิภาพดีกว่าเดิมในงานด้านการประมวลผลภาษาธรรมชาติ (Natural Language Processing) และงานการศึกษาจีโนมิกส์ (Genomics)
ทีมงานได้อธิบายถึงโมเดลและการทดสอบต่างๆ ในงานตีพิมพ์ที่เผยแพร่บน arXiv ซึ่ง BigBird นั้นเป็นโมเดล self-attention ใหม่ที่สามารถลดความซับซ้อนของโครงข่ายประสาทเทียม Transformer ลงไปได้ จึงทำให้สามารถ train และ inference โดยใช้ข้อมูลเข้าที่ยาวกว่าเดิมได้ ซึ่งการเพิ่มความยาวลำดับได้มากกว่าเดิม 8 เท่า นั้นทำให้ทีมสามารถสร้างผลประสิทธิภาพที่เป็น state-of-the-art ใหม่ในงานด้าน NLP ต่างๆ ทั้งเรื่องการทำระบบคำถามคำตอบ (question-answering) และการสรุปเอกสาร (document summarization) ได้
นอกจากนี้ ทีมงานยังใช้ BigBird เพื่อพัฒนาแอปพลิเคชันสำหรับโมเดล Transformer ใหม่ในงานด้านการแสดงลำดับจีโนม ( genomic sequence representation) ซึ่งทำให้ได้ผลความแม่นยำที่ดีกว่าโมเดลก่อนหน้าราว 5 จุดเปอร์เซ็นต์
Source : https://www.infoq.com/news/2020/09/google-bigbird-nlp/