โมเดลปัญญาประดิษฐ์ด้านภาษาหรือ Language Model นั้นถูกพัฒนาขึ้นให้สามารถทำงานได้เก่งขึ้นเรื่อยๆ เราได้เห็นการประยุกต์ใช้โมเดลอย่าง GPT จาก ChatGPT เข้ามาช่วยงานในด้านต่างๆ อย่างไรก็ตาม โมเดลภาษานั้นก็ยังมีข้อจำกัดในการทำงานขั้นพื้นฐานอยู่มาก เช่นการสืบค้นข้อมูลที่เป็นจริง หรือการตอบคำถามทางคณิตศาสตร์
Toolformer เป็นโมเดลภาษาใหม่จาก Meta AI ซึ่งถูกพัฒนาขึ้นให้สามารถเรียนรู้ที่จะเลือกใช้ “เครื่องมือ” เข้ามาช่วยในการโต้ตอบและตอบคำถามของผู้ใช้งาน โดย Toolformer สามารถเรียนรู้ได้ด้วยตัวเองว่าควรใช้เครื่องมือใดเพื่อเตรียมคำตอบที่เหมาะสมกับคำถามที่ได้รับ โมเดลตัวนี้มีการทำงานอย่างไร และความเจ๋งของมันอยู่ตรงไหน ติดตามได้ในบทความนี้
ปัญหาของ Language Model ทั่วไป
โมเดล AI ภาษาหลายตัวในปัจจุบันนั้นมีความสามารถสูง ทว่าก็ยังมีข้อจำกัดในหลายด้านที่ทำให้การทำงานหรือการตอบคำถามไม่ถูกต้องแม่นยำเท่าที่ควร ซึ่งข้อจำกัดที่ว่าอาจสรุปได้คร่าวๆ ดังนี้
- ขาดความสามารถในการเข้าถึงข้อมูลอัพเดทล่าสุดของเหตุการณ์ที่เกิดขึ้นใหม่
- โมเดลอาจให้คำตอบที่บิดเบือน ไม่เป็นความจริง
- ไม่สามารถเข้าใจภาษาที่ตัวโมเดลถูกฝึกฝนมาน้อยได้
- ไม่มีความสามารถในการคำนวณทางคณิตศาสตร์ที่ใช้ในการตอบโจทย์
- ไม่สามารถรับรู้ได้ถึงการเปลี่ยนผ่านของเวลา
หากต้องการสร้างโมเดลที่สามารถก้าวข้ามข้อจำกัดเหล่านี้ได้ทั้งหมด นักวิจัยอาจต้องคำนึงถึงปัจจัยหลายอย่าง ไม่ว่าจะเป็นกำลังการประมวลผล การไม่ทำให้โมเดลเฉพาะเจาะจงกับคำถามประเภทใดประเภทหนึ่งจนเกินไป หรือความซับซ้อนและใหญ่ของตัวโมเดล หนึ่งในทางออกง่ายๆของปัญหานี้ คือการสอนให้โมเดลสามารถใช้ “เครื่องมือ” ภายนอกเข้ามาช่วยในการประมวลผลเพื่อตอบคำถาม
ทว่าการใช้เครื่องมือก็อาจไม่ง่ายอย่างนั้นเสมอไป ในปัจจุบันเรามีโมเดลที่สามารถทำงานได้ตามวิธีการ (Instructions) ที่มนุษย์เป็นผู้เขียนขึ้น ทว่าโมเดลเหล่านี้อาจต้องพึ่งพา Input จากมนุษย์เป็นอย่างมาก หรือทำงานได้ในงานที่ถูกกำหนดโดยเฉพาะเท่านั้น
แล้วถ้าโมเดลสามารถเรียนรู้ว่าเครื่องมือไหนเหมาะกับงานใด และสามารถเลือกเครื่องมือได้ด้วยตัวเองล่ะ?
Toolformer โมเดลภาษาที่สอนตัวเองให้ใช้เครื่องมือได้
นักวิจัยจาก Meta AI พัฒนาโมเดล Toolformer ขึ้นให้สามารถเลือกใช้เครื่องมือผ่าน API ได้ และเมื่อระบบได้รับ Input จากผู้ใช้งาน โมเดลสามารถเลือก API ที่เหมาะสมเพื่อตอบคำถามได้อย่างถูกต้อง เป้าหมายของ Toolformer นั้นมีอยู่ 2 ประการด้วยกัน
- โมเดลสามารถเรียนรู้ได้ด้วยตัวเอง (Self-supervised) ว่าต้องใช้เครื่องมือใด โดยไม่ต้องรับความช่วยเหลือจากมนุษย์มาก ซึ่งจะเป็นการลดความจำเป็นของแรงงานและเวลาของมนุษย์ อีกทั้งสิ่งที่มนุษย์เห็นว่ามีประโยชน์และสอน AI นั้นอาจไม่ตรงกับสิ่งที่ AI ต้องการในการทำงานอย่างแท้จริง
- โมเดลนี้จะต้องทำงานได้แบบ Generalized ไม่เฉพาะเจาะจงไปที่งานใดเป็นพิเศษ และตัดสินใจได้ว่าควรใช้เครื่องมือใด ในเวลาใด เพื่อความกระชับและประสิทธิภาพของการทำงาน
เครื่องมือที่มีให้โมเดล Toolformer เลือกใช้นั้นมีทั้งหมด 5 อย่างด้วยกัน คือ ระบบตอบคำถาม Atlas ที่สามารถตอบข้อมูลตามความเป็นจริง, เครื่องคิดเลขที่สามารถบวก ลบ คูณ และหารได้, ระบบค้นหาของ Wikipedia, ระบบแปลภาษา, และปฏิทิน
นักวิจัยเทรนโมเดล Toolformer ด้วยชุดข้อมูลที่สร้างขึ้นจากตัวอย่างการเรียกใช้ API และคำตอบที่เหมาะสม ปรับข้อมูลเหล่านั้นให้อยู่ในรูปแบบที่โมเดลสามารถเข้าใจได้การเรียกใช้ API ได้ ตัวโมเดลนี้ใช้ Language Model จาก GPT-J เป็นตัวตั้งต้น และปรับจูนด้วยข้อมูลโมเดลภาษาบางส่วนจาก CCNet และเพิ่มกลไกในการคัดกรองคำถามประเภทต่างๆเข้าไป เช่น ให้เลือกใช้ API เครื่องคิดเลขในกรณีที่ Input มีตัวเลขมากกว่า 3 ตัวขึ้นไป
ทดสอบ Toolformer เทียบกับ GPT-J, OPT, และ GPT-3
ในการทดสอบ คณะนักวิจัยเลือกใช้ชุดข้อมูลคำถามตามประเภทของคำถามที่เครื่องมือทั้ง 5 สามารถคำถามได้ แล้วเทียบการทำงานของ Toolformer กับโมเดลตอบคำถามในลักษณะเดียวกันอย่าง GPT-J, GPT-J +CC, OPT (66B), และ GPT-3 (175) โดยได้ข้อสรุปว่า Toolformer ที่ใช้เครื่องมือในการช่วยตอบนั้นทำงานได้ดีกว่าโมเดลเหล่านี้ในการตอบคำถาม (ยกเว้นคำถามในภาษาเยอรมัน จีน และอราบิก)
รูปแบบของคำถามที่ใช้ในการทดสอบครั้งนี้ ได้แก่
- คำถามหาข้อเท็จจริง – โปรดเติมคำลงในช่องว่างเพื่อทำให้ประโยคนี้ถูกต้องตามความจริง
- คำถามคณิตศาสตร์ – [สมการ] และคำตอบคือ
- คำถามทั่วไป – โปรดตอบคำถามต่อไปนี้ [คำถาม]
- คำถามหลายภาษา – งานของคุณคือการตอบคำถาม(โดยใช้ความรู้)จากพารากราฟต่อไปนี้ [ข้อความในภาษาต่างประเทศ] โปรดตอบคำถามในภาษาอังกฤษ
- คำถามเกี่ยวกับเวลา – เติมคำในช่องว่างที่ต้องใช้วันเวลาในการตอบ และการคำนวณวันเวลา เช่น อีกกี่วันจะถึงวันที่ [วันที่]
แม้จะทำงานได้ดีเยี่ยมในการทดสอบ แน่นอนว่า Toolformer ก็ยังคงมีข้อจำกัดในการทำงานอยู่หลายข้อ เช่น ไม่สามารถใช้เครื่องมือหลายชิ้นต่อเนื่องกัน ไม่สามารถใช้เครื่องมือแบบ Interactive เช่น Search Engine ได้ ยังมีความอ่อนไหวอยู่มากกับรูปประโยคของคำถาม และไม่สามารถนำ Cost การประมวลผลในการเรียก API แต่ละครั้งมาร่วมตัดสินใจในการใช้เครื่องมือได้
กว่าจะมาเป็นโมเดล AI ที่ประยุกต์ใช้งานได้อย่างยอดเยี่ยมจริงในชีวิตประจำวันนั้น โมเดล AI ล้วนแต่ถูกพัฒนาอย่างต่อเนื่องทีละเล็กน้อยด้วยการทำงานของนักวิจัยหลายคณะ Toolformer นี้ก็เป็นผลผลิตจากงานพัฒนาโมเดลภาษาหลายชิ้นด้วยเช่นกัน
อ่านเปเปอร์ “Toolformer: Language Models Can Teach Themselves to Use Tools” ฉบับเต็มได้ที่นี่
