รายงาน Stanford ชี้ เครื่องมือ AI สำหรับกฎหมาย ยังมีความท้าทายในการใช้งานจริง

0

แม้ว่าโลกของโมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLMs) จะเริ่มเห็นศักยภาพมากมายในหลากหลายงาน หากแต่ในด้านกฎหมายอาจจะไม่ได้เป็นอย่างที่คิดไว้ โดยจากงานวิจัย Stanford University ชี้ให้เห็นว่าเครื่องมือ AI ด้านกฎหมายยังคงมีอาการหลอนมากเกินกว่าที่จะใช้งานได้จริง

จากการศึกษาใหม่โดยนักวิจัยจากมหาวิทยาลัย Stanford University ชี้ให้เห็นว่าเครื่องมือ AI สำหรับด้านกฎหมายนั้นยังคงมีอาการหลอน (Hallucination) ในอัตราที่มีนัยสำคัญ หรือว่ามีผลลัพธ์ที่แสดงให้เห็นว่าเป็นข้อมูลเท็จอย่างเห็นได้ชัด

หนึ่งในความท้าทายของ AI สำหรับด้านกฎหมายนั้นคือการประยุกต์ใช้เทคนิค RAG ที่เครื่องมือ Generative AI ส่วนใหญ่มักใช้งาน ซึ่งสิ่งนี้เองที่มีความท้าทาย เพราะการให้ AI สามารถค้นหาข้อมูลด้านกฎหมายบนเอกสารจำนวนหนึ่งอาจจะไม่ได้เพียงพอสำหรับด้านกฎหมายที่มักจะไม่ได้มีคำตอบที่ชัดเจนอย่างใดอย่างหนึ่งเสมอ ซึ่งบางกรณีอาจจะไม่ได้มีเอกสารที่ชัดเจนว่ากรณีดังกล่าวควรจะต้องให้คำตอบอย่างไร เป็นต้น

นอกจากนี้ นักวิจัยยังได้มีการประเมินเครื่องมือ AI ด้านกฎหมายชั้นนำ ไม่ว่าจะเป็น Lexis+ AI โดย LexisNexis, Westlaw และ Ask Practical Law AI โดย Thomson Reuters ซึ่งผลลัพธ์พบว่าทั้ง 3 สามารถดำเนินการได้ดีกว่า GPT-4 หากแต่ก็ยังห่างไกลกับการใช้งานจริง โดยมีอาการหลอนอยู่ที่ 17-33% จากการส่งข้อมูลสอบถาม 

อีกทั้ง นักวิจัยยังพบว่าระบบมีปัญหากับการเข้าใจกฎหมายพื้นฐานที่จำเป็นต้องมีการวิเคราะห์จากแหล่งอ้างอิงที่อ้างมาโดยเครื่องมือ ซึ่งนักวิจัยชี้ว่าด้วยธรรมชาติของเครื่องมือ AI ด้านกฎหมายที่มักจะเป็นแบบปิด ได้ทำให้นักกฎหมายยังมองไม่เห็นว่าเครื่องมือดังกล่าวจะมีความปลอดภัยและพร้อมที่จะพึ่งพาเครื่องมือดังกล่าวได้เมื่อใด

สำหรับรายละเอียดอื่น ๆ ในงานวิจัยของ Stanford University สามารถอ่านเพิ่มเติมได้ที่นี่

ที่มา: https://venturebeat.com/ai/stanford-study-finds-ai-legal-research-tools-prone-to-hallucinations/