Datadog เปิดตัว “Bits” ผู้ช่วย Generative AI พร้อมโซลูชันติดตามโมเดล LLMs

จากงานสัมมนา DASH เมื่อสัปดาห์ที่ผ่านมา Datadog ได้เปิดตัวผลิตภัณฑ์ใหม่ “Bits” ระบบผู้ช่วย Generative AI สมัยใหม่ที่จะช่วยบรรดาวิศวกรแก้ไขปัญหาแอปพลิเคชันต่าง ๆ ได้แบบ Real-Time พร้อมทั้งเปิดตัวโซลูชัน End-To-End สำหรับตรวจสอบติดตาม (Monitor) พฤติกรรมของโมเดลภาษาขนาดใหญ่ (Large Language Models : LLMs)

Datadog ผู้ให้บริการ Cloud Observability สำหรับแอปพลิเคชันและโครงสร้างพื้นฐานระดับองค์กร ล่าสุดได้ขยายขีดความสามารถของแพลตฟอร์มด้วยฟีเจอร์ใหม่ล่าสุด ได้แก่ Bits AI แนวทางใหม่ที่จะช่วยให้องค์กรสามารถตรวจจับปัญหาในแอปพลิเคชันและโครีงสร้างพื้นฐาน และโซลูชันเครื่องมือ End-To-End สำหรับการทำ LLM Observability

ด้วย Datadog Bits AI ใหม่นี้ ทีมงานจะมีผู้ช่วยที่แนะนำในการบริหารจัดการเหตุการณ์ (Incident) ที่เกิดขึ้นได้แบบ End-To-End ด้วยการตอบสนองผ่านแชทด้วยคำสั่งที่เป็นภาษาธรรมชาติภายในแพลตฟอร์มขององค์กร โดย Bits จะเรียนรู้ข้อมูลจากแหล่งต่าง ๆ ของลูกค้า ไม่ว่าจะเป็น Logs, Metrics, Transaction หรือแม้กระทั่งแหล่งความรู้อย่าง Confluence หรือเอกสารภายในรวมไปถึง Slack ได้ ซึ่ง Bits จะใช้ข้อมูลเหล่านั้นในการให้คำตอบในแต่ละคำถามเกี่ยวกับปัญหาต่าง ๆ ในการ Troubleshooting หรือขั้นตอนการแก้ไขได้ผ่านการสนทนา

อีกส่วนหนึ่งที่ Datadog ได้เปิดตัวเพิ่มเติมเข้าไปในแพลตฟอร์ม คือโซลูชัน LLM Observability ได้แบบ End-To-End ที่จะติดตามและแจ้งเตือนเกี่ยวกับการใช้งานโมเดล ค่าใช้จ่าย พร้อมทั้งประสิทธิภาพของ API อีกทั้งยังวิเคราะห์พฤติกรรมของโมเดล และตรวจจับอาการผิดปกติที่อาจเกิดขึ้น เช่น ความยาวของ Prompt และความยาวของการตอบสนอง ความหน่วง (Latency) ของ API หรือการนับจำนวนโทเค็น เป็นต้น