Nvidia เปิดตัวแชทบอท AI “Chat with RTX” เวอร์ชั่นเดโม่ให้เริ่มทดลองใช้กันแล้วในคอมพิวเตอร์ที่ใช้ GPU รุ่น GeForce RTX 30 และ 40 Series โดยสามารถใช้ได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต และที่สำคัญคือฟรี
Chat with RTX ของ Nvidia เป็นการประยุกต์ซอฟต์แวร์ TensorRT-LLM ให้มาอยู่ในรูปของผู้ช่วยอัจฉริยะที่สื่อสารได้ผ่านภาษาธรรมชาติ ทำงานร่วมกับไฟล์หรือคอนเทนท์ต่างๆ เช่น ไฟล์สกุล .txt, .pdf, .xml, .doc/.docx, และ URL จาก YouTube โดยผู้ใช้สามารถเทรนให้แชทบอทช่วยงานจิปาถะได้หลากหลาย รวมถึงถามคำถามเกี่ยวกับไฟล์ที่ป้อนเข้าไป เช่น การสรุปเนื้อหาเอกสารหรือวิดีโอ หรือรวบรวมลิสท์ของสิ่งที่จดไว้ภายในไฟล์
เบื้องหลังของเทคโนโลยีนี้คือ TensorRT-LLM ที่เป็นซอฟต์แวร์ใช้งานโมเดล LLM แบบ Opensource อย่าง Mistral และ Llama 2 ประกอบกับเทคโนโลยี Retrieval-Augmented Generation (RAG) และ RTX Acceleration ของ Nvidia ทำให้การวิเคราะห์ข้อมูลภายในเครื่องคอมพิวเตอร์เป็นไปได้อย่างรวดเร็วและมีประสิทธิภาพ
จุดเด่นอีกประการของแชทบอทตัวนี้คือการที่ตัวโมเดลประมวลผลบนเครื่องคอมพิวเตอร์แบบออฟไลน์ได้ ทำให้ไม่ต้องกังวลถึงความปลอดภัยและความเป็นส่วนตัวของข้อมูล มอบประสบการณ์การใช้งานตามใจนึกโดยไม่ต้องเชื่อมต่อกับคลาวด์ภายนอกหรืออินเทอร์เน็ต
Nvidia เริ่มเปิดแอปแชทบอทดังกล่าวให้ลองใช้สำหรับผู้ใช้ GPU รุ่น GeForce RTX 30 หรือ 40 Series โดยต้องมี VRAM อย่างน้อย 8GB ไดรฟ์เวอร์รุ่นล่าสุด และระบบปฏิบัติการ Windows 10 หรือ 11