NVIDIA Chat with RTX 部署您的个性化本地人工智能聊天机器人

NVIDIA 最近发布了一款利用RTX AI 加速技术打造的聊天机器人——「Chat with RTX」早期演示程序。只要你拥有配备8GB显存的NVIDIA RTX 30或40系列显卡,就能体验到这一新技术。其亮点在于,用户可以向大型语言模型提供txt、doc、pdf文件或视频链接,从而定制模型以提供个性化的回答。索引工作在本机上进行,因此无需担心隐私问题。

系统要求

平台 Windows
图形处理器 NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存 16GB 或更大
操作系统 Windows 11
驱动 535.11 或更高版本

 

官方下载:【点击前往

 

Chat with RTX 支持各种文件格式,包括文本、pdf、doc/docx 和 xml。只需将应用程序指向包含文件的文件夹,它就会在几秒钟内将它们加载到库中。此外,您可以提供 YouTube 播放列表的网址,应用程序将加载播放列表中视频的转录,使您能够查询它们涵盖的内容。

Chat with RTX 技术演示是根据GitHub上提供的 TensorRT-LLM RAG 开发人员参考项目构建的。开发人员可以使用该参考来开发和部署自己的基于 RAG 的 RTX 应用程序,并由 TensorRT-LLM 加速。

版权声明:
作者:wangluo
链接:http://codeftp.com/?p=575
来源:源码分享网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>