NVIDIA Chat with RTX 部署您的个性化本地人工智能聊天机器人
NVIDIA 最近发布了一款利用RTX AI 加速技术打造的聊天机器人——「Chat with RTX」早期演示程序。只要你拥有配备8GB显存的NVIDIA RTX 30或40系列显卡，就能体验到这一新技术。其亮点在于，用户可以向大型语言模型提供txt、doc、pdf文件或视频链接，从而定制模型以提供个性化的回答。索引工作在本机上进行，因此无需担心隐私问题。
系统要求
| 平台 | Windows |
| 图形处理器 | NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU，具有至少 8GB VRAM |
| 内存 | 16GB 或更大 |
| 操作系统 | Windows 11 |
| 驱动 | 535.11 或更高版本 |
官方下载：【点击前往】
Chat with RTX 支持各种文件格式，包括文本、pdf、doc/docx 和 xml。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。此外，您可以提供 YouTube 播放列表的网址，应用程序将加载播放列表中视频的转录，使您能够查询它们涵盖的内容。
Chat with RTX 技术演示是根据GitHub上提供的 TensorRT-LLM RAG 开发人员参考项目构建的。开发人员可以使用该参考来开发和部署自己的基于 RAG 的 RTX 应用程序，并由 TensorRT-LLM 加速。
共有 0 条评论