性能提升5倍！英伟达发布Chat with RTX聊天机器人应用程序

NVIDIA今日发布了适用于Windows PC的"Chat with RTX"聊天机器人应用程序，该应用得到了TensorRT-LLM的支持。

"Chat with RTX"是一款本地化的系统，用户无需联网即可使用。所有配备至少8GB显存的GeForce RTX 30和40 GPU都兼容该应用程序。

Chat with RTX支持多种文件格式，包括文本、pdf、doc / docx和xml。只需将包含所需文件的文件夹指向应用程序，它就可以在几秒钟内加载这些文件到库中。此外，用户还可以提供YouTube播放列表的URL，该应用程序会加载列表中的视频转录内容，以便用户查询其涵盖的主题。

根据官方描述，在不同查询下与ChatGPT类似地使用Chat With RTX是可行的。不过需要注意的是生成结果将完全基于特定数据集，并且似乎更适合于生成摘要、快速搜索文档等操作。

拥有搭载了支持TensorRT-LLM的RTX GPU意味着用户可以本地使用所有数据和项目，而不是将其存储在云端上。这种设计不仅节省时间，还能提供更精确的结果。

同时，NVIDIA还表示，针对TensorRT-LLM v0.6.0版本将性能提升5倍，并计划在未来推出。此外，它还将支持其他类似技术（如 Mistral 7B 和 Nemotron 3 8B）的应用程序。

发布于：北京

相关推荐

性能提升5倍！英伟达发布Chat with RTX聊天机器人应用程序
英伟达推出 RTX 聊天机器人，可在 RTX 30 和 40 GPU 上免费使用
英伟达官宣AI聊天机器人，本地RTX显卡运行，这是要挑战OpenAI？
英伟达RTX 4090D正式发布：核心数减少11%，整体性能或降低10%！
英伟达发布GeForce RTX 4060系列显卡：2399元起
运行模型速度比竞品快5倍，英伟达携手微软加速Win11笔记本处理 AI 任务性能
英伟达RTX 4090，禁！
英伟达发布中国特供版RTX 4090D：砍掉部分核心功能后，速度降低11%，性能只差5%
英伟达深夜再放炸弹，发布超级芯片GH200反击AMD
英伟达特供版RTX 4090，来了！

网址: 性能提升5倍！英伟达发布Chat with RTX聊天机器人应用程序 http://www.xishuta.com/newsview108551.html