Chat with RTX 来啦
Chat with RTX”聊天机器人被设计为一个本地化系统，用户无需上网便可使用，所有具有至少 8 GB 显存的 GeForce RTX 30 和 40 GPU 都支持该应用程序。Chat with RTX 支持多种文件格式，包括文本、pdf、doc / docx 和 xml。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。此外，用户还可以提供 YouTube 播放列表的 URL，该应用程序将加载播放列表中视频的转录，使用户能够查询它们涵盖的内容。
从官方描述来看，用户可以通过不同的查询，与使用 Chat** 相同的方式使用 Chat With RTX，但生成的结果将完全基于特定数据集，似乎更适用于生成摘要、快速搜索文档等操作。
拥有支持 TensorRT-LLM 的 RTX GPU 意味着用户将在本地使用所有数据和项目，而不是将它们保存在云中，这将节省时间并提供更精确的结果。
英伟达表示，TensorRT-LLM v0.6.0 将性能提升 5 倍，将于本月晚些时候推出。此外，它还将支持其他 LLM，如 Mistral 7B 和 Nemotron 3 8B。
https://www.nvidia.com/content/dam/en-zz/Solutions/ai-on-rtx/chat-with-rtx/chat-with-rtx-demo-looping-video.mp4
https://us.download.nvidia.cn/RTX/NVIDIA_ChatWithRTX_Demo.zip
已下载~感谢 让旅行者号再飞一会儿 能干本地翻译吗？不能的话看不出有什么用 35G 的 demo？里面有啥2 小时的 4k bluray？ 又来制造焦虑 有点大，肯定包含离线模型了。我推荐用lm studio，也是傻瓜化的离线llm工具 + chatbot。 我下载后安装直接Failed了，不知道什么问题 玩一下试试，谢谢LZ分享 不知道什么问题安装好几次都一样
archxm 发表于 2024-2-14 08:42
又来制造焦虑
从哪看出来的在制造焦虑？ 里面是mistral和llama的q4模型。。。不知道有没有调优。 是不是没有上下文记忆能力 中文支持怎么样？ 网上看到的 老黄自己的siri？ limon 发表于 2024-2-14 12:23
是不是没有上下文记忆能力
自带的是Mistral和llama2的模型，有上下文能力也支持中文，只是7BQ4模型太拉了。 PPXG 发表于 2024-2-14 12:16
从哪看出来的在制造焦虑？
ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛 这玩意儿用来测网速蛮好的[偷笑]
这东西 是不是安装了之后 硬盘里面的东西就全部上传了? archxm 发表于 2024-2-14 13:31
ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛
我只看到厂商这年头不蹭ai热点就浑身难受，你个人用户玩不玩ai谁管你，当然如果是整天宣扬ai无用论然后被ai党拷打那就很正常了 atiufo 发表于 2024-2-14 14:07
我只看到厂商这年头不蹭ai热点就浑身难受，你个人用户玩不玩ai谁管你，当然如果是整天宣扬ai无用论然后被 ...
个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它 archxm 发表于 2024-2-14 14:48
个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它 ...
你忘了第一生产力了？！[偷笑] wu0lei 发表于 2024-2-14 12:14
不知道什么问题安装好几次都一样
进度条小字执行到微环境适配，就和你截屏一样安装报错了。
各种折腾后，在NV开发者论坛查到使用默认安装位置就可以过了，但后面安装貌似要下载不少东西，已经半个多小时了还在下载，TPU的评测说要占100G以上的磁盘空间。 archxm 发表于 2024-2-14 14:48
个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它 ...
AI画图已经被应用于视频制作和小成本游戏开发了，以后只会越用越多。 wu0lei 发表于 2024-2-14 12:14
不知道什么问题安装好几次都一样
要科学上网，它还要下一些依赖库。 本帖最后由 我輩樹である 于 2024-2-14 17:40 编辑
还非常初级，同样的模型，可能是因为没有instruction tuned，代码类的可以回答一下，其他的比较答非所问。而且居然不支持上下文。。。
速度也比lm studio gpu offload 32慢。[震惊]，4090下前者offload 32轻松70 t/s，它目前只能48 t/s。
查了下，这个东西的目的不是通用问答，而是开发RAG类型的AI程序，想把它当普通chatbot肯定没有专门的好用。 63047838 发表于 2024-2-14 17:08
AI画图已经被应用于视频制作和小成本游戏开发了，以后只会越用越多。
油管看了不少，大部分是些可爱萝莉照片，拼成一段静态视频，刚开始图一新鲜，目前很少点开了。
你能举个实际例子吗？
所以，ai 实际是 没卵用的玩意，还是高德导航更硬。2017 年我就在用高德 我輩樹である 发表于 2024-2-14 09:27
还非常初级，同样的模型，可能是因为没有instruction tuned，代码类的可以回答一下，其他的比较答非所问 ...
这个nv应用举例可以扔给它文件链接/YouTube 可以试试一个纯视频没有YouTube cc它怎么总结 archxm 发表于 2024-2-14 05:31
ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛
给欧美用的 on premise需求 你们有数据安全法厕纸可以不用蹭这个热度