Chat with RTX 来啦

xiao88

Chat with RTX”聊天机器人被设计为一个本地化系统，用户无需上网便可使用，所有具有至少 8 GB 显存的 GeForce RTX 30 和 40 GPU 都支持该应用程序。

Chat with RTX 支持多种文件格式，包括文本、pdf、doc / docx 和 xml。只需将应用程序指向包含文件的文件夹，它就会在几秒钟内将它们加载到库中。此外，用户还可以提供 YouTube 播放列表的 URL，该应用程序将加载播放列表中视频的转录，使用户能够查询它们涵盖的内容。

从官方描述来看，用户可以通过不同的查询，与使用 Chat** 相同的方式使用 Chat With RTX，但生成的结果将完全基于特定数据集，似乎更适用于生成摘要、快速搜索文档等操作。

拥有支持 TensorRT-LLM 的 RTX GPU 意味着用户将在本地使用所有数据和项目，而不是将它们保存在云中，这将节省时间并提供更精确的结果。

英伟达表示，TensorRT-LLM v0.6.0 将性能提升 5 倍，将于本月晚些时候推出。此外，它还将支持其他 LLM，如 Mistral 7B 和 Nemotron 3 8B。

如果无法播放，请点击此处在新窗口打开

https://us.download.nvidia.cn/RTX/NVIDIA_ChatWithRTX_Demo.zip

秦南瓜

已下载~感谢

ykdo

让旅行者号再飞一会儿

yangzi123aaa20

能干本地翻译吗？不能的话看不出有什么用

privater

35G 的 demo？里面有啥  2 小时的 4k bluray？

archxm

又来制造焦虑

我輩樹である

有点大，肯定包含离线模型了。我推荐用lm studio，也是傻瓜化的离线llm工具 + chatbot。

sinopart

我下载后安装直接Failed了，不知道什么问题

邪恶的光B

玩一下试试，谢谢LZ分享

wu0lei

不知道什么问题  安装好几次都一样

PPXG

archxm 发表于 2024-2-14 08:42
又来制造焦虑

从哪看出来的在制造焦虑？

我輩樹である

里面是mistral和llama的q4模型。。。不知道有没有调优。

limon

是不是没有上下文记忆能力

gmlee1999

中文支持怎么样？

alte

网上看到的

jxljk

老黄自己的siri？

我輩樹である

limon 发表于 2024-2-14 12:23
是不是没有上下文记忆能力

自带的是Mistral和llama2的模型，有上下文能力也支持中文，只是7BQ4模型太拉了。

archxm

PPXG 发表于 2024-2-14 12:16
从哪看出来的在制造焦虑？

ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛

InuYasha

这玩意儿用来测网速蛮好的

TurbulenceY

这东西 是不是安装了之后 硬盘里面的东西就全部上传了?

atiufo

archxm 发表于 2024-2-14 13:31
ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛

我只看到厂商这年头不蹭ai热点就浑身难受，你个人用户玩不玩ai谁管你，当然如果是整天宣扬ai无用论然后被ai党拷打那就很正常了

archxm

atiufo 发表于 2024-2-14 14:07
我只看到厂商这年头不蹭ai热点就浑身难受，你个人用户玩不玩ai谁管你，当然如果是整天宣扬ai无用论然后被 ...

个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它

pdvc

archxm 发表于 2024-2-14 14:48
个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它 ...

你忘了第一生产力了？！

dream3446

wu0lei 发表于 2024-2-14 12:14
不知道什么问题  安装好几次都一样

进度条小字执行到微环境适配，就和你截屏一样安装报错了。
各种折腾后，在NV开发者论坛查到使用默认安装位置就可以过了，但后面安装貌似要下载不少东西，已经半个多小时了还在下载，TPU的评测说要占100G以上的磁盘空间。

63047838

archxm 发表于 2024-2-14 14:48
个人感觉，最有用的 ai 就是高德导航，2017 年我就开始用了。
如今对我来说，没有其他应用能够超越它 ...

AI画图已经被应用于视频制作和小成本游戏开发了，以后只会越用越多。

我輩樹である

wu0lei 发表于 2024-2-14 12:14
不知道什么问题  安装好几次都一样

要科学上网，它还要下一些依赖库。

我輩樹である

还非常初级，同样的模型，可能是因为没有instruction tuned，代码类的可以回答一下，其他的比较答非所问。而且居然不支持上下文。。。

速度也比lm studio gpu offload 32慢。，4090下前者offload 32轻松70 t/s，它目前只能48 t/s。

查了下，这个东西的目的不是通用问答，而是开发RAG类型的AI程序，想把它当普通chatbot肯定没有专门的好用。

archxm

63047838 发表于 2024-2-14 17:08
AI画图已经被应用于视频制作和小成本游戏开发了，以后只会越用越多。

油管看了不少，大部分是些可爱萝莉照片，拼成一段静态视频，刚开始图一新鲜，目前很少点开了。
你能举个实际例子吗？
所以，ai 实际是 没卵用的玩意，还是高德导航更硬。2017 年我就在用高德

YsHaNg

我輩樹である 发表于 2024-2-14 09:27
还非常初级，同样的模型，可能是因为没有instruction tuned，代码类的可以回答一下，其他的比较答非所问 ...

这个nv应用举例可以扔给它文件链接/YouTube 可以试试一个纯视频没有YouTube cc它怎么总结

YsHaNg

archxm 发表于 2024-2-14 05:31
ai 不就是，你不玩就是落后，就要挨打，
这种论调嘛

给欧美用的 on premise需求 你们有数据安全法厕纸可以不用蹭这个热度