~~~~~皮衣黄昨天半夜又放大招，得，这回中高端的4080（S)和4090更不会降价了~~~~

enolc

https://www.nvidia.com/en-us/ai- ... -rtx-generative-ai/

Chat with RTX:

安装一个35G大小的应用软件，相当于用现有显卡（仅限于显存8G以上得30系列和40系列显卡），实现本地ChatGTP，这个应用的意义还是很重要，估计很多人会有刚需

非常好奇，各种中端，高端显卡之间的性能差异

以下内容是转贴自https://zh-cn.techwar.gr/338410/ ... xeis-gia-to-mellon/：

NVIDIA 正在围绕 AI 做很多有趣的事情，但其面向消费者的业务仍然主要集中在 赌博。现在，它的目标是通过推出 Chat with RTX（一种在计算机本地运行的人工智能聊天机器人）将这两个类别结合在一起。这 软件 它利用 NVIDIA 游戏 GPU 中内置的 Tensor-RT 核心（您需要 RTX 30 或 40 卡才能使用它），并使用大型语言模型 (LLM) 为您自己的数据提供有用的见解。

主要区别在于，与 Chat** 和 Copilot 不同，Chat with RTX 完全在您的计算机上运行，​​并且不会将数据发送到云服务器。您向其提供相关数据集，它会根据其中包含的信息提供答案。另一个不错的 特点 是您可以共享 YouTube 链接，而 Chat with RTX 会解释视频内容并回答问题 - 它通过从字幕文件中删除数据来实现这一点。

与 RTX 聊天是 可免费下载，安装程序为 35 GB。有几个条件。您需要具有至少 30GB VRAM 的 RTX 40 或 8 系列卡以及至少具有 16GB RAM 的机器。虽然 NVIDIA 推荐使用 Windows 11，但我在 Windows 10 PC 上运行该实用程序没有任何问题。目前，Chat with RTX 仅在 Windows 上可用，没有提及何时在 Linux 上发布。

安装两种语言模型（Mistral 7B 和 LLaMA 2）需要一个小时，而且它们占用的空间不到 70GB。安装后，将打开一个命令提示符窗口，其中包含活动会话，您可以通过基于浏览器的界面提出问题。

NVIDIA 提供了一个用于测试 Chat with RTX 的默认数据集，但我将该实用程序指向了“下载”文件夹，其中包含数百篇新闻稿、审阅指南以及我的所有文本 (.txt) 格式的文章。该聊天机器人可以分析 PDF 文件、Word 文档和纯文本，并且如前所述，您可以链接到 YouTube 视频并提出问题。

Chat with RTX 在总结细节方面做得很好，并且可以很好地解决手机发布日期等有针对性的问题。目前没有提出后续问题的规定，但这可能会在未来的版本中发生变化。

虽然它在显示相关信息方面做得很好，但也存在一些问题。我问聊天机器人使用了什么驱动程序 我在 Android Central 上评测过的 Fiio FX15 IEM。 FX15 使用三种不同驱动程序的组合，虽然聊天机器人正确回答了查询，但它链接到英特尔管理引擎安装文档，而不是找到该信息的 Fiio 审查指南。

与 RTX 聊天仍处于测试阶段，但显然有很大的潜力 这里。能够运行本地人工智能聊天机器人是一件大事，并且可以很好地显示您提供的数据的见解。至于我自己的用例，拥有一个可以总结新闻稿并指出有用细节的本地聊天机器人真是太好了，这就是我将使用 Chat with RTX 继续进行的操作。

如果您对 NVIDIA 提供的功能感兴趣，您可以轻松地在自己的 PC 上安装 Chat with RTX 并尝试一下 - 它可能不如 Chat** 强大，但能够使用您自己的数据是一个很好的区别。

wwwyj

gaming翻译成赌博了，哈哈

enolc

wwwyj 发表于 2024-2-14 23:23
gaming翻译成赌博了，哈哈

对啊，机翻的bug

enolc

回头试试用一段专业视频演讲的文件，生成一段文字总结，或者PPT格式的文件是否可行

qiu95

别听老黄吹牛逼了，估计就是tensorRT-LLM上面开8bit quant 或者smooth quant 跑的llama，没啥新的技术

pdvc

带的模型过于拉胯了……

enolc

qiu95 发表于 2024-2-14 23:29
别听老黄吹牛逼了，估计就是tensorRT-LLM上面开8bit quant 或者smooth quant 跑的llama，没啥新的技术 ...

只要硬件开始支持，软件的开发估计应该会很快跟上，毕竟皮衣黄有本地优势............ 面对AI这块超大蛋糕，老黄不可能甘心只做硬件服务

oolmfoo

股東表示支持

Coldfire1975

35G的本地AI有啥用？ 感觉老黄想走folding@home那套，未来就要各位共享算力来开发自家AI

enolc

Coldfire1975 发表于 2024-2-14 23:44
35G的本地AI有啥用？ 感觉老黄想走folding@home那套，未来就要各位共享算力来开发自家AI ...

只要模型给力，本地太有用了，速度和隐私都是本地极大的优势...............

yangzi123aaa20

7b int4的llama……话都说不顺溜，完全搞笑的

～〇～

除非个人电脑都是量子计算机等级，不然现阶段本地AI是不可能的

老黄为了股价是竭尽脑汁想主意了

enolc

gbawrc 发表于 2024-2-15 00:26
35G的本地模型，如果后续没有更新，不用几个月就废了

必然需要NV持续更新和优化软硬件的性能，否则很快就会被淘汰.................

enolc

～〇～ 发表于 2024-2-15 00:19
除非个人电脑都是量子计算机等级，不然现阶段本地AI是不可能的

老黄为了股价是竭尽脑汁想主意了

本地AI和分布式AI不是同一个概念 ，我猜想以后两者之间的模型和算法也会有很大的区别，应用的场景和目标客户群也不一样

rico19375

为什么20系不行。。。我刚把之前的10系升级成20系，就告诉我这个噩耗。。。

BFG9K

都没玩过LM Studio? LM Studio出来这么久了也没看对显卡价格有什么影响

声色茶马

～〇～ 发表于 2024-2-15 00:19
除非个人电脑都是量子计算机等级，不然现阶段本地AI是不可能的

老黄为了股价是竭尽脑汁想主意了

给你点个赞。

JackyQ2021

重点：1、估计；2、很多人会是刚需。
重点来了：很多人会是刚需，这个很多人是1%还是0.1%的很多人？到底是百分比多少才是很多人，是统计学上的很多人，还是想当然的0.1%的很多人

有些人天天制造各种焦虑，生怕大家活的太悠闲了

enolc

JackyQ2021 发表于 2024-2-15 09:51
重点：1、估计；2、很多人会是刚需。
重点来了：很多人会是刚需，这个很多人是1%还是0.1%的很多人？到底是 ...

焦虑永远都是自己给的，但凡别人说点啥就焦虑的人，本身也有很大问题吧？................

就事论事说个话题而已，何必上纲上线

如果说错了，请轻拍

by the way,很喜欢你的头像

enolc

一碗米饭 发表于 2024-2-15 10:09
刚需个屁，edge自带的copilot，比你这玩具好用一亿倍

比Chat with RTX 牛逼的多了去了............. 我就是好奇老黄能把这个噱头搞成个啥样

TurbulenceY

我的笔记本刚好能跑...贵了反正我也不买...

fhhghost

说实话挺鸡肋的 没啥意思

weskylixiaofeng

确实win11自带的copilot比这本地若只好得多。。。

richienie

完全不明白那种“本地部署=安全”“本地部署=不会联网”“本地部署=不上传东西”的想法

mishanyo

llama2 顶配70B参数, 可以算算要多大的显存可以装下,即便这个70B参数的模型性能和Chat**都差距明显, 他这种缩微版的LLM性能真就只是一个玩具而已.

dengyp42

不就是整合包嘛，图一乐的东西，拿这玩意跑ai吹什么显卡作用很大。。。不就跟当年买20系显卡说什么光追是未来一样搞笑嘛。。。等到了真能用的水平，怕不是显卡都更新到60系70系了，不会真觉得现在手里40系能战未来吧。。。。
况且，人家chat**的公司都要拉投资，甩开老黄，自己搞ai芯片了，不知道过个几年以后，还能有多少公司用显卡跑ai。。。。

晓古城

挺好的干活的都去买N，可惜没把A卡价格打下来