Chat with RTX 来啦

我輩樹である

YsHaNg 发表于 2024-2-14 17:48
这个nv应用举例可以扔给它文件链接/YouTube 可以试试一个纯视频没有YouTube cc它怎么总结 ...

没这个能力，要下载transript，而且目前没法指定下哪个。。

yan1990_y

privater 发表于 2024-2-14 08:21
35G 的 demo？里面有啥  2 小时的 4k bluray？

…………………………………………

木子滴血

能调教成猫娘吗

liyichao97

这玩意功能还不如阿里云他们做着玩的那个qwen-agent…
中文环境的话，mistral-tiny和llama2也都远远不如qwen 1.5 7b吧，更不用说阿里云现在还给你免费调云端的大尺寸模型api，想用本地就用本地，想高性能就连api，这不爽多了

YsHaNg

我輩樹である 发表于 2024-2-14 09:53
没这个能力，要下载transript，而且目前没法指定下哪个。。

敲 他blog里我记得是直接粘贴YouTube分享链接

YsHaNg

liyichao97 发表于 2024-2-14 10:11
这玩意功能还不如阿里云他们做着玩的那个qwen-agent…
中文环境的话，mistral-tiny和llama2也都远远不如qwe ...

Gemini nano iOS18 siri这些可以预计跑在几十TOPS 8gb内存设备上会多么弱鸡

63047838

archxm 发表于 2024-2-14 17:46
油管看了不少，大部分是些可爱萝莉照片，拼成一段静态视频，刚开始图一新鲜，目前很少点开了。
你能举个 ...

B站，芳斯塔夫，做科普的百万UP，已经开始用AI画插图，至于游戏，独立游戏和手游早就开始用了一搜一大把，只不过有的开发商不承认就是了。

liyichao97

YsHaNg 发表于 2024-2-14 19:18
Gemini nano iOS18 siri这些可以预计跑在几十TOPS 8gb内存设备上会多么弱鸡

2b左右的模型我试过几个，特定用途我估计是有用的，做简单的速记、总结，调用手机上的一些预置功能之类的应该可行
给端侧小模型提性能也是一个挺多人关注的方向，目前做得还很初步，过一两年再看可能大不一样

诛仙

我来试试看能不能翻译一些海外剧的英文字幕。。。。

YsHaNg

liyichao97 发表于 2024-2-14 11:40
2b左右的模型我试过几个，特定用途我估计是有用的，做简单的速记、总结，调用手机上的一些预置功能之类的 ...

最自虐的聊天体验就是raspberrypi上跑的羊驼7b

liyichao97

YsHaNg 发表于 2024-2-14 19:56
最自虐的聊天体验就是raspberrypi上跑的羊驼7b

手机还是不一样的，现在旗舰机动不动16g ram，带一个硕大的npu，跑个7b的模型还是很愉快的

YsHaNg

liyichao97 发表于 2024-2-14 12:51
手机还是不一样的，现在旗舰机动不动16g ram，带一个硕大的npu，跑个7b的模型还是很愉快的 ...

安卓就不说了很多soc npu还屏蔽掉的 s24已经出了 盲猜iPhone16和pixel9还用8gb ram maybe顶配大一点 参考这个推荐8gb vram 16gb gram hmmmm 除非apple前两天那个flash llm效果真的很好 按论文里描述也需要7gb ram做预载

liyichao97

YsHaNg 发表于 2024-2-14 20:58
安卓就不说了很多soc npu还屏蔽掉的 s24已经出了 盲猜iPhone16和pixel9还用8gb ram maybe顶配大一点 参考 ...

4bit量化啊，量化之后7b模型参数加上下文6g内存就够了
iphone我不知道它想怎么办，但是安卓没问题吧，而且国内好几个手机厂端侧模型都实装了，用处是不大但是确实跑得可以

YsHaNg

liyichao97 发表于 2024-2-14 13:04
4bit量化啊，量化之后7b模型参数加上下文6g内存就够了
iphone我不知道它想怎么办，但是安卓没问题吧，而 ...

我只是不清楚安卓生态 不敢乱说 毕竟和android aosp近乎两个世界 a17上那个npu刚开始支持int8吧

wu0lei

我輩樹である 发表于 2024-2-14 17:14
要科学上网，它还要下一些依赖库。

有科学环境但是没有全局 一会试试

powerduke

跑了下几个本机的语言模型，几个典型问题是网上找的去年2月份文章里说的chat**必问问题，Nvidia新发布这个说是基于Mistral-7B，所以在抱脸网上上下来了对比一下，没用4bit模式迁就8G显存，毕竟效果差，用的Mistral-7B标准的，4070TS的16G显存正好装下，推理速度挺快，每秒1x-2x个tokens吧。
Atom-7B-Chat算是国产的，也是基于llama的，喂得中文语料比国外的模型多，回答也都是中文的，好多问题都不回答

补充：nv那个安装包换个路径就报错安装不了，所以就不装了，反正推理模型也是基于Mistral-7B这个的

SupremeMiner

limon 发表于 2024-2-14 12:23
是不是没有上下文记忆能力

实测是没有

sw0702

听说这个AI不太AI

hu2851

这东西好啊
俺也搞一个
我去俺的显卡是AMD的……

finished

我輩樹である 发表于 2024-2-14 17:27
还非常初级，同样的模型，可能是因为没有instruction tuned，代码类的可以回答一下，其他的比较答非所问 ...

我现在只是想把它当离线旅游手册和英文学习指导，之类的基础功能使用，就是不知道行不行，效果怎么样。会不会给我些牛头不对马嘴的回答。之前google那个蛮好的。结果用一半说不支持所在地使用，明明不是国内地址了。不知道为什么。

我輩樹である

finished 发表于 2024-2-15 09:50
我现在只是想把它当离线旅游手册和英文学习指导，之类的基础功能使用，就是不知道行不行，效果怎么样。会 ...

自带的模型不行，精度低且没有最重要的human feedback调优。当然可以换其他模型，只要兼容tensor rt框架就可以编译为llm引擎。但这样以来这个东西只是个功能不完善的chatbot。

它主要的作用还是给开发者用的，当普通的chatbot，我还是推荐LM Studio。

小编特效

下载后，安装到下载库步骤，一小时了，进度条没有变化，还在下载文件吗？还是假死了？

moveable

终于有单个任务可以跑满双千兆叠加了。

godspeed66

小编特效 发表于 2024-2-15 10:28
下载后，安装到下载库步骤，一小时了，进度条没有变化，还在下载文件吗？还是假死了？ ...

等待就行

还有下一步

models--WhereIsAI--UAE-Large-V1  这个需要上外网

小编特效

米有外网，等了一小时，没有变化，安装被我取消了

dp84700

秦南瓜 发表于 2024-2-14 04:49
已下载~感谢

支持中文吗？

leeosx

dp84700 发表于 2024-2-15 14:35
支持中文吗？

貌似默认不支持。

TurbulenceY

yangzi123aaa20 发表于 2024-2-14 05:24
能干本地翻译吗？不能的话看不出有什么用

能,绝对能. 而且 你不看的资料可以导给他, 然后直接问他问题, 他来回答. 属于你的伴读书童了, 不过, 隐私就不知道了.

starlight

gmlee1999 发表于 2024-2-14 12:26
中文支持怎么样？

不行  据说有中文模型加入  现在支持的中文  强行掰弯之后 很多乱码