vision pro竞品何时可以推出？

wenwubin0426

苹果VISION PRO的推出，至少从硬件上给各个厂商做好了标杆，请懂行的说说，水平相当的竞品大概什么时候可以推出来？
我目前有PICO4, 7950x+4090平台，在本地可以比较舒服的跑7B开源模型+语音输入STT模型+语音输出TTS模型，这样子显存还有8G左右可以玩虚拟游戏。虽然目前游戏AI的集成不足，不过也是一步之遥了。
感觉再过一两年，集成AI功能的游戏，配合vision pro这样的平台，沉浸度会令人难以想象.......

wenwubin0426

那我稍微解释一下。游戏的本质是互动，目前的游戏最多也只能设定好几个选项，根据玩家的选择调用对应的路径。那么AI和高级VR加持的游戏什么样子呢？例如目前我电脑是7950X+4090, 24G的显存条件下，全部调用本地模型。我使用的是ooba text generation webui，加载7B的模型大概需要12g显存，和电脑语音互动需要STT(语音转文本）以及TTS(文本转语音），各需要2G共4G显存。这样子还有8G的显存可以玩游戏做显示。整体算下来24g显存还是不够的，显卡最好需要从36G显存起步。
有人说为什么用本地AI？本地AI的好处是无需审核，自由度高。当有了硬件后，无需后续订阅费用。目前我搭建好本地模型后，和AI助理的语音（英语）对话已经十分流畅了，可惜游戏目前还只能使用预定义的动作，玩法受限。
兄弟想象一下，带上VR(没有纱窗效应，超广视角），你完全用语音和手势，以及身体和游戏人物互动，什么感受？我说了很多人可能不理解，推荐油管搜索VOXTA，有演示视频。

wenwubin0426

巴特沃斯 发表于 2024-1-20 19:44
比AVP分辨率更高的VR头显今年估计就能有五六个。
但你要说集成AI功能的游戏，这样的描述在我看来就很难理解 ...

推荐油管搜索一下VOXTA，我体验过了，因为AI都是搭建的本地服务，延迟还是稍微大了些，不如他演示的流畅。

wenwubin0426

vipless 发表于 2024-1-21 11:37
国内什么时候能拿到真机 ，真的有吹得那么震撼吗？？

我目前用PICO4，用来串流，算力毕竟主机强太多了，串流软件买的VD。效果已经十分震撼了！vision pro的强悍配置，远远超过PICO4，可玩空间非常非常大。附近PICO4 2000元，VP 25000，价格差十多倍。玩过VR, 我猜测你有不同的感想。

wenwubin0426

芝士雪豹 发表于 2024-1-20 19:56
前言不搭后语的，没懂“显存还有8g左右”的逻辑，在你的设想中，玩ai集成的游戏是边玩游戏边游戏同时在推理 ...

兄弟，该出去学习学习，涨点见识了

wenwubin0426

5g的牛逼吹的比较大，应用场景相比4G提高有限，至少短期内差异不大。但是AI不一样，AI需求的基础基本都存在了，目前只需要把应用，尤其是软件应用落地就行了。估计很多人看过复仇者联盟，类似于钢铁侠的AI助理贾维斯，至少是幼年版本的贾维斯，在未来几年内落地是板上钉钉的事情。实际上目前就可以了，利用STT语音转文本，进入大模型，推理后输出答案，答案通过TTS文本转语音输出到人，同时文本内容利用关键字触发ACTION，目前都已经实现了。都有开源模型支持，几乎是零门槛，B站各种教程都有。目前稍微发展滞后的就是ACTION，不过各种agent也是雨后春笋，很快就会出来比较成熟的应用。

wenwubin0426

苹果最大的作用是作为标杆，当它把产品做出来了，证明了可行性，立刻就有跟进的了。目前感觉最有可能就是高通出相应的芯片，然后meta整合产品，例如quest 4 pro？价格即使翻倍，也可能吸引到不少人，毕竟目前它的生态规模最大。

wenwubin0426

芝士雪豹 发表于 2024-1-21 19:45
看了你说的演示，果然和我猜的差不多，也就能用到黄油上，“游戏的本质是互动”就不能苟同。可能galgame ...

这个只是第一步，可以看作技术上的验证，当AI和mr应用到其它的游戏上，可以理解下沉浸感怎样。。。

wenwubin0426

skywaymanz 发表于 2024-1-22 09:56
我觉得你懂的挺多，但还是没抓到玩游戏的本质。
头显这一类产品做的再好，它能提升的只是沉浸感这一层， ...

赞同你的观点，PC的用户群和成熟度远大于头显，必然先应用落地。AI和实时语音交互，我本地搭建的，平台用的是ooba text generation webui+7B模型，语音TTS 是coqui，语音STT是whisper，效果已经十分流畅了，AI智能也不低，延迟也可以忽略了。

wenwubin0426

netjunegg 发表于 2024-1-22 10:02
多个AI, 或者一边游戏一边AI, 不如同时使用多个显卡, 弹性以及成本都更佳. 甚至希望能推出纯AI卡 ...

这个目前可以实现的，本地搭建都可以。不少开源的模型和webUI都支持API, 空余的电脑可以当作服务器用，本地局域网串流。

wenwubin0426

netjunegg 发表于 2024-1-22 10:12
目前AI的性能还不太够, 特别是本地化AI. 什么时候本地化AI遍地开花就差不多了, 否则很多人都还没机会接触 ...

鬼子的模型开源的很多，挺好用。国内相对可能少一些。另外对于电脑的配置要求比较高，挡住了很多人尝鲜。

wenwubin0426

netjunegg 发表于 2024-1-22 10:21
手势和眼球跟踪这个体验应该是非常好的, 指点江山的感觉

至于游戏里面, 手势和眼球跟踪也能用上, 然后释 ...

目前我能想到的是通过串流来实现，VD做的就挺好，PC的性能释放比内置vr毕竟强大太多了。

wenwubin0426

pplto 发表于 2024-1-22 11:29
想多了，apple强在 软硬件结合。 菊花去年看懂apple发布 vision pro，直接反手把自己的vr团队撤掉了。先不 ...

话糙理不糙，发这个帖子就是要探究一下，苹果的这款产品毕竟集成了全球目前最强大的科技力量。不过如果高通出cpu/gpu芯片，谷歌或MS出系统，国内搞整合还是有戏的。能把价格打到40%，差不多万把块，受众可能稍微多一些。

wenwubin0426

pplto 发表于 2024-1-22 17:17
硬件不是自己的，其实做软硬件结合就没有什么优势了，你想做的特性，CPU厂商不会配合你去单独开发调试， ...

手机就是这个玩法，能否复制手机的路线？

wenwubin0426

netjunegg 发表于 2024-1-23 06:47
只要有参考, 还是能做出来相似度至少80%左右的竞品, 大不了多迭代几代, 就非常接近了 ...

有80%的相似度就很不错了，特别是高分辨率，广视角，动作跟踪这一套。苹果的vision pro这款产品堆硬件太厉害了。短期来看，我觉得可以先把外部显示功能去掉，虽然很酷。

wenwubin0426

xeon13 发表于 2024-1-23 17:18
感觉现在谈VR上来就谈视觉体验，交互体验，有点不会走就开始谈怎么跑的意思。

VR/AR目前最大而且不能短期 ...

目前用PICO4,串流基本能玩1个多小时，也还凑合。要是能到3-4小时就厉害多了。