Chiphell - 分享与交流用户体验

标题: DLSS3能实时插帧视频就好了 [打印本页]

作者: inflation 时间: 2022-12-22 04:53
标题: DLSS3能实时插帧视频就好了
本帖最后由 inflation 于 2022-12-22 04:55 编辑

根据测试，DLSS3既然游戏都能插帧，所有视频（包括网页视频）实时插帧也有可能？
(, 下载次数: 31)

作者: privater 时间: 2022-12-22 05:27
本地视频插帧不是早就有了吗？你要说网页视频那个基本不可能，技术和加密原因。

作者: bluesky1234 时间: 2022-12-22 05:27
从DLSS3发布之初就一直期待的功能。
老A卡BlueskyFRC缺点是遇到运动元素占全屏幕比例过大时会暂时放弃插帧，SVP和DmitriRender缺点是快进快退拖动后要顿一下才开始插帧（非常影响观看小电影）。
看到DLSS3游戏实测会有UI闪烁问题，这也恰恰说明了目前版本的DLSS3是后期处理，意味着有可能用于视频，希望老黄早日开放视频实时插帧。

作者: ljy1414 时间: 2022-12-22 05:28
实时个人不清楚，但是本地视频很早就能使用DmitriRender、SVP4补帧，但是不是基于DLLS3我不知道
有请大佬来回答此题

作者: 朝廷钦犯 时间: 2022-12-22 07:47
一个技术问题就是过低帧率预测的都是错误的，产生的烂桢错误桢，我不相信dlss3 就能判断正确

作者: chungexcy 时间: 2022-12-22 08:43
至远星了，老黄早就在20系上发布了光流法插帧

NVIDIA Optical Flow SDK
Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量，这些向量对于帧到帧的强度变化具有鲁棒性，并可追踪真实的物体运动。

作者: xsdianeht 时间: 2022-12-22 09:15
游戏每一帧都是清晰锐利的（不开动态模糊），45帧补90帧不慢放根本看不出区别，我就是在物理机三四十帧的情况下用补帧打通了半条命alyx

视频暂停每一帧都是糊的，补帧效果就大打折扣了

作者: bluesky1234 时间: 2022-12-22 09:58

chungexcy 发表于 2022-12-22 08:43
至远星了，老黄早就在20系上发布了光流法插帧

楼主说的是【实时插帧】，想看个小电影先光流法转几小时？

作者: cloud 时间: 2022-12-22 09:59

ljy1414 发表于 2022-12-22 05:28
实时个人不清楚，但是本地视频很早就能使用DmitriRender、SVP4补帧，但是不是基于DLLS3我不知道
有请大佬来 ...

svp4是用的optical flow 部分底层和dlss3一样

作者: ZBKX 时间: 2022-12-22 11:20
给视频加上TAA?

作者: BADASSBOT 时间: 2022-12-22 11:29

bluesky1234 发表于 2022-12-22 09:58
楼主说的是【实时插帧】，想看个小电影先光流法转几小时？

实时插帧,也是需要用光流处理器的。。。现在的DLSS 3就是用的光流处理器来实现的

作者: bluesky1234 时间: 2022-12-22 11:40

BADASSBOT 发表于 2022-12-22 11:29
实时插帧,也是需要用光流处理器的。。。现在的DLSS 3就是用的光流处理器来实现的 ...

消费者只看结果，2012年发布的HD7750没有光流处理器一样可以视频实时插帧。

作者: 盐湖 时间: 2022-12-22 12:11
本帖最后由盐湖于 2022-12-22 12:13 编辑

楼上坛友说的迪米特里插针器早就实现了本地实时插针，效果很好，高速运动场景会有鬼影或果冻，但是完全在我接受范围内，因为比起那一点点瑕疵，插针后整体的流畅度带来的体验提升非常直观，个人认为是吊打SVP之流的。唯一的缺点是低端卡不友好以及不支持RDNA

，高分辨率+低端卡会造成明显的画面相对声音滞后，也就是声画不同步，这个是设备性能问题，用高端卡就不会出现，甚至cuda占用都不会满。价格我记得是70元一份密钥，每个密钥可以反激活两次，但是如果你重装了系统又忘记了反激活，不好意思那就得重新买了。

PS：我不知道有没有关联，但是上述的“鬼影”或“果冻”效果和我最近看到的一个叫“异步重投影”的技术中出现的现象很相似，不知道有没有懂的大佬刚好知晓其中奥秘？我还挺好奇的，因为我对这些能提升用户体验流畅度的技术非常非常有好感

作者: manysu 时间: 2022-12-22 13:44
唉，过了这么多年，BlueskyFRC似乎还是最优解。

作者: cdcdcced 时间: 2022-12-22 13:56

盐湖发表于 2022-12-22 12:11
楼上坛友说的迪米特里插针器早就实现了本地实时插针，效果很好，高速运动场景会有鬼影或果冻，但是完全在我 ...

RDNA不支持BFR也不支持DM，佛了

作者: fatezeroart 时间: 2022-12-22 14:15
现在效果最好的是基于神经网络计算的实时AI插帧 RIFE

https://www.svp-team.com/forum/viewtopic.php?id=6281

插帧效果最好，伪影最少，缺点就是对显卡性能要求很高，推荐用RTX卡来插帧，最新版可用Tensor Core来加速AI插帧过程

作者: pooChai 时间: 2022-12-22 16:50

privater 发表于 2022-12-22 05:27
本地视频插帧不是早就有了吗？你要说网页视频那个基本不可能，技术和加密原因。 ...

插帧是在已经有前三帧的情况下插第四帧，跟加密有毛关系？

作者: xoyojank 时间: 2022-12-22 22:22
这个插帧是依赖像素运动矢量的，游戏中很好获取，视频游一般没这份数据，只有颜色信息

作者: 电子管退烧友 时间: 2022-12-22 22:33
我百八年前就用CUDA插帧了。

电影画质是第一选项，DLSS2.35比DLSS3画质要好，DLSS2.4就开始降画质为DLSS3铺路，DLSS的巅峰只在2.35，后面都是劣币驱逐良币。 DLSS在数学意义上比原生要好，但不是原生，变了就不是电影了，而CUDA插帧没有这个问题，CUDA的唯一短板在于格栅和百叶窗的高光处理，但动态画质对比原生几乎是不变的。 DLSS插帧就像苹果的计算摄影方向，一开始就是错的。

作者: 我輩樹である 时间: 2022-12-23 02:10
不是有好多么，svp就可以选optical flow。我用的它的rife engine。

原因其实蛮简单的，光流法是性能选项，主要是为了在线运算，视频插帧本质是离线运算，当然了在线都能用离线也能，不过，代价是什么呢。

现在有很多离线的纯生成系算法比光流的质量好。

另外，视频插帧其实没那么大市场。首先插帧会打破运动律，有时候看起来奇怪。另外24帧的电影是将运动信息编码在动态模糊里面的，除非你能还原原始运动信息，否则只能插了个寂寞。

只能插那些没有运动模糊，运动律简单的镜头。卡通片比较适合。

作者: 我輩樹である 时间: 2022-12-23 02:21
大家可以参考这个帖子。早期信息，现在不一定准确。

https://chiphell.com/thread-2445724-1-1.html

nv在40系甚至还改良了插帧的性能，就是通过optical flow。
https://developer.nvidia.com/blo ... a-ada-architecture/

作者: atlantis414 时间: 2023-1-21 14:33

我輩樹である发表于 2022-12-23 02:10
不是有好多么，svp就可以选optical flow。我用的它的rife engine。

原因其实蛮简单的，光流法是性能选项， ...

大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍旧不能打开RIFE

作者: redraiderj 时间: 2023-1-21 16:34

atlantis414 发表于 2023-1-21 14:33
大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍 ...

我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上[VPS_64] Core for Vapoursynth 64-bit, [VPS_64] mpv video player, [VPS_64] mpv shared library, [VPS_64][BETA] RIFE/TensorRT interpolation engine以及[DS_64][VPS_64] RIFE interpolation engine. TensorRT相关的内容很大，有1.8个G。
2. 配置SVP：在控制面板里选择RIFE AI engine，Engine选TensorRT，然后底下的帧高度可以删掉，也可以改成你需要的条件。比如你填1080的话，1080p及以下视频会调用RIFE，高于1080p的就不会调用了。
3. 播放：打开SVP目录里mpv64子目录的mpv.exe，把你要播放的文件拖进去，第一次播放某个分辨率的视频时会跳出一个命令行窗口，等3-5分钟处理完毕，视频就开始正常播放了。

注意RIFE非常吃显卡，1080p@60-72帧需要3060以上，4K@48帧就需要4080了，想补到4K@60需要4090。

我比较了一下，RIFE的效果大多数情况下要优于SVP原生效果，和Dmitri感觉差不多，可能更强或更弱，但我肉眼分辨不出。不过如果镜头突然快速移动的话，会有非常明显的拖影和伪影，甚至不如SVP原生，可能是算法所限吧，因为同一个视频我换成720p也一样有这个问题，可以排除是显卡算力不够的原因。

作者: cloud 时间: 2023-1-21 16:42

redraiderj 发表于 2023-1-21 16:34
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上[VPS_64] Core for Vapou ...

我试了下 4090跑不动4k

作者: redraiderj 时间: 2023-1-21 16:45

cloud 发表于 2023-1-21 16:42
我试了下 4090跑不动4k

不补到60帧，只补双倍视频原始帧率跑得动么？

作者: atlantis414 时间: 2023-1-21 17:28

redraiderj 发表于 2023-1-21 16:34
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上[VPS_64] Core for Vapou ...

大佬基于AI Engine:ncnn/Vulcan的real-time playback能顺利启动吗? 没搞懂怎么装 Avisynth 3.7.2 才对

作者: 我輩樹である 时间: 2023-1-21 19:14

atlantis414 发表于 2023-1-21 14:33
大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍 ...

就是按照官方文档装的，不记得有什么特别的。

作者: atlantis414 时间: 2023-1-21 19:43

我輩樹である发表于 2023-1-21 19:14
就是按照官方文档装的，不记得有什么特别的。

(, 下载次数: 38)
我开始会提示这个
看了下AviSynth脚本路径这里
(, 下载次数: 44)
这个scripts文件里面的 .avs是安装什么来的

作者: 我輩樹である 时间: 2023-1-21 19:45

atlantis414 发表于 2023-1-21 19:43
我开始会提示这个
看了下AviSynth脚本路径这里

你装的potplayer么？我是用的mpc-hc，估计是插件冲突了吧。

作者: ONEChoy 时间: 2023-1-21 19:47

也就一个驱动的事但是...可以收钱的东西凭什么免费给你呢

请问MEMC芯片多少钱最早在手机出现直到电视机广泛应用

PS：听说有SVP插帧软件有性趣的可以搜搜试试

作者: atlantis414 时间: 2023-1-21 19:48

我輩樹である发表于 2023-1-21 19:45
你装的potplayer么？我是用的mpc-hc，估计是插件冲突了吧。

DirectShow player (MPC-HC, etc) using Avisynth Filter: needs Avisynth 3.7.2; very slow initialization (10+ secs), be patient! TensorRT is not supported.

是的我看了文档。说Avisynth Filter的也可以用。。。。。放弃了

作者: ONEChoy 时间: 2023-1-21 19:49

哈哈果然是在下拿衣服了已经有大佬玩过了

作者: 路西法大大 时间: 2023-1-21 20:07
本帖最后由路西法大大于 2023-1-21 20:25 编辑

我试了一下在POTplayer下无法启用RIFE补帧啊，大伙有成功的嘛？

哦原来是忘记了网页里面提到的第二部要在工具栏里面设置一下

试了补那些1080P的动画番剧到144HZ结果能把一张4090全吃光开上MADVR还不够用只能用Evr渲染勉强达成...

作者: 观望者 时间: 2023-1-21 20:37

redraiderj 发表于 2023-1-21 16:34
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上[VPS_64] Core for Vapou ...

那就是毛用都没有 amd就560 就可以插帧4k 72fps 功耗也就40多w

作者: redraiderj 时间: 2023-1-21 21:21

观望者发表于 2023-1-21 20:37
那就是毛用都没有 amd就560 就可以插帧4k 72fps 功耗也就40多w

算法不同，只是普通插帧的话我的3070插4K@60毫无压力的

作者: redraiderj 时间: 2023-1-21 21:24

atlantis414 发表于 2023-1-21 19:48
是的我看了文档。说Avisynth Filter的也可以用。。。。。放弃了

我用的SVP自带的mpv，看官网manual里只有mpv和VLC才能以10bit输出，所以我PotPlayer配Dmitri，mpv配SVP。

作者: fatezeroart 时间: 2023-1-21 22:46

观望者发表于 2023-1-21 20:37
那就是毛用都没有 amd就560 就可以插帧4k 72fps 功耗也就40多w

补出来的中间帧效果不是同一水平的，Bluesky Frame碰到稍微复杂点的转场及运动画面就停止补帧了，开了Anti Frame Blend Mode后果冻效应又太严重效果还不如SVP自己的运动插帧，RIFE就类似DAIN那种本来是用来离线渲染领域的能生成非常高质量的中间帧，只不过最新优化下模型速度很快已经能用于实时补帧了，开2x补帧效果都比Bluesky 插120fps来的准确，流畅

作者: alucard8679 时间: 2023-1-21 23:35

朝廷钦犯发表于 2022-12-22 07:47
一个技术问题就是过低帧率预测的都是错误的，产生的烂桢错误桢，我不相信dlss3 就能判断正确 ...

我玩8K都是20几帧补的没看出来哪错误了

作者: guchao0000 时间: 2023-1-22 00:13
展望一下，FSR 3.0能不能给视频补帧，毕竟是开源的。

作者: yuyu 时间: 2023-1-22 00:22

这是nVidia 50系显卡的卖点

作者: 观望者 时间: 2023-1-22 00:23
本帖最后由观望者于 2023-1-22 00:29 编辑

fatezeroart 发表于 2023-1-21 22:46
补出来的中间帧效果不是同一水平的，Bluesky Frame碰到稍微复杂点的转场及运动画面就停止补帧了，开了Ant ...

然后功耗呢？插帧也是为了看得爽吧如果为了这点提升搞得功耗太高了就算了

作者: fatezeroart 时间: 2023-1-22 00:37

观望者发表于 2023-1-22 00:23
然后功耗呢？插帧也是为了看得爽吧功耗高了就算了

补帧生成的帧质量最重要，伪影，果冻等瑕疵太多很影响观感不如不补，最新TensorRT加速下性能要求低了很多，补1080p源 2倍已经不需要太多n卡性能，当然a卡只能用ncnn那要求就另说了

作者: 春风柳上原 时间: 2023-1-22 00:50

redraiderj 发表于 2023-1-21 16:45
不补到60帧，只补双倍视频原始帧率跑得动么？

跑得动，4090最高只能补刀48帧，50帧都不行

作者: 朝廷钦犯 时间: 2023-1-22 09:28

alucard8679 发表于 2023-1-21 23:35
我玩8K都是20几帧补的没看出来哪错误了

说的是流媒体不是游戏

作者: Goro 时间: 2024-1-8 00:55
amd插到144帧

GCN架构就这个舍不得

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)