DLSS3能实时插帧视频就好了
本帖最后由 inflation 于 2022-12-22 04:55 编辑根据测试，DLSS3既然游戏都能插帧，所有视频（包括网页视频）实时插帧也有可能？
本地视频插帧不是早就有了吗？你要说网页视频那个基本不可能，技术和加密原因。 从DLSS3发布之初就一直期待的功能。
老A卡BlueskyFRC缺点是遇到运动元素占全屏幕比例过大时会暂时放弃插帧，SVP和DmitriRender缺点是快进快退拖动后要顿一下才开始插帧（非常影响观看小电影）。
看到DLSS3游戏实测会有UI闪烁问题，这也恰恰说明了目前版本的DLSS3是后期处理，意味着有可能用于视频，希望老黄早日开放视频实时插帧。 实时个人不清楚，但是本地视频很早就能使用DmitriRender、SVP4补帧，但是不是基于DLLS3我不知道
有请大佬来回答此题https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif 一个技术问题就是过低帧率 预测的都是错误的，产生的烂桢错误桢， 我不相信dlss3 就能判断正确 至远星了，老黄早就在20系上发布了光流法插帧
NVIDIA Optical Flow SDK
Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量，这些向量对于帧到帧的强度变化具有鲁棒性，并可追踪真实的物体运动。 游戏每一帧都是清晰锐利的（不开动态模糊），45帧补90帧不慢放根本看不出区别，我就是在物理机三四十帧的情况下用补帧打通了半条命alyx
视频暂停每一帧都是糊的，补帧效果就大打折扣了 chungexcy 发表于 2022-12-22 08:43
至远星了，老黄早就在20系上发布了光流法插帧
楼主说的是【实时插帧】，想看个小电影先光流法转几小时？ ljy1414 发表于 2022-12-22 05:28
实时个人不清楚，但是本地视频很早就能使用DmitriRender、SVP4补帧，但是不是基于DLLS3我不知道
有请大佬来 ...
svp4是用的optical flow 部分底层和dlss3一样 给视频加上TAA?[困惑] bluesky1234 发表于 2022-12-22 09:58
楼主说的是【实时插帧】，想看个小电影先光流法转几小时？
实时插帧,也是需要用光流处理器的。。。现在的DLSS 3就是用的光流处理器来实现的 BADASSBOT 发表于 2022-12-22 11:29
实时插帧,也是需要用光流处理器的。。。现在的DLSS 3就是用的光流处理器来实现的 ...
消费者只看结果，2012年发布的HD7750没有光流处理器一样可以视频实时插帧。 本帖最后由 盐湖 于 2022-12-22 12:13 编辑
楼上坛友说的迪米特里插针器早就实现了本地实时插针，效果很好，高速运动场景会有鬼影或果冻，但是完全在我接受范围内，因为比起那一点点瑕疵，插针后整体的流畅度带来的体验提升非常直观，个人认为是吊打SVP之流的。唯一的缺点是低端卡不友好以及不支持RDNA[偷笑]，高分辨率+低端卡会造成明显的画面相对声音滞后，也就是声画不同步，这个是设备性能问题，用高端卡就不会出现，甚至cuda占用都不会满。价格我记得是70元一份密钥，每个密钥可以反激活两次，但是如果你重装了系统又忘记了反激活，不好意思那就得重新买了。
PS：我不知道有没有关联，但是上述的“鬼影”或“果冻”效果和我最近看到的一个叫“异步重投影”的技术中出现的现象很相似，不知道有没有懂的大佬刚好知晓其中奥秘？我还挺好奇的，因为我对这些能提升用户体验流畅度的技术非常非常有好感[可爱] 唉，过了这么多年，BlueskyFRC似乎还是最优解。 盐湖 发表于 2022-12-22 12:11
楼上坛友说的迪米特里插针器早就实现了本地实时插针，效果很好，高速运动场景会有鬼影或果冻，但是完全在我 ...
RDNA不支持BFR也不支持DM，佛了 现在效果最好的是基于神经网络计算的实时AI插帧 RIFE
https://www.svp-team.com/forum/viewtopic.php?id=6281
插帧效果最好，伪影最少，缺点就是对显卡性能要求很高，推荐用RTX卡来插帧，最新版可用Tensor Core来加速AI插帧过程 privater 发表于 2022-12-22 05:27
本地视频插帧不是早就有了吗？你要说网页视频那个基本不可能，技术和加密原因。 ...
插帧是在已经有前三帧的情况下插第四帧，跟加密有毛关系？ 这个插帧是依赖像素运动矢量的，游戏中很好获取，视频游一般没这份数据，只有颜色信息 我百八年前就用CUDA插帧了。
电影画质是第一选项，DLSS2.35比DLSS3画质要好，DLSS2.4就开始降画质为DLSS3铺路，DLSS的巅峰只在2.35，后面都是劣币驱逐良币。DLSS在数学意义上比原生要好，但不是原生，变了就不是电影了，而CUDA插帧没有这个问题，CUDA的唯一短板在于格栅和百叶窗的高光处理，但动态画质对比原生几乎是不变的。 DLSS插帧就像苹果的计算摄影方向，一开始就是错的。 不是有好多么，svp就可以选optical flow。我用的它的rife engine。
原因其实蛮简单的，光流法是性能选项，主要是为了在线运算，视频插帧本质是离线运算，当然了在线都能用离线也能，不过，代价是什么呢。
现在有很多离线的纯生成系算法比光流的质量好。
另外，视频插帧其实没那么大市场。首先插帧会打破运动律，有时候看起来奇怪。另外24帧的电影是将运动信息编码在动态模糊里面的，除非你能还原原始运动信息，否则只能插了个寂寞。
只能插那些没有运动模糊，运动律简单的镜头。卡通片比较适合。 大家可以参考这个帖子。早期信息，现在不一定准确。
https://chiphell.com/thread-2445724-1-1.html
nv在40系甚至还改良了插帧的性能，就是通过optical flow。
https://developer.nvidia.com/blog/av1-encoding-and-fruc-video-performance-boosts-and-higher-fidelity-on-the-nvidia-ada-architecture/ 我輩樹である 发表于 2022-12-23 02:10
不是有好多么，svp就可以选optical flow。我用的它的rife engine。
原因其实蛮简单的，光流法是性能选项， ...
大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍旧不能打开RIFE atlantis414 发表于 2023-1-21 14:33
大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍 ...
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上 Core for Vapoursynth 64-bit, mpv video player, mpv shared library, RIFE/TensorRT interpolation engine以及 RIFE interpolation engine. TensorRT相关的内容很大，有1.8个G。
2. 配置SVP：在控制面板里选择RIFE AI engine，Engine选TensorRT，然后底下的帧高度可以删掉，也可以改成你需要的条件。比如你填1080的话，1080p及以下视频会调用RIFE，高于1080p的就不会调用了。
3. 播放：打开SVP目录里mpv64子目录的mpv.exe，把你要播放的文件拖进去，第一次播放某个分辨率的视频时会跳出一个命令行窗口，等3-5分钟处理完毕，视频就开始正常播放了。
注意RIFE非常吃显卡，1080p@60-72帧需要3060以上，4K@48帧就需要4080了，想补到4K@60需要4090。
我比较了一下，RIFE的效果大多数情况下要优于SVP原生效果，和Dmitri感觉差不多，可能更强或更弱，但我肉眼分辨不出。不过如果镜头突然快速移动的话，会有非常明显的拖影和伪影，甚至不如SVP原生，可能是算法所限吧，因为同一个视频我换成720p也一样有这个问题，可以排除是显卡算力不够的原因。 redraiderj 发表于 2023-1-21 16:34
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上 Core for Vapou ...
我试了下4090跑不动4k cloud 发表于 2023-1-21 16:42
我试了下4090跑不动4k
不补到60帧，只补双倍视频原始帧率跑得动么？ redraiderj 发表于 2023-1-21 16:34
我正好今天弄好了，你可以试着做一下：
1. 安装：你在SVP的组件维护界面里要装上 Core for Vapou ...
大佬 基于AI Engine:ncnn/Vulcan的real-time playback能顺利启动吗? 没搞懂怎么装 Avisynth 3.7.2 才对 atlantis414 发表于 2023-1-21 14:33
大佬问一下, svp怎么用RIFE AI? 提示是安装AviSynth+, 我下载了AviSynthPlus_3.7.2_20220317.exe安装后仍 ...
就是按照官方文档装的，不记得有什么特别的。 我輩樹である 发表于 2023-1-21 19:14
就是按照官方文档装的，不记得有什么特别的。
我开始会提示这个
看了下AviSynth脚本路径这里
这个scripts文件里面的 .avs是安装什么来的[震惊] atlantis414 发表于 2023-1-21 19:43
我开始会提示这个
看了下AviSynth脚本路径这里
你装的potplayer么？我是用的mpc-hc，估计是插件冲突了吧。 [偷笑] 也就一个驱动的事 但是...可以收钱的东西凭什么免费给你呢
[再见] 请问MEMC芯片多少钱 最早在手机出现直到电视机广泛应用
PS：听说有SVP插帧软件 有性趣的可以搜搜试试
页:
[1]
2