孤岛危机吧 关注:47,351贴子:1,345,009
  • 21回复贴,共1

【GTC20】英伟达DLSS 2.0

只看楼主收藏回复

文刀秋二介绍DLSS的讲座录像
先总结下TAA的常见用途
1、边缘抗锯齿
2、高光抗锯齿/压制PBR高频闪烁
3、低分辨率拉伸到高分辨率
4、给简单的随机采样方法去噪/分摊渲染开销,比方说毛发,透明物体
5、给复杂的随机采样方法去噪/分摊渲染开销,比方说光追,体积光
DLSS能做到1,2,3,4
其中1,2,3秒杀TAA几个来回,4能做到什么程度不清楚,5做不到
DLSS 1.0(好像)只使用spatial信息,2.0开始使用temporal信息,所以效果好了一大截
输入和TAA差不多,其一是运动矢量,其二是输入图像也需要使用低差异序列做抖动,比如halton序列,此外要根据原生分辨率拉伸采样点
一个比较有意思的细节是即便在540p渲染,贴图也必须使用最高清的,或者说mip选择必须根据目标分辨率决定,否则DLSS会给你重建出糊的贴图
上文提到DLSS做不到5,这个会带来很多麻烦,以UE4为例,UE4里很多特性都依赖全局TAA去噪,如果换用DLSS之后必须改成每个特性使用单独的TAA pass,这样的话对有些引擎移植DLSS会带来不少工作量,这可能也是为什么DLSS的UE4版本是单独分支,因为要改不少地方。
这讲座没提到什么DLSS技术细节,更有价值的是对TAA的分析,英伟达同一个组上礼拜写了个TAA的综述可以看看,里面提到TAA的糊很大程度其实来源于color clamping,这我先前也不知道



IP属地:上海1楼2020-04-03 18:06回复
    原来taa有这么多用处


    2楼2020-04-03 20:35
    回复
      2025-07-29 19:12:10
      广告
      不感兴趣
      开通SVIP免广告
      感谢吧主技术大讲堂,dlss2.0还是进步很大


      IP属地:山东3楼2020-04-03 21:36
      回复
        难怪Ue4老是要强制TAA


        IP属地:广东来自Android客户端4楼2020-04-03 22:32
        收起回复
          还有几点忘写了
          视频超分辨率里一般运动矢量都是用光流之类的方法估算的,而游戏里可以直接使用渲染器算好的精确解,所以渲染的超分辨率会比视频超分辨率还要好不少
          另外视频输入和TAA一样要做dither,意味着这也不是传统的单张图像超分辨率,会有很多额外信息
          另外DLSS和大多数TAA upscale方法一样是在后处理前完成的,然后后处理在全分辨率下跑,这意味着DLSS没法并行,shader单元必须停下来等待tensor core算完结果才能继续,不过在2080这个级别的硬件下DLSS也足够快了


          IP属地:上海7楼2020-04-05 01:10
          回复
            简直黑科技啊。。坐等ai插帧


            IP属地:广东8楼2020-04-05 02:02
            回复
              换个角度理解,在图像静止的情况下,用最简单的抖动采样加和方法(比方说棋盘渲染)其实就能重建出和原生分辨率几乎一致的图像,只不过一旦动起来就没法看了,而DLSS能做到静止和动态重建出的画面都很好。
              这么看的话DLSS其实也没有特别黑科技,DLSS本身输入信息比较完善(和TAA一样的dithered sample),有正确的运动矢量,这和传统认知的图像超分辨率有点区别,单图像超分辨率是真的要靠神经网络去脑补像素,效果自然更差。其实从学习算法角度,TAA就是人肉手调的参数去做超分辨率,而DLSS是神经网络学出来的参数,效果理应更好。


              IP属地:上海9楼2020-04-05 19:10
              回复
                我记得2.0可以自动识别人脸,比原画还清晰


                IP属地:河北来自Android客户端10楼2020-04-06 12:40
                回复
                  2025-07-29 19:06:10
                  广告
                  不感兴趣
                  开通SVIP免广告
                  黑科技,赶紧普及就对了。


                  来自Android客户端11楼2020-04-07 08:10
                  回复