现在AI别的不行，图像处理换画风还是很好玩的，比如三渲二啊、把照片处理成油画，把普通画面处理成梵高毕加索。

这次RTX系列，除了实时光追之外，根据吹嘘还增强了AI方面的功能，说是可以下载老黄训练好的AI来抗锯齿。
虽然没说具体细节，但应该也是那种AI图像处理换画风，而且应该还是实时的。

那么有没有可能，可以把这个功能用来实时给画面进行AI处理？从而搞出一些奇葩画风的游戏出来？甚至玩家自己训练AI画风，然后做成MOD？

2D可能吧

游戏实时办不到。

可以，之前有好几篇Paper解决了性能和Temporal稳定性的问题，现在已经用在电影的预处理上了。

比如这篇主要是帧间稳定性问题。
https://www.youtube.com/watch?v=Khuj4ASldmU

理论上现在所有在屏幕上输出的游戏都已经可以转。但以现在AI的能力，没有专业美工的修饰是非常难看甚至恶心的。

个人想法主要是类似着色器那种作用。

比如三渲二，NV拿来渲染边缘的锯齿，理论上也应该是能分辨出哪些是边缘的，勾上边，找出明暗分界，感觉应该不会这么不稳定。
另外在开发领域应该也不错，比如AI绘图可以一定程度节省美工成本。

你那就是手调了。用AI就是这个风格。AI也可以把G-buffer的内容拿出来训练，做AO、抗锯齿之类，不过还是Conditional式的GAN居多，跟style-transfer不一样，这种比较稳定，效果也一般，也只有老黄硬件支持，换手机或者主机麻烦，用SSAO算了。

等等楼主你的图哪来的，我第一次看到效果这么好的。我就两三个月没看CV的论文就这么牛逼了？

是利用ai降噪

https://deepart.io/

这个去年就有了，之前想自己搓游戏，试试新科技AI绘图VR动捕，看过报道专门跑去玩的。

这种都是挑的图 现在文章就这样

你找一段较长的连续就会吃屎

电影和渲染可用 因为最后人看着的不对了可以修

打游戏这种 看到不对的时候已经不可修复了 说什么都晚了

距离游戏实时渲染还早

—— 来自 Sony G8142, Android 8.0.0上的S1Next-鹅版v2.0.2-play

有大佬说下超分1080转4k可以实时吗，效果会好吗

deepart.io这家的AI是提供视频AI渲染的，效果不错，不过要花钱。
这图是我上传上去的（梵高网上找的），有兴趣可以试试，效果其实挺好。

那不就老黄吹的dlss吗

—— 来自 Xiaomi MI 6, Android 8.0.0上的S1Next-鹅版v2.0.2

这个感觉最好用还在VR上，VR因为距离眼睛太近，屏幕的像素密度跟不上，AI把1440*1200处理成伪2880*2400很有意义（现在是用的超采样，比如1.4超采就是强行渲染出2016*1680再压缩，性能需求巨大）。

是正经人

—— 来自 Sony G8142, Android 8.0.0上的S1Next-鹅版v2.0.2-play

说AI处理图像赶紧去看看GOOGLE那个把所有东西都克苏鲁化的AI.
san值直线降低

那个绝壁故意的，什么都是狗脸，要不就什么都是猫脸，怕是专门拿克鲁苏图片训练的。

AI叛乱的根源.jpg

比起训练这个
更需要漫画动画除码

老黄现在那个所谓抗锯齿就用了类似原理，只不过是AI给游戏画面美颜抗锯齿……

AI着色现在还很慢，尤其是高分辨率高复杂度图像用V100跑起来一张图都要10分钟（8K分辨率）

暂时还难以用到游戏里

感觉出戏很正常，正常现实中动作的帧数要远远超过60帧乃至120帧

在没彻底解决DNN空间连续性之前，直接渲染不加后期调整看起来会有些怪异

在电影CG渲染里也有这个问题，再好的离线渲染器也没法彻底完美再现人物动作，在最终产品化前有大量人工调试

你发这个，哪怕人均ttx，也没人能接受0.002fps的游戏吧

-- 来自 有消息提醒的 Stage1官方 iOS客户端

这是关于稳定性的。关于性能的有其他工作

恩，性能的工作，大概还在100MS这个量级吧

嗯。

不过光线追踪以前也是一帧一帧来的，这次终于是阉割缩水之后能实时了。

然后NV吹嘘那个AI抗锯齿，其实也是一帧帧AI修图，理论上实时比光追容易一些。

毕竟现在的神经网络，训练的时候性能耗费大，训练好之后用起来没那么大，而且高度并行化，比如性能不那么高的手机平台都可以用上AI美颜。

其实还是需要调试的 我最近工作就在做这一块

训练网络不会直接到实际使用的 那个浮点计算量仍然是不能满足手机移动端需求的 而且随便体积太大 无论是内存空间还是还是存储空间都不太友好 特别是对于部分应用（主要是语音等时序数据）并行会有一些客观困难

手机端实际使用一般是FP32转INT8 甚至INT4最近也有了（不过还没看到应用） 这个需要人另外进行特别的调整 这一块目前有一些自动化工具 但是实际生成还是得针对不同网络人工调整

—— 来自 Sony G8142, Android 8.0.0上的S1Next-鹅版v2.0.2-play

比较复杂的GANs用int8精度推理根本不够，NV目前在推混合精度，但说老实话比较难用

Google的TPU2.0也是

不知道现在这些运算量强大的GPU可不可以做到实时，每秒1080的图像30/60帧？

记得NV一直有说对神经网络计算优化。

gan一系太怪了 我只会抄代码调包侠 不懂这个 不过那玩意挺敏感的 int带来的损失应该会有巨大影响

tpu google的人在给我狂吹建议我用。。。但我还没试过

—— 来自 Sony G8142, Android 8.0.0上的S1Next-鹅版v2.0.2-play

int用在图像和语音识别还不错，基本上可以替代FP16

GANs相当于到2个甚至3个DNN同时运行，FP16精度有时候都不够，更别说int了
目前国内外比较知名的GANs生成器基本全是FP32，1080TI都跑的爆慢（渲染8K图像都要几分钟才出一帧），而且还不支持张量单元