在AI领域家大业大的NVIDIA,近日与美国UMass Amherst大学、UC Merced大学研究人员,开发出利用AI人工智能技术,可以将普通常见的30fps进行智能插帧计算,可以获得240/480fps的慢动作视频。这个对于视频内容创作者来说可是个巨大福利,在一些需要慢放的镜头不再需要专门高帧率摄像头机,只要通过AI运算就能获得让人觉得流畅慢动作视频。
% w) Y; n* u9 r( z+ \+ R; ?* ^
1 Z0 V, n$ x0 X* p' P0 ~3 I我们都知道现在所谓的视频,其实是在一秒内播放多帧画面,让我们感觉到它是在不停变化中,这个与人眼的视觉暂留现象有关系。而一秒钟播放的帧数越多,我们感觉就视频越流畅,高帧率视频而且经过后期剪辑处理,还能做出非常多有意思的视频。 研究人员提到,尽管现在的手机可以拍摄240fps甚至更高帧率的慢动作视频,但由于高帧率需要庞大的缓存和数据写入系统,普通设备都是撑不住的,用他们来长时间纪录是不切实际的。而他们通过使用NVIDIA Tesla V100显卡以及cuDNN深度神经网络每天对超过11000个240fps视频进行训练,训练完成的模型可以将普通30fps视频插帧成240fps的视频,同时还会有独立的数据库来验证他们插帧内容准确性,是否符合原视频的效果。而之前绝大部分的插帧技术都是利用前后帧的关系生成更多的中间帧,NVIDIA与大学研究员则是只利用其中的一帧就可以办到,因此插帧数目显著提高,还能保持图像不失真,不影响观看效果。
& n2 ^8 c( i K0 M0 v
- n& p8 l P1 B! o, c4 X6 c9 [$ I# y. f4 T$ Z
其实类似的技术在AMD显卡上早就有所应用,在AMD显卡驱动上有个名为Fluid Motion的技术,它也可以通过显卡庞大的流处理器,将30fps插帧到60fps,而且过程中不需要动用到CPU进行计算,深受很多动漫党的喜爱,这样一来可以让默认以24fps制作的动画变成60fps那般丝滑流畅。
$ E# i2 ]& X* m a. b& s" g5 s* d. G+ F+ J( r
不知道NVIDIA什么时候打算公开这项技术? |