照片随便拍 光影任意调 MIT谷歌新研究器材党看了会沉默

澎湃新闻 2020-08-14 05:46 大字

金磊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

在摄影这件事上,「光影」简直不要太重要。

毕竟大师们摄影作品,大多都是对「光」和「影」的拿捏。

△来自俄罗斯摄影师George Mayer

而最近,MIT 和谷歌等机构联手提出了一种用神经网络「打光」的新方法,大大降低了对「光影」拿捏的门槛——神经光线传输 (Nerual Light Transport,NLT)。

例如下图所示,只要拍好人物照片,无论背景如何转换,都可以相应的调节人物身上的「光影」。

去背景后的「AI 打光」效果更加明显。

还有这样的。

虽说「打光」效果是出来了,但这画风…有点像阴间的东西了。

言归正传,继续聊聊 NLT 这项技术。

NLT——拿捏光线的一把好手

光线传输(LT)可以描述一个场景中,物体在不同光照和方向下所呈现出来的样子。

而完整地了解一个场景的 LT,还可以实现任意光照下的新视图合成。

于是,MIT 和谷歌的研究人员基于图像 LT 采集(以人体为主),提出了一种半参数的深度学习框架,来学习 LT 的神经表示,名曰NLT。

总体而言,NLT 可以单独或同时完成以下两项任务:

用定向光或HDRI图,重新照亮场景的光线真实性。

合成具有视图依赖性效果的新视图。

来看下 NLT 在不同任务下的效果。

首先是「定向重打光」 (Directional Relighting)。

可以看到人物在光线的变化下,阴影、高亮的变化非常自然。

接下来,是基于「背景图的重打光」 (Image-Based Relighting)。

从背景图中,大致可以判断光源(太阳)的方向,而随着背景图的转动,人物身上的阴影也会随之发生改变。

最后,是「视图合成+同步光源」 (View Synthesis & Simultaneous)。

除了视觉效果惊艳之外,从定性角度来看,NLT 方法也取得了不错的效果。

例如,在「重打光」(Redlighting)任务中,与其它基线方法相比,在 PSNR 和 SSIM 两个指标中都取得了最先进的结果。

同样,在「视图合成」任务中,NLT 的结果也是相当不错。

那么,NLT 具体是如何实现这般效果的呢?

NLT模型:「查询」、「观测」两步走

NLT 的模型网络主要由2条路径构成,分别是查询路径 (Query Path)和观测路径 (Observation Path)。

「观测路径」将附近的 K 个观测值作为输入,在目标光和观察方向周围采样,并将它们编码成多尺度特征,汇集起来用来消除对其顺序和数量的依赖。

接下来,这些汇集起来的特征将被连接到 「查询路径 」的特征激活上。

这条路径将所需的光线和观察方向,以及物理上精确的 disue base 作为输入。

「查询路径」预测了一个残差图,该残差图被添加到diuse base上,用来产生纹理渲染。

最后,通过将深度神经网络嵌入到UV纹理空间中,便可以合成与可见光线和观看角度对应的纹理空间RGB图像。

华人小哥一作

这项研究的第一作者,是来自MIT的博士生,张修明。

张修明目前在 MIT 计算机科学与人工智能实验室(CSAIL),从事计算机视觉和计算机图形学领域的工作,尤其对重光照、视图合成和材料建模感兴趣。

另一位主要作者是Sean Fanello。

Sean Fanello是一名研究科学家,也是谷歌的经理,在谷歌领导容量性能捕获方面的工作。

研究兴趣主要包括数字人类、体积重建、高质量的深度传感和非刚性跟踪。

最后,项目将在近日开源,感兴趣的朋友持续关注下方参考链接中的信息更新。

参考链接:

http://nlt.csail.mit.edu/

— 完 —

本文系网易新闻 网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。原标题:《照片你随便拍,「光影」我任意调,MIT谷歌新研究,器材党老法师看了会沉默》

阅读原文

新闻推荐

俄首款新冠疫苗已获国家注册普京:我女儿已接种,感觉良好

俄首款新冠疫苗已获国家注册俄罗斯总统普京11日表示,俄卫生部已首次对本国研制的一款新冠疫苗给予国家注册。新华社发...

 
相关推荐