谷歌解释了疯狂的天文摄影模式的工作原理

科技2020-09-22 14:20:50
导读 Google Pixel 4最令人印象深刻的功能之一就是天文摄影模式,它可以使用户准确地捕获星星的图像。谷歌此前曾谈到过它的工作原理,但该公

Google Pixel 4最令人印象深刻的功能之一就是天文摄影模式,它可以使用户准确地捕获星星的图像。谷歌此前曾谈到过它的工作原理,但该公司现在已经在其AI博客上发布了完整的解释,这使读者受益匪浅。

首先,该公司指出Pixel 4天文摄影模式最多可以曝光四分钟。该功能在Pixel 3和Pixel 3a系列上也可用,但是这些手机可提供长达一分钟的曝光时间。

谷歌解释说,长时间曝光的最大问题之一是它可能导致明显的模糊。

该公司在AI博客上解释说:“观看者会容忍照片中运动模糊的云朵和树枝,否则本来就很清晰,但是看起来像短线段的运动模糊的恒星看起来是错误的。”“为减轻这种情况,我们将曝光分为几帧,曝光时间短到足以使恒星看起来像光点。”

Google发现,拍摄夜空的理想每帧曝光时间为16秒,因此它将15帧(每帧持续16秒)组合在一起,从而在Pixel 4上提供了4分钟的整体曝光。上面我们自己的样本可能很漂亮。

另外四个挑战

该公司还从开发热像素/热像素开始,确定了在开发Pixel 4天文摄影模式方面的更多障碍。

长时间曝光时,会出现热像素或热像素,它们在图像中显示为微小的亮点(即使场景中实际上没有亮点)。但是谷歌表示,它能够通过“比较帧中和所有捕获的帧中的相邻像素的值”来识别这些亮点。

一旦发现亮点,Google便可以通过将其值替换为相邻像素的平均值来隐藏它。在左侧的图片中查看一个热像素或热像素的示例,在右侧的图片中查看Google的解决方案。

对于天文摄影模式,Google必须解决的第二个挑战是场景合成。手机摄像头的取景器通常每秒更新15次,但这在晚上成为问题。

Google解释说:“在低于大约满月左右的光照水平下,取景器大部分变为灰色-可能只显示了几颗明亮的星星,但没有任何风景-构图很困难。”该公司的解决方案是在天文摄影模式下显示最新捕获的帧(签出右侧的图像)。

“然后可以在曝光持续的同时通过移动手机来调整构图。一旦构图正确,就可以停止初始拍摄,并且可以在所有帧都具有所需构图的情况下捕获第二张照片。”

当涉及Pixel 4天文摄影模式时,自动对焦是另一个问题,因为极低的光线通常意味着它实际上找不到任何要聚焦的东西。Google的解决方案是所谓的“快门后自动对焦”技术。这将看到两个自动对焦框,最多可在按下快门键后捕获每个自动对焦框,每个框用于捕获任何值得关注的细节(尽管这些框并未用于最终图像)。如果快门后自动对焦仍然找不到任何内容,则将对焦设置为无穷远。但是,用户始终可以手动将注意力集中在某个主题上。

Google的最后一个障碍是使天空的光线水平恰到好处:“晚上,我们期望天空是黑暗的。如果夜间拍摄的照片显示出明亮的天空,那么我们将其视为白天的场景,也许会有轻微的异常照明。”

这家搜索巨头的解决方案是在低光照条件下使用机器学习使天空变暗。Google使用经过训练的设备上神经网络对10,000幅图像进行训练,以识别夜空,从而使夜空变暗。检测天空的功能还用于减少天空中的噪音,并增强特定功能(例如云或银河系)的对比度。在左侧检查初始结果,在右侧检查变暗的结果。

我们在自己的测试中发现,所有这些共同带来了一些相当出色的结果。

“对于Pixel 4,我们一直在使用银河系中最亮的部分,靠近人马座,作为无月天空图像质量的基准。按照该标准,Night Sight表现良好。”“银河系的照片显示出一些残留的噪音,它们令人赏心悦目,它们显示的星星和细节比人们看到真实夜空时要多。”

但是Google指出,到目前为止,它无法充分捕捉亮度范围非常广的微光场景(例如月光下的风景和月亮本身)。不过,在Pixel 4推出时,该公司暗示了针对此问题的解决方案,因此这似乎是Google的下一步。

免责声明:本文由用户上传,如有侵权请联系删除!