对于那些还不熟悉照片重建工具的人来说，这篇关于ar Xiv的论文的标题可能完全令人费解：“使用部分卷积对不规则孔进行图像修复。”然而，这项来自NVIDIA团队的研究为那些必须进行图像编辑并希望取得好结果的人指出了令人兴奋的改进方法。

图像修补就是在图像中填充孔。它可以用来取出不需要的图像内容，同时在空间中填充可信的图像。回到他们论文的标题，小组探索了他们采取的一个改进的过程，可以在照片编辑软件中实现。

在NVIDIA开发人员新闻中心，对他们的研究进行了概述。他们想出了一种方法，用来（1）编辑图像或（2）重建损坏的图像，一个有洞或缺少像素的图像。当他们说“编辑”时，包括删除内容和填充洞。

视频清楚地显示了这是多么有趣，展示了一组照片之前和之后的鳕鱼处理开始。一个场景是室外的岩石，另一个场景是室内的图书馆。还有一组展示了人类的脸，包括一个女人，年轻的男性和一个年长的男人。

他们的工作是什么？

由刘贵林领导的NVIDIA研究人员介绍了一种最先进的深度学习方法，它可以编辑图像或重建损坏的图像，一种有洞或缺少像素的图像。该方法还可以通过删除内容和填充产生的孔来编辑图像。这是根据视频笔记。

起作用的是两个阶段，训练阶段和测试阶段。

据新闻中心报道，为了准备训练他们的神经网络，该小组首先制作了随机条纹和任意形状和大小的洞的面具来训练。根据相对于输入图像的大小来设计类别，以提高重建精度。神经网络训练包括从Image Net、Places2和Celeba-HQ数据集生成的图像掩码。

”在训练阶段，从上述数据集将漏洞或缺失部分引入完整的训练图像，使网络能够学习重建缺失的像素。在测试阶段，在数据集中的测试图像中引入不同的孔或缺失部分，而不是在训练期间应用，以便对重建精度进行无偏的验证。

为什么他们的工作突出：“据我们所知，我们是第一个证明深度学习图像绘制模型对不规则形状的孔的有效性。”

研究人员意识到了现有的基于深度学习的图像修复方法。这些都是使用“标准卷积网络对损坏的图像，使用卷积滤波器响应的条件是有效像素以及替代值在掩蔽孔（通常是平均值）。他们说，“这往往会导致诸如颜色差异和模糊等人工制品。”后处理通常用于减少此类工件，但价格昂贵，可能会失败。

他们说，他们提出了部分卷积-通过“卷积被掩蔽和重新归一化，只以有效像素为条件”。

他们与其他方法进行了定性和定量比较，以验证其方法，并指出，他们的模型“优于其他不规则面具的方法”。

本文的作者是刘桂林、雷达、施凯文、王廷春、陶安德和卡坦扎罗。

进一步探索

现有的基于深度学习的图像修复方法在损坏的图像上使用标准的卷积网络，使用基于有效像素以及掩蔽孔中的替代值（通常是平均值）的卷积滤波器响应。这往往导致伪影，如颜色差异和模糊。后处理通常用于减少此类工件，但价格昂贵，可能会失败。我们建议使用部分卷积，其中卷积被屏蔽和重整化，仅以有效像素为条件。我们进一步包括一种机制，作为前传的一部分，为下一层自动生成更新的掩码。我们的模型优于其他方法的不规则面具。我们展示了定性和定量比较与其他方法，以验证我们的方法。