人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除摘要：目前大多数面部去马赛克方法，无论是浅层学习还是深度学习，都试图在列车的帮助下学习低分辨率（LR）和高分辨率（HR）空间之间的关系模型 - 集合。他们主要关注通过基于模型的优化或区分推理学习来建模图像优先。但是，当输入的LR面很小时，学到的先验知识不再有效，其性能会急剧下降。为了解决这个问题，本文提出了一种通用的面部幻觉方法，可以将基于模型的优化和区分性推理相结合。特别地，为了利用基于模型的先验，借助于图像自适应拉普拉斯正则化将深度卷积神经网络（CNN）降噪器先前插入到超分辨率优化模型中。此外，我们进一步开发了一种高频细节补偿方法，将人脸图像分散到人脸部位，并以多层相邻嵌入方式执行面部幻觉。实验证明，所提出的方法可以为微小输入LR面获得有前途的超分辨率结果。
人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除简介：为了克服基于模型的优化方法和判别推理学习方法的缺点，同时利用它们各自的优点，最近，已经提出了一些方法来分别处理保真度项和正则化项，借助于可变分裂技术，例如作为ADMM优化或去噪正则化（RED）[Romano等人，2017]。基于模型的超分辨率方法试图迭代地重建HR图像，使得其降级的LR图像与输入的LR图像相匹配，而推理学习试图通过机器学习来训练降噪器，使用LR和HR图像对。因此，复杂的超分辨率重建问题被分解成一系列图像去噪任务，再加上容易处理的二次规范正则化最小二乘优化问题。
在许多真实的监控场景中，摄像机通常远离感兴趣的物体，系统的带宽和存储资源有限，这通常会导致非常小的人脸图像，即微小的脸部。虽然上述方法是通用的，可以用来处理各种图像劣化过程，但是当采样因子非常大时，这种方法的性能会变差，即输入LR人脸图像非常小。学习的降噪器先前不能充分利用人脸的结构，因此幻觉的HR面仍然缺乏详细的特征，如图1的第二列所示。通常，深度卷积神经网络（CNN）降噪器先验基于面部幻觉的方法可以很好地生成主要面部结构，但无法回复很多高频内容。为了处理非常小的输入图像的瓶颈，已经提出了一些基于深度神经网络的方法[Yu和Porikli，2016; Yu和Porikli，2017]。
人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除贡献：在本文中，我们通过Deep CNN Denoiser和多层邻居组件嵌入（MNCE）开发了一种新颖的面部马赛克去除方法。受[Zhang et al。，2017]的工作启发，我们采用CNN来学习先前的降噪器，然后将其插入基于模型的优化中，共同利用基于模型的优化和判别推理的优点。在这一步中，我们可以预测深度CNN降噪器的中间结果，看起来很平滑。为了增强细节特征，我们通过MNCE进一步提出了一种残差补偿方法。它将NCE扩展到多层框架，以逐步减轻LR和HR空间之间的不一致（特别是当因子非常大时），从而补偿在***步中未恢复的缺失细节。图2显示了该算法的流水线。
这项工作的贡献总结如下：
（i）我们提出了一种新颖的两步式去马赛克方法，它结合了基于模型的优化和区分性推理学习的优点。所提出的框架使得可以从不同来源（即一般和脸部图像）学习先验以同时调整面部马赛克。 （ii）为了恢复缺失的详细特征，提出了以多层方式嵌入相邻分量，并且可以逐步优化和改进幻觉结果。它提供了一种方案来缓解由于一对多映射导致的LR和HR空间之间的不一致性。
人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除实验：该算法的性能已经在大规模的名人脸属性（CelebA）数据集[Liu等人，2015a]上进行了评估，并且我们将该方法与现有技术进行了定性和定量比较数据集。我们采用广泛使用的峰值信噪比（PSNR），结构相似性（SSIM）[Wang et al。，2004]以及特征相似性（FSIM）[Zhang et al。，2011]作为我们的评估测量。
数据集：我们使用名人脸属性（CelebA）数据集[Liu et al。，2015b]，因为它包含大量多样，大量和丰富注释的主题，其中包括10,177个身份和202,599张脸部图像。我们选择10％的数据，其中包括20K训练图像和260个测试图像。然后，将这些图像对齐并裁切为128×128像素作为HR图像。 LR图像通过Bicubic 8×下采样（Matlab函数的默认设置imresize）获得，因此输入LR面是16×16像素。
建议的两步法的有效性。为了证明所提出的两步法的有效性，我们给出了不同步骤的中间结果。如图4所示，通过执行基于深度CNN降噪器的全局面部重建（步骤1），它可以很好地保持主要面部轮廓。通过逐层分量嵌入（Step2），我们可以期望逐步增强重建结果的特征细节（请参考第三到第五列）。作为一个学习的普遍以前，以前的深CNN降噪器不能用于建模面部细节。但是，它可以用于缓解LR和HR图像空间之间的歧义不一致，这将有利于以下相邻组件嵌入式学习。在第二步中，当它们之间的歧管结构间隙很小时，预测LR和HR空间之间的关系要容易得多。图5定量显示了多层嵌入的有效性。它表明，通过迭代嵌入，我们可以期望逐渐接近实际情况。
为了证明基于深度CNN除雪人的全局人脸重建模型的有效性，我们进一步展示了用双三次插值代替基于深度CNN除雪人的全局人脸重建的幻觉结果，同时保持第二步（即MNCE）为一样。如图6所示，深CNN降噪器可以产生更清晰和更整齐的面部轮廓。此外，我们还注意到具有MNEC的Bicubic也可以推断出合理的结果，这证明了MNCE在学习LR面和残差图像之间的关系时的能力。
定性和定量比较：我们将我们的方法与几种代表性方法进行比较，包括LLE [Chang et al。，2004]和LcR [Jiang et al。，2014b]，两种基于深度学习的代表性方法，SR-CNN [Dong et al。，2016]， VDSR [Kim et al。，2016]和两个最近提出的面部特定图像超分辨率方法，即LCGE [Song et al。，2017]和UR-DGN [Yu and Porikli，2016]。也作为基线引入双三次插值。
人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除结论和未来工作：在本文中，我们提出了一种新的两步式面部微小图像的面部幻觉框架。它共同考虑了基于模型的优化和判别推理，并提出了一种基于深度CNN降噪器的全局人脸重构方法。然后，通过多层邻居组件嵌入，全球中间人力资源面孔逐渐嵌入人力资源管理空间方式。对大规模人脸数据集和真实世界图像的实证研究证明了所提出的人脸幻觉框架的有效性和鲁棒性。输入面被手动对齐或通过其他算法对齐。在未来的工作中，我们需要考虑人脸对齐和解析来幻化具有未知和任意姿势的LR人脸图像。
