论文题目： ROBUST INTERNAL EXEMPLAR-BASED IMAGE ENHANCEMENT

1 摘要

图像增强的目的是修改图像，以实现更好的人类视觉系统感知或更合适的表示来进一步分析。根据给定输入图像的不同属性，任务也会有所不同，如噪声去除、去模糊、分辨率增强、缺失像素的预测等。后两种方法通常被称为图像超分辨率和图像补全。存在着低质量输入图像分辨率不足、区域缺失的复杂情况。在本文中，我们提出了一种新的统一框架来同时实现图像的超分辨率和补全。该方法采用了图像水平和梯度水平的内部样本相似性，然后将这两个层次的增强结果输入预定义的代价函数，以恢复最终输出。实验结果表明，我们的方法能够产生清晰的边缘和真实的纹理
在本文中，我们提出了一种新的和直接的图像增强算法，它可以同时执行超分辨率和补全。给定一个输入的LR图像和一个表示缺失区域的掩模(s)，我们在梯度水平和图像水平上都执行增强。输入LR在水平和垂直方向（表示为x和y）的梯度被嵌入。所得到的HR梯度，连同已绘制的LR图像，被输入一个易于优化的成本函数，以重建最终的HR增强图像。所提出的图像增强框架的贡献是四方面的： 1)提出了一种统一的图像增强框架来实现一个具有不可用区域的LR输入图像的超分辨率和补画。2)采用梯度级和图像级增强，保证鲁棒性能。3)利用一个直接的能量函数来合并增强的梯度，同时保持与输入图像的一致性。

2 理论介绍

2.1 带补全的梯度级Upscaling

利用内部跨尺度梯度相似度，同时实现输入LR梯度的超分辨率和补全。根据观察，对于自然图像中的小图像斑块，在图像本身和不同尺度上存在自相似性，我们应该期望梯度斑块具有相似的冗余。
给定一个灰度输入LR图像LLL、掩模MMM和缩放因子sss，我们将LLL在xxx和yyy方向上的梯度表示为LxL_xLx​和LyL_yLy​。增强的HR梯度用HxH_xHx​和HyH_yHy​表示。LxL_xLx​被分解为一组大小为a×aa \times aa×a的重叠Patches。具有未知像素的补丁首先被升级。在缺失区域的Patches中，以像素qqq为中心的Patches PPP的上采样优先级确定如下：

其中P(q)P _{(q)}P(q)​表示以像素qqq为中心的patch，M‾\overline MM表示未掩膜区域，NNN为归一化因子（灰色图像为255），uqu_quq​表示与像素qqq正面正交的单位向量。如果像素值iii未知，则将C(i)C(i)C(i)的初始化设置为C(i)=0C (i) = 0C(i)=0，否则设置为C(i)=1C (i) = 1C(i)=1。LxqL_{x_q}Lxq​​表示LxL_xLx​中像素qqq处的值。如等式(1)中所示，在一个给定的像素处的优先级被测量为两项的乘积：置信项C(⋅)C(·)C(⋅)和数据项D(⋅)D(·)D(⋅)。这两项都被归一化到0到1之间。
与[9]中的优先级计算不同，我们在计算最终优先级时，通过将其修改为平方形式，为数据项分配更多的置信度。置信项保持不变。一般来说，置信项度量围绕一个给定像素的可靠信息的量。数据项检测该像素上的等光和同一像素上的轮廓碰撞强度。
在计算出沿掩蔽区域边界的每个像素的优先级后，选择其中心像素处优先级最高的patch作为查询patch ppp进行上采样。然后，我们通过比例因子sss对LxL_xLx​进行降采样，得到LLxLL_xLLx​。一个梯度patch池℘x℘_x℘x​由LLxLLxLLx中的所有patch（大小为a×aa \times aa×a）组成，它们的像素值都是已知的。为了确保更具表现性的表示，℘x℘_x℘x​中的所有patch以及查询patch ppp都被标准化为均值和单位方差为零。
给定一个查询patch ppp，它的kkk个最相似的patch会在patch池℘x℘_x℘x​中被搜索。两个补丁之间的相似性是用均方误差（MSE）来测量的。在LLxLL_xLLx​中获得kkk个相似的patch后，提取LxL_xLx​中相应的“父”patch，并以softmax的方式进行加权组合。然后根据ppp的原始均值和方差对组合后的patch进行重新调整，并“粘贴”到HxH_xHx​中相应的位置。在更新置信项和数据项后，重复上述过程，直到所有与掩模MMM重叠的patch进行上采样。然后在LxL_xLx​中的其余patch以类似的方式进行upscaled，而不需要计算patch优先级。HyH_yHy​在相同的结构中利用Ly计算L_y计算Ly​计算。
//
原文公式部分写的比较难懂

• uqu_quq​实际是如何计算的？

//

2.2 图像级别修复

为了保证在构建最终的HR增强图像时的鲁棒增强性能，我们还在最后的重建步骤之前对输入的LR图像L执行图像级嵌入。
根据等式 (1)计算沿LLL中掩模区域边界上的每个像素的优先级.然后，我们在lll的未掩蔽区域形成一个包含所有补丁（大小为a×aa \times aa×a）的补丁池。在补丁池中搜索中心像素优先级最高的补丁ppp中最相似的补丁。然后根据kkk个找到的补丁与查询补丁的相似性，以softmax的方式进行加权组合。补丁ppp中的未知像素值用组合补丁中相应的值填充。
在更新了填充像素的置信项和数据项后，将重复上述过程，直到预测出掩模区域内的所有像素值为止。最后，利用已绘制的图像LIL_ILI​和HR梯度HxH_xHx​、HyH_yHy​对目标HR图像HEH_EHE​进行最终重建。

2.3 最后的图像重建

在获得已绘制的LR图像LI和HR梯度HxHxHx，HyHyHy后，通过最小化以下能量函数重构输出的HR图像HEHEHE：

其中，∇HD∇H_D∇HD​表示计算出的HxHxHx和HyHyHy。λλλ是成本函数的两项之间的加权因子。GGG表示一个高斯核，其标准方差σσσ根据比例因子sss设置： σ=0.8,1.2,1.6σ = {0.8,1.2,1.6}σ=0.8,1.2,1.6，如果s=2,3,4s = {2,3,4}s=2,3,4。
在等式中所示的能量函数中包含了两项 (2): 第一项基于“梯度级升级”步骤后计算出的梯度，对目标HR图像的梯度进行了约束。第二项确保了输出的HR图像和完成的输入LR图像之间的一致性。通过梯度下降算法的迭代优化，可以轻松地优化代价函数：

其中ttt表示迭代的计数器，δδδ表示步宽。如图1所示，在不同的掩模下，所提出的框架很好地提高了输入LR图像的分辨率，并以一种与自然和真实的纹理在视觉上合理的方式预测缺失的像素值。

3 结论

在本文中，我们提出了一种新的鲁棒图像增强框架，可以在缺少像素的LR输入图像的情况下实现超分辨率和图像。输入LR梯度利用内部跨尺度的补丁相似性。与已绘制的LR图像一起，HR增强梯度被纳入一个直接的代价函数来重建最终的输出图像。大量的实验结果表明，所提出的方法是鲁棒性的，能够产生具有尖锐的边缘和自然纹理的视觉结果。