高分辨率(high resolution, HR)遥感影像在遥感影像判读中发挥着关键作用。然而,由于传感器硬件配置、传感器高度和成像设置等原因,大部分免费公开的遥感数据的空间分辨率不能满足更加精细的遥感应用的需求。近年来,超分辨率技术(super resolution, SR)被广泛应用于图像分辨率提升的研究中,并且根据是否有参考图像的参与,可以分为单图超分(sigal-image super resolution, SISR)和多图超分(multiple-image super resolution, MISR)。SISR由于只需要低分辨率图像(low resolution, LR)进行超分图像重建,因此在图像重建领域得到了广泛的应用,并取得了较好的重建效果。然而,现阶段的SISR多专注于小比例尺度的超分重建,例如2倍(2x)和4倍(4x)SR,更高倍率的超分重建很少。另外,仅有的少数大比率超分(8x)的研究多集中于超分重建自然图像中简单场景,对于复杂场景的超分重建精度不高。这可能是因为SISR只能从LR中提取特征,但LR中高频细节的缺失会导致重建图像的细节失真,同时图像中伪影的产生始终是现阶段大倍率超分研究中难以避免的问题。
基于现阶段大倍率图像超分中存在的细节失真和伪影的问题,我们提出了基于渐进式特征强化遥感图像超分网络(Progressive feature enhancement of remote sensing image super-resolution, PFESR)。首先,考虑到单一的LR所能提供的高频信息较少,我们提出了改进的风格迁移模块,用来生成重建高分辨率图像所需的高频信息;其次,由于不同模块的特征提取结果对高分辨率图像重建的作用存在差异,硬注意力和软注意力机制被用来选择对高分辨率图像重建重要的特征,并可以限制伪影的产生。再次,考虑到前期深度残差网络提取的特征可能不充分,我们构建了一个可学习的特征提取模块(VGG feature extraction, VFE),进行不同尺度的特征提取(2x, 4x, 8x);最后,考虑到原始图像和超分重建图像的空间分辨率差距较大(8x),我们提出了一个多尺度、渐进式特征融合模块,依次进行LR-2x-4x-8x图像特征融合,最终依据8x特征得到重建的HR。我们将该方法应用在两个公共数据集和一个自制无人机图像(unmanned aerial vehicle, UAV)数据集上进行重建实验,结果表明,PFESR在定量和定性评价结果中都取得了最高的精度。
表1 8倍超分实验定量结果
模型 |
PSNR↑(dB) |
SSIM↑ |
ERGAS↓ |
CC↑ |
RMSE↓ |
Bicubic |
21.832 |
0.580 |
2.531 |
0.929 |
0.0823 |
VDSR |
22.863 |
0.641 |
2.257 |
0.943 |
0.0730 |
DCM |
23.131 |
0.645 |
2.186 |
0.947 |
0.0709 |
Transnet |
23.404 |
0.660 |
2.125 |
0.950 |
0.0688 |
LDL+SwinIR |
21.919 |
0.517 |
2.531 |
0.930 |
0.0816 |
Hat |
23.560 |
0.663 |
2.091 |
0.951 |
0.0676 |
PFESR (our) |
23.715 |
0.670 |
2.062 |
0.953 |
0.0665 |
发表评论