基于级联密集网络的轮廓波变换域图像复原-刘宇男，张姗姗，王春鹏，李广宇，杨健.pdf

上善若水

366

13页

0次

2022-05-24

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2020,31(12):3968−3980 [doi: 10.13328/j.cnki.jos.005866] http://www.jos.org.cn

基于级联密集网络的轮廓波变换域图像复原

∗

刘宇男

张姗姗

王春鹏

李广宇

杨

健

(南京理工大学计算机科学与工程学院,江苏南京 210094)

(齐鲁工业大学计算机科学与技术学院,山东济南 250353)

通讯作者: 张姗姗, E-mail: shanshan.zhang@njust.edu.cn

摘要: 近年来,卷积神经网络凭借极强的学习能力,在图像复原任务上实现了比传统学习方法更令人满意的结

果.但是,由于丢失了重要的纹理细节,这些基于卷积神经网络的方法普遍存在着复原图像过度平滑的缺点.为解决

该问题,提出一种基于级联密集型卷积神经网络的轮廓波域图像复原方法,可以应用于单幅图像去噪、超分辨率及

JPEG 解压缩这 3 个经典图像复原任务.首先,构建了一种紧凑的级联密集型网络结构,不但可以充分挖掘和利用不

同层次的图像特征,而且解决了由于网络加深带来的长期依赖问题.接着,引入可以稀疏表示图像重要特征的轮廓波

变换,分别将低质量图像和重建图像对应的轮廓波子带作为网络的输入和输出,更加有效地恢复出逼真的结构和纹

理细节.在标准测试集的实验表明:提出的方法在 3 个图像复原任务上达到了当前最优的性能,不但获得了更高的峰

值信噪比和结构相似度,而且在主观的重建图像中包含了更加真实的纹理细节.

关键词: 图像去噪;超分辨率;JPEG 解压缩;轮廓波变换;级联密集型卷积神经网络

中图法分类号: TP391

中文引用格式: 刘宇男,张姗姗,王春鹏,李广宇,杨健.基于级联密集网络的轮廓波变换域图像复原.软件学报,2020,31(12):

3968−3980. http ://www.jos.org.cn/1000-9825/5866.htm

英文引用格式: Liu YN, Zhang SS, Wang CP, Li GY, Yang J. Image restoration based on cascading dense network in contourlet

transform domain. Ruan Jian Xue Bao/Journal of Software, 2020,31(12):3968−3980 (in Chinese). http://www.jos.org.cn/1000 -

9825/5866.htm

Image Restoration Ba sed on Ca scading Dense Network in Contourlet Transform Domain

LIU Yu-Nan

, ZHANG Shan-Shan

, WANG Chun-Peng

, LI Guang-Yu

, YANG Jian

(School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

(School of Computer Science and Technology, Qilu Universit y of Technology, Ji’n an 250353, China)

Abstra ct : In recent years, due to the powerful learning ability, convolutional neural networks (CNN) have achieved more satisfactory

results than conventional learning methods in image restoration tasks. However, these CNN-based methods generally have the

disadvantage of producing over-smoothed restored image due to the fact that losing important textural details. In order to solve this

problem, this study proposes an image restoration method based on cascaded dense CNN (CDCNN) in contourlet transform, which can be

used for three classical image restoration tasks, namely, single image denoising, super resolution, and JPEG decompression. First, this

∗ 基金项目: 国家自然科学基金(61702262, 61861136011, 61802212, U1713208); 长江学者计划; 江苏省自然科学基金(BK2018

1299); 中央高校基本科研专项基金(30918011322); 中国科学技术协会青年人才托举工程(2018QNRC001); 并行与分布式处理实验

室科学技术开放基金(WDZC20195500106)

Foundation item: National Natural Science Foundation of China (61702262, 61861136011, 61802212, U1713208); Program for

Changjiang Scholars; Natural Science Foundation of Jiangsu Province (BK20181299); Fundamental Research Founds for the Central

Universities (30918011322); Young Elite Scientists Sponsorship Progr am by CAST (2018QNRC001); Science and Technology on Parallel

and Distributed Processing Laborator y (PDL) Op en Fund (WDZC20195500106)

收稿时间: 2019-0 1-10; 采用时间: 2019-05-13; jo s 在线出版时间: 2019 -08-09

CNKI 网络优先出版: 2019-08-12 12:08:15, http://kns.cnki.net/kcms/d etail/11.2560.TP.20190812.1208.009.html

刘宇男等:基于级联密集网络的轮廓波变换域图像复原

3969

study constructs a compact cascading dense network str ucture, which not only full y exploits and util izes the different hierarchical fe atur es

of images, but also solves th e probl em of th e long-t erm dependency problem as growing the n etwork depth. Next, this study introduces the

contourlet transform into CDCNN, which can sparsely represent the important image features. Here, the contourlet subbands of

low-quality image and corresponding restored image are used as the input and output of the network respectively, which can recover

realistic structure and t extur e details more effectively. Comprehensive experiments on th e standard benchmarks show that the unanimous

superiority of the proposed method on all three t asks over the state-of-th e-art methods. The proposed method not only obtains higher peak

signal-to-noise ratio (PSNR) and structural similarity index (SSIM), but also contains more realistic textural details in the subjective

reconstruct images.

Key words: image denoising; super resolution; JPEG decompression; contourlet transform; cascading dense convolutional neural

network

作为重要的多媒体资源,图像是人们获取和传播信息的主要载体.但是,传输和存储过程中的很多因素都会

造成图像质量的退化,不仅影响了视觉效果,甚至严重干扰了对图像内容的正确理解.为了解决该问题,图像复

原技术应运而生,并逐渐成为计算机视觉领域的研究热点问题.

通常情况下,图像的退化模型可以表示为

()

Dx n=+



[1]

,这里的 D 和 n 分别表示退化函数和加性噪声.很多

图像复原方法都是借助该模型进行反向推演

,由已知的低质量图像 x 重建出高质量的目标图像



在这些图像

复原方法中,超分辨率、去噪和 JPEG 解压缩是研究最广泛的 3 个经典任务.

图像去噪的目标是尽可能准确地去除图像上的噪声,这些噪声通常被认为是标准差为

的加性高斯白噪

声

.根据贝叶斯理论可知

[2]

,先验信息可以在图像去噪时发挥重要作用.基于此发现,很多基于先验建模的方法获

得了比较理想的去噪结果

,比如稀疏表示方法

[3]

、非局部自相似方法

[4]

和隐马尔可夫树建模方法

[5]

.但由于涉及

非凸优化问题并且需要手工初始化参数

,这些方法普遍存在复杂度高、优化困难等缺点.图像超分辨率的目标

是根据低分辨率图像重建出高分辨率图像

,早期的插值方法

[6]

和重建方法

[7]

具有处理速度快的优点,但却无法

获得令人满意的重建结果.与之相比,基于稀疏编码的学习方法

[8,9]

通过字典学习建立出低分辨率和高分辨率图

像块间的稀疏关联

,使超分辨率重建的性能取得了大幅度提升.但传统学习方法将图像块的提取和融合看成了

相互独立的步骤

[10]

,且超分辨率的性能也极易受到手工初始参数的影响.JPEG 解压缩的目标是去除由于图像

JPEG 压缩造成的块效应

[11]

,早期的方法主要包括基于滤波的方法

[12]

和基于稀疏表示的方法

[13]

,虽然对压缩图

像的边缘起到了锐化作用,但残留的伪影以及生成的平滑区域使得主观复原图像中仍然存在严重失真.

近几年,凭借极强的学习能力,卷积神经网络(convolutional neural network,简称 CNN)在图像复原任务上取

得了众多令人满意的结果.受到稀疏编码的启发,Dong 等人

[14]

提出了 SRCNN 模型,首次将 CNN 应用于图像超

分辨率任务

,获得了比传统方法更高的重建精度.此后,基于 CNN 的方法逐渐成为了图像复原领域的研究热点.

从第 1 个 SRCNN 模型到由 Zhang 等人

[15]

提出的 RCAN,网络的卷积层数由 3 层增加到 400 层.网络深度的增

加

,带来了复原性能的显著提高.与此同时,很多新颖的 CNN 结构设计和训练技巧也被用来进一步提升复原的

性能.但这些方法的重建图像普遍存在过度平滑问题,尤其对于退化严重的图像,重建图像丢失了大量的结构和

纹理细节

.为了解决该问题,很多方法

[16−19]

将生成对抗网络

[20]

用于图像复原任务,虽然可以生成更加逼真的纹

理结构

,但通常在客观指标的评估上表现平平,无法与逼真的主观恢复结果相符.而且由于训练不稳定,给模型

性能的优化带来了很大困难

.作为一种更好的解决办法,一些方法将小波变换与 CNN 结合

[21−23]

,简单且有效地

同时提高了客观评估和主观重建结果

.小波变换的高频子带可以稀疏地表示图像的高频(如轮廓、纹理及边缘

等

)细节,通过 CNN 学习到稀疏的高频信息,可以帮助更好地重建出图像的纹理细节.虽然小波变换在一维信号

处理中可以同时捕获信号全局和局部上的重要特征

,但当处理二维图像时,小波变换却并不能提供最优的稀疏

表示

[24]

,各向同性等缺陷制约了其对图像的稀疏表示能力.

为了解决现有方法的问题,并进一步提升图像复原的性能,本文提出了一种结合级联密集型 CNN 结构和轮

廓波变换的图像复原方法

.本文的贡献概括如下.

• 本文提出了一种级联的密集型卷积神经网络(cascading dense convolutional neural network,简称

CDCNN):将若干个密集块以级联方式组成主干结构,充分挖掘并利用不同层次上的图像特征.此外,每

of 13

免费下载

软件学报计算机技术

关注

评论