肠道机器人获取的肠道图像降噪处理方法

doi:10.16183/j.cnki.jsjtu.2020.245

肠道机器人获取的肠道图像降噪处理方法

薛蓉蓉, 王志武^,, 颜国正, 庄浩宇

上海交通大学医疗机器人研究院, 上海 200240

Noise Reduction Method for Intestinal Image Acquired by Intestinal Robot

XUE Rongrong, WANG Zhiwu^,, YAN Guozheng, ZHUANG Haoyu

Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai 200240, China

通讯作者: 王志武,男,副教授,电话(Tel.):021-34204434;E-mail:zwwang@sjtu.edu.cn.

责任编辑: 陈晓燕

收稿日期: 2020-07-30

基金资助:

国家自然科学基金(61673271)
国家自然科学基金(81971767)
上海市科研项目(19441910600)
上海市科研项目(19441913800)
上海市科研项目(19142203800)
上海交通大学医疗机器人研究院项目(IMR2018KY05)

Received: 2020-07-30

作者简介 About authors

薛蓉蓉(1995-),女,江苏省东台市人,硕士生,主要研究方向为图像处理.

摘要

无线供能式肠道机器人通过图像采集系统将拍摄到的肠道图像传输到体外上位机供医生诊断,但由于图像传输过程会受到电路结构、外在环境等干扰,导致采集到的图像中出现噪声.为此,提出一种基于非下采样轮廓变换(NSCT)的无线供能式肠道机器人采集图片的降噪算法.首先,利用直方图均衡化预处理,提升肠道噪声图片的亮度和对比度;其次,对肠道噪声图片进行NSCT变换并构建残差网络模型对变换后的频率域信息降噪;最后,利用NSCT反变换重构得到降噪后的图像.结果表明:该算法能够有效地降低复杂环境中肠道图片受噪声的影响,较好地保持图像的视觉效果.与其他智能算法模型相比,主客观降噪效果均有所提高,峰值信噪比(PSNR)提升了1.35~3.45 dB,结构相似性(SSIM)提高了 0.0083~0.0252.

关键词： 无线供能式肠道机器人; 非下采样轮廓变换; 卷积神经网络

Abstract

The wireless powered intestinal robot transmits the intestinal images taken by the image acquisition system to the external upper computer for diagnosis. However, the image transmission process will be interfered by the circuit structure and external environment, leading to noise in the collected images. Therefore, an image denoising algorithm based on non-subsampled contourlet transform (NSCT) is proposed to reduce the noise of the images collected by intestinal robots. First, histogram equalization pretreatment is adopted to improve the brightness and contrast of intestinal noise images. Next, NSCT transformation is performed on intestinal noise images and a residual network model is constructed to reduce the noise of frequency domain information after transformation. Finally, the denoised image is reconstructed by NSCT inverse transformation. The results show that the proposed algorithm can effectively reduce the influence of intestinal noise in complex environments, and better maintain the visual effect of the image. Compared with other intelligent algorithm models, both subjective and objective noise reduction effects are improved, with peak signal to noise ratio (PSNR) improved by 1.35 to 3.45 dB and structural similarity index measure (SSIM) improved by 0.0083 to 0.0252.

Keywords： wireless powered intestinal robot; non-subsampled contourlet transform; convolutional neural network (CNN)

PDF (14436KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

薛蓉蓉, 王志武, 颜国正, 庄浩宇. 肠道机器人获取的肠道图像降噪处理方法[J]. 上海交通大学学报（自然版）, 2021, 55(10): 1303-1309 doi:10.16183/j.cnki.jsjtu.2020.245

XUE Rongrong, WANG Zhiwu, YAN Guozheng, ZHUANG Haoyu. Noise Reduction Method for Intestinal Image Acquired by Intestinal Robot[J]. Journal of shanghai Jiaotong University, 2021, 55(10): 1303-1309 doi:10.16183/j.cnki.jsjtu.2020.245

无线供能式肠道机器人通过摄像头对肠道内部环境拍照,将图像传输到体外上位机中显示,并供医生诊断.由于硬件设备、磁场环境等,拍摄到的肠道图像总是不可避免地受到噪声影响,直接影响后续医生的判读.因此,减少无线供能式肠道机器人所采集的图像中的噪声,具有重要的临床应用价值.

针对无线供能式肠道机器人采集图像质量的降低,传统的方法是空间域滤波和变换域滤波.Ning等^[1]采用自适应中值滤波和维纳滤波的方法去除机器人采集图像的高斯噪声和椒盐噪声.彭宇^[2]提出正交小波变换的方法来降低肠道图像的横条纹噪声,取得了比增加图像像素输出增益更好的效果.Duda等^[3]采用超分辨率的方法对肠道图像进行处理,但会使得图像的边缘模糊.近年来,深度学习成为图像优化的一种重要方式.Jain等^[4]首次采用卷积神经网络(CNN)模型进行图像降噪,取得比传统方法更好的效果.Zhang等^[5]提出更深层的前馈去噪卷积神经网络(DnCNN)模型,首次结合残差学习和批量归一化进行图像降噪.Zou等^[6]使用基于CNN的盲降噪方法,并有效抑制了肠道图像的噪声.

基于以上分析,为了在降低肠道图片噪声的同时减小失真度并提升亮度,提出肠道图片的频率域降噪方法.首先,对无线供能式肠道机器人采集到的带干扰的肠道图片进行直方图均衡化预处理,提升其亮度和色彩对比度.其次,通过NSCT变换获得肠道图像的高低频特征数据并对进行卷积神经网络的训练.最后,将高低频滤波输出结果进行NSCT逆变换,得到降噪后的图像.算法整体流程如图1所示.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 肠道图像降噪算法整体流程图

Fig.1 Flow chart of intestinal image noise reduction algorithm

1 无线供能式肠道机器人图像采集

系统无线供能式肠道机器人图像采集系统由体内发射端和体外接收端组成,采用基于NTSC制式的图像采集方式^[7],工作原理是:互补金属氧化物半导体(CMOS)图像传感器采集肠道内壁的图像,编码为NTSC制式模拟视频流,通过发射天线传输到体外,体外接收端的无线图像接收模块接收图像数据,并编码为数字式图像进行显示.

在图像采集系统的能量供应方式上,采用基于电磁感应原理的无线能量传输技术.在能量发射电路中,直流电经过逆变桥生成交变电流驱动发射线圈,在其周围产生交变电磁场.体内接收线圈通过电磁感应获得能量之后,经过整流和稳压给图像采集系统供应能量,如图2所示.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 图像采集系统整体设计框图

Fig.2 Block diagram of overall design of image acquisition system

2 肠道图像噪声来源

肠道图像中噪声存在的原因可列为以下3点:① 电磁场的干扰.由肠道机器人无线能量供应的方式可知,其处在磁场环境中工作,因此信号传递的过程中会掺杂大量的电磁信号,在图像上表现为噪点噪声^[8],影响图像的质量;② 机器人运动不稳定性的影响.机器人在肠道内运动时,肠道和CMOS图像传感器之间产生的相对运动,即运动噪声^[9],会导致图像的模糊;③ 图像采集系统自身因素的影响.CMOS图像传感器易受到固定模式噪声的干扰,在图像上表现为条纹噪声和亮度的不均匀性^[10].由于肠道图像噪声的复杂性,传统针对某类噪声的单一降噪处理方法对肠道噪声图像的降噪效果不好,因此,采用基于学习的CNN处理方法.

3 基于NSCT变换的肠道图片降噪

方法3.1 肠道噪声图像直方图均衡化预处理

由于图像采集系统自身因素的影响,加之肠道机器人在人体肠道的黑暗环境中工作,仅依靠发光二极管(LED)照明,使得采集到的肠道图像除了存在条纹噪声之外,往往会整体上偏暗,对比度较小,对肠道图像的视觉效果和后续的降噪性能产生较大的影响.针对此问题,通过直方图均衡化对肠道图片的红,绿,蓝(分别为R,G,B) 3个通道进行预处理.

3.2 NSCT变换原理

NSCT变换是一种具有多尺度、多方向及平移不变性的频域变换方法,由非下采样金字塔分解(NSP)和非下采样方向分解(NSDFB)两部分构成^[11],其变换过程是:先采用NSP对图像f(x,y)进行多尺度分解,得不同频率的高频子带图像和一个低频子带图像,再采用NSDFB对得到的高频子带图像进行多方向性分解,最终得到不同尺度、不同方向的子带图像.图3为NSCT的二级分解结构图.图中: $H_{0} (z) 、 H_{1} (z)$ 分别为低通、高通分解滤波器,满足恒等式:

$\begin{array}{r} H_{0} (z) + H_{1} (z) = 1 \\ H_{0} (z) G_{0} (z) + H_{1} (z) G_{1} (z) = 1 \end{array}$

式中: $G_{0} (z) 、 G_{1} (z)$ 分别为对应的低通、高通合成滤波器.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 NSCT二级分解结构图

Fig.3 Structure of secondary decomposition of NSCT

3.3 残差CNN处理

CNN对图像进行特征提取并获得图像相应的信息,常被用于图像降噪.不同于文献[12,13]提出的方法,将CNN直接用于提取图像的像素信息,根据像素融合而成的特征进行降噪处理.本文的创新之处在于,将CNN用于NSCT变换后的频域图而非原始图,变换后的频域图本质上和图像一样,由1个二维矩阵表征.因此,CNN不再针对像素学习特征,而是学习相应的频率域特征.在CNN训练过程中,主要存在梯度消失和网络退化两个问题.梯度消失主要由于反向传播的求导链中各环节的导数逐渐变小,导致整个反向传播的梯度趋近于0,网络难以继续调优.添加残差可以使链式求导中多个环节的导数接近1,让反向传播的梯度尽可能长时间保持在为网络调优的范围内.网络退化指的是神经网络达到一定深度后,较深层次的网络参数变换和训练任务的关联度下降.使用跨层连接的方式将浅层特征和深层特征相连,学习其间的差值,即使用残差网络,可以有效地解决网络退化的问题.因此,设计残差网络应用于高低频子带图像的降噪.该网络由三部分组成:输入输出模块、编码-解码模块以及残差单元模块,如图4所示.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 编码-解码网络结构图

Fig.4 Network structure of encoding-decoding

该网络是由18层具有残差结构的级联卷积-池化层组成,细节如下:编码部分包含3层特征图提取网络,每层使用大小为3×3、步长为1的卷积核对上一层的特征图处理,且每一次卷积后用修正线性单元激活函数(ReLU)进行激活,并进行最大池化.解码部分也包含3层网络,使用与编码类似的结构,通过上采样填充之前丢失的细节信息. 为了减少信息的丢失和损耗并防止网络训练过程中梯度消失问题,在编码阶段和解码阶段之间加入由残差模块组成的链式结构.每个残差模块均采用bottleneck结构,即前后各有一个1×1的卷积层,分别用来减小和增加图像的维度,使得3×3的卷积层(Conv)有较小的输入维度和输出维度,以减小计算量,如图5所示.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 单个残差模块结构

Fig.5 Structure of single residual module

4 降噪性能评价指标

选用峰值信噪比(PSNR)和结构相似性(SSIM)作为肠道图像降噪性能的评价指标.PSNR是在均方误差(MSE)的基础上定义的指标,反映算法的降噪性能.PSNR越高,表示算法的降噪性能越好.SSIM表示处理后图像的失真程度,其值越大,失真越小.计算公式如下:

$MSE = \frac{1}{MN} \overset{M}{\sum_{i = 1}} \overset{N}{\sum_{j = 1}} (X (i, j) - Y {(i, j))}^{2}$

$PSNR = 20 \lg \frac{L_{D}}{MSE}$

$SSIM = \frac{(2 μ_{x} μ_{y} + c_{1}) (2 σ_{xy} + c_{2})}{(μ_{x}^{2} + μ_{y}^{2} + c_{1}) (σ_{x}^{2} + σ_{y}^{2} + c_{2})}$

式中:图片的大小为M×N;X(i,j)和Y(i,j)分别为降噪前后的图像在点(i,j)处的像素点的值; $L_{D}$ 为图片中像素的最大值; $μ_{x}$ 、 $μ_{y}$ 分别为图像x、y灰度的均值; $σ_{x}^{2}$ 、 $σ_{y}^{2}$ 分别为图像x、y灰度的方差; $σ_{xy}^{2}$ 为图像图像x、y灰度的协方差; $c_{1}$ 、 $c_{2}$ 为常数.

5 实验结果及对比分析

肠道噪声图像均衡化后的图像及各分量的直方图分别见图6、7.图7中:G'为灰度,K为像素点个数.可以看出,原始图像存在大量的噪声,且有明显的色度偏差,经直方图均衡化后,肠道图像的灰度分布从原来的集中于某些灰度点调整到较为均匀的分布,亮度和对比度得到明显的提升,视觉效果与真实场景的肠道环境更为接近,从而更加有利于后续噪声的去除.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 均衡化后的肠道图像

Fig.6 Intestinal image after equalization

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 原始R,G及B分量直方图及均衡化后的直方图

Fig.7 Histogram of original R, G, and B components and histogram after equalization

采用无线供能式肠道机器人图像采集系统采集的噪声图像作为测试集,采用自己搜集的和噪声图像相配对的数据集,实验仿真的计算机硬件配置CPU为Intel Core i9-9960X,GPU为NVIDIA GeForce RTX 2080 Ti,内存为64 GB,软件配置为MATLAB 2019a,神经网络的搭建采用MATLAB的深度学习框架 Deep Learning Toolbox.NSCT变换的分解层数为3层,所对应的方向数分别为8、16、16.

为了验证NSCT-残差CNN算法的有效性,选取不经过NSCT变换,而直接对直方图均衡化后的肠道图像进行CNN处理的方法对比,该CNN的网络结构与NSCT-CNN的网络结构相同.同时,选取不带残差模块的NSCT-CNN算法对比.其中初始学习率均设置为0.001,迭代了300轮,损失函数随迭代轮数的变化情况如图8所示,图中:N为迭代轮数;L为迭代损失.图8(b)、8(c)分别为图8(a)中相应区域的放大图.可以看出,NSCT-残差CNN网络的损失衰减最快,其次是CNN网络和NSCT-CNN网络,而最后NSCT-残差CNN网络的损失是最小的,因此NSCT-残差CNN网络在测试集上具有最小的均方误差.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 各模型训练迭代轮数和损失图

Fig.8 Training iteration rounds and loss of each model

给出3幅测试图像A、B、C的结果.在图9中,从主观视觉的角度可以看出,在相同的CNN网络结构下,肠道图像经NSCT变换后再进行CNN处理,会大大减少噪声.在CNN网络结构中加入残差模块,肠道图像的边缘细节得到增强.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 不同算法降噪效果对比

Fig.9 Comparison of noise reduction effects of different algorithms

表1、2为不同算法的PSNR及SSIM,可以看出,NSCT-残差CNN方法得到的PSNR和SSIM指标高于其他几种算法,说明NSCT-残差CNN的处理方法,相比于CNN或NSCT-CNN的处理方法,具有更好的降噪性能,且降噪后的图片有更小的失真度.

表1 不同算法的PSNR对比

Tab.1 Comparison of PSNR of different algorithms

PSNR	CNN	NSCT-CNN	NSCT-残差CNN
A	24.52	26.83	28.73
B	24.37	28.85	29.68
C	25.63	25.14	26.45
均值	24.84	26.94	28.29

新窗口打开| 下载CSV

表2 不同算法的SSIM对比

Tab.2 Comparison of SSIM of different algorithms

PSNR	CNN	NSCT-CNN	NSCT-残差CNN
A	0.8832	0.9091	0.9139
B	0.8901	0.9079	0.9123
C	0.8778	0.8848	0.9005
均值	0.8837	0.9006	0.9089

新窗口打开| 下载CSV

6 结语

针对无线供能式肠道机器人采集的图像质量的降低,分析了肠道图像噪声的来源,结合NSCT变换理论,提出了含有多个残差单元的编解码网络,将CNN应用于肠道图像的频域图.通过一系列对比实验,证明了相比于CNN算法和NSCT-CNN算法,NSCT-残差CNN算法能够显著降低肠道图片的噪声,使得降噪后的肠道图片有更好的视觉效果.PSNR、SSIM等客观指标也有所提高,具有一定的应用价值.在未来的工作中,将针对已有算法的架构做出调整,使其能够适应更多的噪声场景,提高算法的泛化特性.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

NING

, WAN

JUN M A

Study of image denoising in robot visual navigation system

[J]. Journal of Measurement Science and Instrumentation, 2011, 2(1):21-24.

[本文引用: 1]

[2]

彭宇

医学内窥镜图像的横纹消除算法仿真

[J]. 计算机仿真, 2013, 30(7):417-420.

[本文引用: 1]

PENG

Medical endoscope image transverse striation elimination algorithm simulation

[J]. Computer Simulation, 2013, 30(7):417-420.

[本文引用: 1]

[3]

DUDA

, ZIELINSKI

, DUPLAGA

Computationally simple super-resolution algorithm for video from endoscopic capsule

[C]// 2008 International Conference on Signals and Electronic Systems. Krakow, Poland: IEEE, 2008: 197-200.

[本文引用: 1]

[4]

JAIN

, SEUNG

Natural image denoising with convolutional networks

[C]// Advances in Neural Information Processing Systems, Vancouver B C, Canada: NIPS Foundation, 2009: 769-776.

[本文引用: 1]

[5]

ZHANG

, ZUO

W M

, CHEN

Y J

, et al.

Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising

[J]. IEEE Transactions on Image Processing, 2017, 26(7):3142-3155.

DOI:10.1109/TIP.83 URL [本文引用: 1]

[6]

ZOU

, LONG

, WANG

, et al.

A CNN-based blind denoising method for endoscopic images

[C]// Biomedical Circuits and Systems Conference (BioCAS). Nara, Japan: IEEE, 2019: 1-4.

[本文引用: 1]

[7]

刘刚

基于无线供能的胃肠道视频胶囊内窥镜系统及肿瘤图像识别算法研究

[D]. 上海: 上海交通大学, 2016.

[本文引用: 1]

LIU

Gang

Research of gastrointestinal video capsule endoscopy based on wireless power transmission and tumor image recognition

[D]. Shanghai: Shanghai Jiao Tong University, 2016.

[本文引用: 1]

[8]

于佳欣

便携式B型超声诊断设备图像的去噪算法研究与实现

[D]. 黑龙江: 哈尔滨工业大学, 2019.

[本文引用: 1]

Jiaxin

Research and implementation of image denoising algorithm for portable B-type ultrasonic diagnostic equipment

[D]. Heilongjiang: Harbin Institute of Technology, 2019.

[本文引用: 1]

[9]

孙玉姣

含噪运动模糊图像的恢复算法研究

[D]. 陕西: 陕西师范大学, 2018.

[本文引用: 1]

SUN

Yujiao

Research on restoration algorithm of noise-motion fuzzy image

[D]. Shaanxi: Shaanxi Normal University, 2018.

[本文引用: 1]

[10]

杨涛, 吴孙桃, 郭东辉.

CMOS图像传感器电路噪声分析

[J]. 厦门大学学报(自然科学版), 2012, 51(3):321-326.

[本文引用: 1]

YANG

Tao

, WU

Suntao

, GUO

Donghui

Analysis of noise behavior in CMOS image sensor

[J]. Journal of Xiamen University (Natural Science), 2012, 51(3):321-326.

[本文引用: 1]

[11]

CUNHA A L

, ZHOU

, DO

M N

The nonsubsampled contourlet transform: Theory, design, and applications

[J]. IEEE Transactions on Image Processing, 2006, 15(10):3089-3101.

DOI:10.1109/TIP.2006.877507 URL [本文引用: 1]

[12]

SEZER

, SEZER

H B

Deep convolutional neural network-based automatic classification of neonatal hip ultrasound images: A novel data augmentation approach with speckle noise reduction

[J]. Ultrasound in Medicine & Biology, 2020, 46(3):735-749.

DOI:10.1016/j.ultrasmedbio.2019.09.018 URL [本文引用: 1]

[13]

HEO

, LIM

D H

Noise reduction using patch-based CNN in images

[J]. Journal of the Korean Data and Information Science Society, 2019, 30(2):349-363.

DOI:10.7465/jkdi.2019.30.2.349 URL [本文引用: 1]

Study of image denoising in robot visual navigation system

2011

... 针对无线供能式肠道机器人采集图像质量的降低,传统的方法是空间域滤波和变换域滤波.Ning等^[1]采用自适应中值滤波和维纳滤波的方法去除机器人采集图像的高斯噪声和椒盐噪声.彭宇^[2]提出正交小波变换的方法来降低肠道图像的横条纹噪声,取得了比增加图像像素输出增益更好的效果.Duda等^[3]采用超分辨率的方法对肠道图像进行处理,但会使得图像的边缘模糊.近年来,深度学习成为图像优化的一种重要方式.Jain等^[4]首次采用卷积神经网络(CNN)模型进行图像降噪,取得比传统方法更好的效果.Zhang等^[5]提出更深层的前馈去噪卷积神经网络(DnCNN)模型,首次结合残差学习和批量归一化进行图像降噪.Zou等^[6]使用基于CNN的盲降噪方法,并有效抑制了肠道图像的噪声. ...

医学内窥镜图像的横纹消除算法仿真

2013

医学内窥镜图像的横纹消除算法仿真

2013

Computationally simple super-resolution algorithm for video from endoscopic capsule

2008

Natural image denoising with convolutional networks

2009

Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising

2017

A CNN-based blind denoising method for endoscopic images

2019

基于无线供能的胃肠道视频胶囊内窥镜系统及肿瘤图像识别算法研究

2016

... 系统无线供能式肠道机器人图像采集系统由体内发射端和体外接收端组成,采用基于NTSC制式的图像采集方式^[7],工作原理是:互补金属氧化物半导体(CMOS)图像传感器采集肠道内壁的图像,编码为NTSC制式模拟视频流,通过发射天线传输到体外,体外接收端的无线图像接收模块接收图像数据,并编码为数字式图像进行显示. ...

基于无线供能的胃肠道视频胶囊内窥镜系统及肿瘤图像识别算法研究

2016

便携式B型超声诊断设备图像的去噪算法研究与实现

2019

... 肠道图像中噪声存在的原因可列为以下3点:① 电磁场的干扰.由肠道机器人无线能量供应的方式可知,其处在磁场环境中工作,因此信号传递的过程中会掺杂大量的电磁信号,在图像上表现为噪点噪声^[8],影响图像的质量;② 机器人运动不稳定性的影响.机器人在肠道内运动时,肠道和CMOS图像传感器之间产生的相对运动,即运动噪声^[9],会导致图像的模糊;③ 图像采集系统自身因素的影响.CMOS图像传感器易受到固定模式噪声的干扰,在图像上表现为条纹噪声和亮度的不均匀性^[10].由于肠道图像噪声的复杂性,传统针对某类噪声的单一降噪处理方法对肠道噪声图像的降噪效果不好,因此,采用基于学习的CNN处理方法. ...

便携式B型超声诊断设备图像的去噪算法研究与实现

2019

含噪运动模糊图像的恢复算法研究

2018

含噪运动模糊图像的恢复算法研究

2018

CMOS图像传感器电路噪声分析

2012

CMOS图像传感器电路噪声分析

2012

The nonsubsampled contourlet transform: Theory, design, and applications

2006

... NSCT变换是一种具有多尺度、多方向及平移不变性的频域变换方法,由非下采样金字塔分解(NSP)和非下采样方向分解(NSDFB)两部分构成^[11],其变换过程是:先采用NSP对图像f(x,y)进行多尺度分解,得不同频率的高频子带图像和一个低频子带图像,再采用NSDFB对得到的高频子带图像进行多方向性分解,最终得到不同尺度、不同方向的子带图像.图3为NSCT的二级分解结构图.图中:

H_{0} (z) 、 H_{1} (z)

分别为低通、高通分解滤波器,满足恒等式: ...

Deep convolutional neural network-based automatic classification of neonatal hip ultrasound images: A novel data augmentation approach with speckle noise reduction

2020

... CNN对图像进行特征提取并获得图像相应的信息,常被用于图像降噪.不同于文献[12,13]提出的方法,将CNN直接用于提取图像的像素信息,根据像素融合而成的特征进行降噪处理.本文的创新之处在于,将CNN用于NSCT变换后的频域图而非原始图,变换后的频域图本质上和图像一样,由1个二维矩阵表征.因此,CNN不再针对像素学习特征,而是学习相应的频率域特征.在CNN训练过程中,主要存在梯度消失和网络退化两个问题.梯度消失主要由于反向传播的求导链中各环节的导数逐渐变小,导致整个反向传播的梯度趋近于0,网络难以继续调优.添加残差可以使链式求导中多个环节的导数接近1,让反向传播的梯度尽可能长时间保持在为网络调优的范围内.网络退化指的是神经网络达到一定深度后,较深层次的网络参数变换和训练任务的关联度下降.使用跨层连接的方式将浅层特征和深层特征相连,学习其间的差值,即使用残差网络,可以有效地解决网络退化的问题.因此,设计残差网络应用于高低频子带图像的降噪.该网络由三部分组成:输入输出模块、编码-解码模块以及残差单元模块,如图4所示. ...

Noise reduction using patch-based CNN in images

2019

〈

〉