卷积神经网络的正交性特征提取方法及其应用

图1 CNN提取的特征图片

Fig.1 Feature images extracted by CNN

由图1可知, 特征图像2与特征图像4之间具有类似的特征相貌,初步判断存在特征冗余问题.但是,由于人眼无法进一步准确判断二维图像中的特征冗余,在此使用一维卷积神经网络(1D-CNN)处理公开数据集“Wine”,利用一维数据的直观性清楚地展示特征冗余问题.

使用具有1个卷积层的1D-CNN,卷积层内包含4个随机初始值的1×3卷积核,损失函数选用交叉熵损失函数.以第1个样本值为例,输出4个卷积核提取的特征向量如图2所示.其中:A为原始指标类别;B为原始指标类别的具体赋值;A'为特征提取后的原始指标类别;B'为特征提取后的原始指标类别的具体赋值.

图2

图2 1D-CNN提取的特征向量

Fig.2 Feature vectors extracted by 1D-CNN

从图2(f)中可以发现,图2(b)和2(d)中的特征向量相互类似.由以上实验可以得出结论,CNN使用传统分类损失函数来提取特征时,一定程度上存在特征冗余问题,应当设法加以避免.

1.2 避免特征冗余的正交性特征

考虑到在嵌入式和移动式小型设备上安装紧凑型CNN的需求,就必须改进CNN结构算法,消除特征冗余,减少不必要的网络参数和运算次数.文献[8]对比裁剪前后特征图的误差值,挑选出需裁剪的冗余卷积核通道.文献[9]计算卷积核权重的稀疏度,去除权重稀疏的卷积核.文献[10]设计了SlimConv模块对特征进行拆分和重组,降低通道冗余.文献[11]设计了新的Ghost模块,通过固有特征线性变换提升特征多样性.文献[12]提出了特征贡献度分析方法,辅助网络挑选出重要性高的特征.

本文将正交性概念引入特征向量中,通过设计一种适用于CNN的正交性特征提取方法,达到消除特征冗余的目的.

正交性表示两者之间无法通过组合得出相互表达方式的性质,PCA是典型的正交化变换方法.正交化变换方法将原本存在相关性的变量,转换为线性不相关,既能提高不同类别数组间的区分度,且转换后新变量的方差贡献率可以满足替代原变量的要求^[13].因此,正交性特征被广泛应用于信号转换和模式识别等问题^[14,15].

对于一维数组 $α_{1} = \{x_{1}, x_{2}, \dots, x_{n}\}$ 和 $α_{2} = {y_{1}, y_{2}, \dots, y_{n}},$ 若将其看作向量,则衡量两者正交性的正交层输出值为

(1)

\begin{matrix} Z = \frac{α_{1} \cdot α_{2}}{‖α_{1}‖ ‖α_{2}‖} \end{matrix}

在数组维数和模固定的前提下,Z越接近0,说明两个数组的正交性越强.CNN使用二维卷积核时,卷积层输出的特征矩阵经过压平层和拼接层处理后仍为一维特征向量^[16],因此同样适用于式(1).

2 基于卷积神经网络提取正交性特征

2.1 模型结构

2014年,GoogLeNet首次提出在同一水平维度上设置多个卷积层的Inception结构^[17].本文借鉴了Inception设计思想,在传统CNN基础上分列出多条卷积支路,并设计了专门的特征向量正交层和正交损失函数,新的模型如图3所示.

图3

图3 提取正交性特征的卷积神经网络

Fig.3 Extracting orthogonal features of convolution neural network

该模型是一种单输入多输出的CNN,主要由3个模块构成,分别为卷积模块、分类模块和正交模块.

2.1.1 卷积模块卷积模块由若干条卷积支路构成,输入样本数据,输出卷积核提取的特征向量.单条卷积支路中一般包含卷积层、池化层和压平层.其中,卷积层和池化层的数量可以根据需要进行增减,压平层只设置在每条卷积支路的最后一层.单条卷积支路中,每个卷积层使用若干相同尺寸的卷积核.各卷积核提取的特征在压平层被压缩为一维特征向量.

需要说明的是,正交模块可以检测不同卷积支路的特征向量之间的正交性,但无法检测同一卷积支路内不同卷积核提取特征的正交性.因此,当需要保证所有特征向量两两正交时,可以设置两条以上的卷积支路,每条卷积支路的卷积层中只设置单个卷积核.根据Inception结构原理,一个卷积层中设置多个卷积核,与同一水平维度分布多个卷积层、每个卷积层设置单个卷积核,在提取特征的数量方面没有本质区别.

2.1.2 分类模块分类模块主要由拼接层和分类输出层组成,其功能是在保持分类准确率的前提下,监督卷积支路提取出有利于分类识别的特征向量.

拼接层将不同卷积支路输出的特征向量拼接为一维长数组后,输出到分类输出层.分类输出层一般使用Softmax函数和交叉熵损失函数的组合来完成分类判断.

2.1.3 正交模块正交模块由正交层和正交输出层组成,正交层将不同卷积支路的特征向量做内积运算,正交输出层将内积运算的误差做反向传递.关于内积运算与正交损失函数的详细内容,将在2.2节进一步叙述.

由式(1)可知,两个数组进行内积运算的前提是两个数组维数一致,因此一个正交层只能监督同一种尺寸特征向量的正交性.Inception结构在同一水平维度使用了不同尺寸的卷积核,若步长统一且无边缘填充,则大尺寸卷积核的滑动总步数显然小于小尺寸卷积核,最终导致两者提取的特征维数不一致.文献[18]的研究表明不同尺寸和深度的卷积层,因其感受野不同所以提取特征的范围和精细度方面存在明显差异.由此可知,不同尺寸卷积核提取的特征,在特征维数、捕获范围、精细度等方面不在同一量级,没有正交性的必要.

如果在网络模型(见图3)中使用不同尺寸的卷积核,则需要为不同尺寸的特征向量分别设置正交模块,如图4所示.其中,使用同一尺寸卷积核的卷积支路至少应有两条.

图4

图4 不同尺寸特征的正交模块

Fig.4 Orthogonal module of features with different sizes

2.2 损失函数

2.2.1 分类损失函数多分类任务中,分类损失函数一般采用Softmax函数和交叉熵损失函数的组合.Softmax函数将输出层各神经元的比值映射成各类别的预测概率,其表达式为

(2)

\begin{matrix} P_{f, t} = \frac{e^{W_{t}}}{\overset{r}{\sum_{t = 1}} e^{W_{t}}} \end{matrix}

式中: $W_{t}$ 为输出层中第t个神经元的输出值;r为输出层中所有神经元的总数,即类别总数; $P_{f, t}$ 为第t个神经元输出值相对于所有神经元输出值的比值,即神经网络的预测概率.

交叉熵损失函数(依据其功能也可称为分类损失函数)可以衡量真实概率分布与预测概率分布之间的相似程度,其公式为

(3)

J_{1} = - \overset{r}{\sum_{t = 1}} P_{t} \ln P_{f, t}

式中: $P_{t}$ 为样本属于第t个神经元的真实概率; $J_{1}$ 为分类损失函数值.

2.2.2 正交损失函数所设计的正交损失函数,由正交层的特征向量内积和正交输出层的误差计算两个部分组成,用于监督不同卷积支路提取相互正交的特征向量.

在网络模型中(见图3),卷积层提取特征向量的表达式为^[19]

(4)

C_{m, n}^{q} = σ (\overset{m - u + 1}{\sum_{g = 1}} \overset{n - v + 1}{\sum_{h = 1}} I_{g, h} K_{u, v}^{q} + b^{q})

式中:I为输入样本;m和n分别为I的高和宽;g和h分别为卷积核在输入样本上横向和纵向移动的步数;u和v分别为卷积核的高和宽; $K^{q}$ 为第q层卷积层的卷积核; $b^{q}$ 为第q层卷积层的偏置项;σ(·)为激活函数.本文用ReLU函数保证特征向量的非负性.

$\{C_{l} | l \in N, N \geq 2\}$ 代表N条使用相同尺寸卷积核的卷积支路各自输出的一维特征向量,则由特征向量两两内积的和函数 $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖C_{i}‖ ‖C_{j}‖}$ ,可以判断特征向量间的正交性.然而, $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖C_{i}‖ ‖C_{j}‖}$ 是离散量,难以求导,CNN不能使用梯度下降法对其加以训练.因此,取 $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖}$ 的指数函数,借助指数函数求取离散点导数,即正交层的最终输出为

(5)

\begin{array}{l} Z = S^{\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖}} \\ S > 1, \overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖} \geq 0 \end{array}

式中:S为任意大于1的常数.显然,Z单调递增,且最小值位于 $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖} = 0, Z_{\min} = 1 .$

根据式(5)将正交输出层的正交损失函数设为

(6)

\begin{array}{l} \begin{matrix} J_{2} = Z - 1 = S^{\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖}} - 1 \end{matrix} \\ S > 1 \end{array}

当 $J_{2}$ 趋于最小值0,即 $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖}$ 越接近0时,特征向量之间的正交性越强.

2.2.3 综合损失函数根据式(3)和(6),可得本文模型的综合损失函数为

(7)

\begin{matrix} J_{3} = η J_{1} + ψ J_{2} \end{matrix}

式中:η和ψ分别为两种损失函数的系数,可以根据网络训练情况自主设置. $J_{1}$ 监督CNN提取各类样本的差异化特征,保证分类准确率.J₂监督CNN增强同一样本各特征之间的正交性,保证特征多样性.仿真实验中发现,CNN以分类准确率为主要目标,特征多样性为次要目标,应设置 $η > ψ > 0 .$

2.3 提取正交性特征的过程

网络模型(见图3)的综合损失函数J₃如式(7)所示,其提取正交性特征的过程为:

(1) 输入样本数据,模型通过综合损失函数 $J_{3}$ ,同步训练分类损失函数 $J_{1}$ 和正交损失函数 $J_{2}$ 由 $J_{3} \to 0$ 可得 $J_{1} \to 0$ 和 $J_{2} \to 0$ ;

(2) 当 $J_{1} \to 0$ 时,由交叉熵函数的性质可知,样本被正确分类的预测概率 $P_{f, t} \to 1,$ 即样本预测的准确率逐渐提升;

(3) 当 $J_{2} \to 0$ 时,由指数函数性质可知, $\overset{N}{\sum_{0 \leq i \leq j \leq N}} \frac{C_{i} \cdot C_{j}}{‖ C_{i} ‖ ‖ C_{j} ‖} \to 0,$ 即特征向量间的正交性逐渐增强;

(4) $J_{3}$ 受梯度下降法作用趋于最小值,并通过η、ψ来平衡 $J_{1}$ 、 $、 J_{2}$ 对卷积核的调节作用,在保持分类准确率的前提下增强特征向量之间的正交性.

通过以上过程,本文模型由多条卷积支路提取出正交性特征向量,避免了特征冗余问题.

3 实验验证

3.1 实验数据和步骤

无论样本数据是一维数组或是二维图像,经过CNN的压平层和拼接层后,其特征向量均为一维长数组格式,因此本文模型对一、二维样本具有同样的适用性.由于人眼无法直观察觉二维特征图像间的正交性,选用一维样本数据集进行实验验证.

选用UCI Machine Learning Repository网站上的多分类数据集“Wine”,该数据集包含3种酒的13项指标,178条样本数据.使用有正交模块的CNN模型(见图3和4)提取样本数据特征,以不含正交模块的CNN作为实验对照组.

具体实验步骤如下.

步骤1 建立包含2条卷积支路、有正交模块的CNN,如图5所示.

图5

图5 包含2条卷积支路的CNN结构

Fig.5 Structure of CNN with two convolutional branches

“Wine”数据集属性较少,为了避免属性过度压缩,每条卷积支路中只包含1个卷积层和1个池化层,每个卷积层中使用1个1×3卷积核,则该模型的卷积模块最终输出为2个1×3卷积核提取的特征向量.

步骤2 将“Wine”数据集输入含2条支路的CNN模型(见图5),训练结束后记录分类准确率和每条卷积支路提取的特征向量.

步骤3 在含2条支路的CNN基础上,增加不同尺寸卷积核的卷积支路数量如图6所示.

图6

图6 包含4条卷积支路的CNN结构

Fig.6 Structure of CNN with four convolutional branches

该模型包含4条卷积支路.其中,左侧两条支路中卷积层使用1×3卷积核,右侧两条使用1×6卷积核,其他层的参数与含2条支路的CNN相同,则该模型的卷积模块最终输出为2个1×3卷积核和2个1×6卷积核提取的特征向量.之后,2个1×3卷积核和2个1×6卷积核提取的特征向量,分别在左右两个正交模块内进行内积运算.

步骤4 将“Wine”数据集输入含4条支路的CNN模型(见图6),训练结束后记录分类准确率和每条卷积支路提取的特征向量.

步骤5 进行对照组实验,将“Wine”数据集输入到不含正交模块的CNN中.该CNN包含1个卷积层和1个池化层,卷积层中使用2个1×3卷积核.训练结束后记录分类准确率和每条卷积支路提取的特征向量.

3.2 实验结果及分析

3.2.1 损失函数值与分类准确率不含正交模块的正常CNN、包含2条卷积支路的CNN、包含4条卷积支路的CNN,3种模型针对相同训练集的损失函数值,在训练过程中均不断下降.以含2条卷积支路的CNN为例,其损失函数值如图7所示.其中:Q为训练次数;J为损失函数值.

图7

图7 含2条支路CNN的损失函数值

Fig.7 Loss function value of CNN with two branches

由图7可知,训练一段时间后正交损失函数值趋近于0并保持稳定,分类损失函数值随着训练次数的增加不断下降,综合损失函数受以上两个损失函数的影响而下降.

3种模型针对相同测试集的损失函数值和分类准确率,如表1所示.

表1 3种模型的损失函数值和准确率

Tab.1 Loss function values and accuracies of three models

模型名称	J₃	ζ/%
不含正交层的神经网络(正常CNN)	0.499	83.33
含2条支路的CNN模型(图5模型)	0.434	89.89
含4条支路的CNN模型(图6模型)	0.375	91.65

新窗口打开| 下载CSV

由表1可知:① 使用2个1×3卷积核、含正交模块的CNN,与使用2个1×3卷积核、不含正交模块的正常CNN相比,在损失函数值和分类准确率方面表现更好,证明正交模块提取的多样性特征提升了CNN的分类识别性能.② 使用2个1×3卷积核和2个1×6卷积核、含正交模块的CNN,比使用2个1×3卷积核、含正交模块的CNN,其损失函数值和分类准确率更优,证明增加特征多样性可以增强CNN的分类识别性能.③ 由CNN特性可知,增加卷积层的数量和深度,其性能还有进一步提升的空间.

综上所述,加入了正交模块的CNN相比于正常CNN,丰富了特征多样性,提升了分类识别性能.

3.2.2 特征向量正交性为了便于观察特征向量的正交性,将3种酒的特征向量按类别区分,同类样本的各指标取平均值进行绘图.

(1) 不含正交模块的正常CNN,提取的特征向量如图8所示.其中:E为特征向量中元素的序号;F为特征数值;特征向量1和特征向量2分别为2个1×3卷积核提取的特征向量.

图8

图8 不含正交层CNN提取的3类酒特征向量

Fig.8 Three kinds of wine feature vectors extracted by CNN without orthogonal layer

由图8可知,针对同一类别样本,不含正交模块的正常CNN中,2个1×3卷积核提取特征的形态和数值近似,即存在特征冗余问题.

(2) 含2条卷积支路、有正交模块的CNN,提取的特征向量如图9所示.

图9

图9 含2条支路CNN提取的3类酒特征向量

Fig.9 Three kinds of wine feature vectors extracted by CNN with two branches

由图9可知,针对同一类别样本,含2条卷积支路、有正交模块的CNN中,2个1×3卷积核提取的特征向量具有明显的正交性形态.

(3) 含4条卷积支路、有正交模块的CNN,提取的特征向量如图10所示.其中:特征向量3和特征向量4分别为2个1×6卷积核提取的正交性特征.

图10

图10 含4条支路CNN提取的3类酒特征向量

Fig.10 Three kinds of wine feature vectors extracted by CNN with four branches

由图10可知,增加多种尺寸的卷积核,既可以丰富特征多样性,也能够满足正交性特征需求,有利于提升CNN性能.

综上所述,以上实验结果可以证明,本文设计的模型结构和正交损失函数正确有效,能够监督CNN提取正交性特征,丰富了特征多样性,消除了特征冗余问题.

4 实际应用

采集工业生产中的机器运行数据来检验本文方法的实际应用性.以电子驱动器运行数据集“Sensorless Drive Diagnosis”为例,该数据集收集了驱动器的48项电信号指标,包括 58509 个样本数据,分为11种工况类别(T1~T11).不同种类工况下的样本数据取其指标平均值,如图11所示.其中:U为原数据集中电信号指标类别;V为原数据集中电信号指标类别的具体赋值.其中:T1~T11分别为11种工况下各指标的平均值.由于工况类别较多,图11(b)挑选了第7和11种工况进行单独展示.由图11可以看出,不同类别工况在少部分电信号指标上具有相对明显的差异,在大部分电信号指标上的差异并不明显.

图11

图11 不同种类工况的指标均值图

Fig.11 Average values of each indicator in different category modes

建立含2条支路的CNN模型,每条支路的卷积层中有1个1×3卷积核,仍以第7和11种工况的特征向量为例,如图12所示.

图12

DOI:10.1109/TGRS.2017.2743102 URL [本文引用: 1]

图12 T7和T11的特征向量

Fig.12 Feature vectors of T7 and T11

首先,检查相同工况下两条特征向量的正交性.由图12(a)和12(b)可知,相同工况下两条特征向量具备正交形态,基本满足特征正交性、丰富性的要求.

其次,检查同一卷积核提取不同工况下特征向量的区分性.由图12(c)和12(d)可知,第1个卷积核主要捕捉到第5~12项、第19~22项指标间差异;第2个卷积核主要捕捉到第5~12项、第25~30项、第43~46项指标间差异.两个卷积核均能捕捉到不同工况下电信号指标的数值差异,且由于正交损失函数的监督,关注指标各有侧重,获取的信息也更为全面.

记录模型损失函数值和分类准确率,与不含正交模块的CNN进行对比,结果如表2所示.

表2 两种模型的损失函数值和分类准确率

Tab.2 Loss function values and accuracies of two models

模型名称	J₃	ζ/%
不含正交模块的神经网络(正常CNN)	0.453	82.41
含2条支路的神经网络(图5模型)	0.347	87.57

新窗口打开| 下载CSV

由表2可知,含正交模块的CNN其损失函数值和分类准确率表现更优,证明本文提出的方法在实际生产中具有良好的适用性.

综上所述,如果CNN一个卷积层中仅用一个卷积核,则特征信息比较单调;如果同一卷积层中使用多个卷积核,又可能导致特征冗余.通过本文提出的方法,监督各卷积核提取出正交性特征向量,就能从原始指标中获取更为全面的特征信息,为后续分类识别和指标研究奠定了基础.

5 结语

本文针对CNN特征冗余问题,引入了正交性概念,从强化特征之间差异性的角度,提出了一种提取正交性特征的模型方法.在保证分类准确率的基础上,促使卷积核提取出相互正交的特征向量,从而丰富了特征多样性,消除了特征冗余问题.将模型应用于一维数据集,利用一维数据折线图的直观结果,证明了本文方法的有效性.

下一步可以将一维数组间正交性推广至二维矩阵间正交性,进而研究正交性特征矩阵对图像处理等领域的作用.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

KANG

X D

, XIANG

X L

, LI

S T

, et al.

PCA-based edge-preserving features for hyperspectral image classification

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(12):7140-7151.

[2]

X H

, ZUO

W M

, LIN

, et al.

F-SVM: Combination of feature transformation and SVM learning via convex relaxation

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11):5185-5199.

DOI:10.1109/TNNLS.2018.2791507 URL [本文引用: 1]

[3]

SIMONYAN

, ZISSERMAN

. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04) [2020-05-18]. https://arxiv.org/abs/1409.1556 .

[4]

刘娟宏, 胡彧, 黄鹤宇.

端到端的深度卷积神经网络语音识别

[J]. 计算机应用与软件, 2020, 37(4):192-196.

LIU

Juanhong

, HU

, HUANG

Heyu

End-to-end speech recognition based on deep convolution neural network

[J]. Computer Applications and Software, 2020, 37(4):192-196.

[5]

LONG

, SHELHAMER

, DARRELL

Fully convolutional networks for semantic segmentation

[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015: 3431-3440.

DOI:10.1007/s10115-017-1116-3 URL [本文引用: 1]

[6]

ADLER

, FALK

, FRIEDLER

S A

, et al.

Auditing black-box models for indirect influence

[J]. Knowledge and Information Systems, 2018, 54(1):95-122.

[7]

ZHANG

Q L

, JIANG

Z Q

, LU

Q S

, et al.

Split to be slim: An overlooked redundancy in vanilla convolution

[C]// Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California, USA: International Joint Conferences on Artificial Intelligence Organization, 2020: 3195-3201.

[8]

Y H

, ZHANG

X Y

, SUN

Channel pruning for accelerating very deep neural networks

[C]// 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 17453051.

[9]

CHEN

C F

, LEE

G G

, SRITAPAN

, et al.

Deep convolutional neural network on iOS mobile devices

[C]// 2016 IEEE International Workshop on Signal Processing Systems (SiPS). Dallas, TX, USA: IEEE, 2016: 130-135.

[10]

QIU

J X

, CHEN

, LIU

S C

,, et al. SlimConv: Reducing channel redundancy in convolutional neural networks by weights flipping [EB/OL].(2020-03-08) [2020-05-18]. https://www.researchgate.net/publication/339997878_SlimConv_Reducing_Channel_Redundancy_in_Convolutional_Neural_Networks_by_Weights_Flipping .

[11]

HAN

, WANG

Y H

, TIAN

, et al.

GhostNet: More features from cheap operations

[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE, 2020: 19874590.

[12]

卢泓宇, 张敏, 刘奕群, 等.

卷积神经网络特征重要性分析及增强特征选择模型

[J]. 软件学报, 2017, 28(11):2879-2890.

Hongyu

, ZHANG

Min

, LIU

Yiqun

, et al.

Convolution neural network feature importance analysis and feature selection enhanced model

[J]. Journal of Software, 2017, 28(11):2879-2890.

DOI:10.1039/C3AY41907J URL [本文引用: 1]

[13]

BRO

, SMILDE

A K

Principal component analysis

[J]. Analytical Methods, 2014, 6(9):2812-2831.

[14]

CHIANG

H L

, KADUR

, FETTWEIS

Analyses of orthogonal and non-orthogonal steering vectors at millimeter wave systems

[C]// 2016 IEEE 17th International Symposium on A World of Wireless, Mobile and Multimedia Networks (WoWMoM). Coimbra, Portugal: IEEE, 2016: 16192551.

[15]

孙文赟, 宋昱, 陈昌盛.

基于卷积-反卷积网络的正交人脸特征学习算法

[J]. 深圳大学学报(理工版), 2020, 37(5):474-481.

SUN

Wenyun

, SONG

, CHEN

Changsheng

An orthogonal facial feature learning method based on convolutional-deconvolutional network

[J]. Journal of Shenzhen University (Science and Engineering), 2020, 37(5):474-481.

DOI:10.1016/j.patcog.2017.10.013 URL [本文引用: 1]

[16]

J X

, WANG

Z H

, KUEN

, et al.

Recent advances in convolutional neural networks

[J]. Pattern Recognition, 2018, 77:354-377.

[17]

SZEGEDY

, LIU

, JIA

Y Q

, et al.

Going deeper with convolutions

[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, Massachusetts, USA: IEEE, 2015: 1-9.

[18]

LUO

W J

, LI

Y J

, URTASUN

, et al. Understanding the effective receptive field in deep convolutional neural networks [EB/OL].(2017-01-15) [2020-05-18]. https://www.researchgate.net/publication/312461699_Understanding_the_Effective_Receptive_Field_in_Deep_Convolutional_Neural_Networks .

[19]

MURUGAN

. Feed forward and backward run in deep convolution neural network[EB/OL]. (2017-11-20) [2020-05-18]. https://www.researchgate.net/publication/320975739_Feed_Forward_and_Backward_Run_in_Deep_Convolution_Neural_Network .