基于LSTM与注意力结构的肺结节多特征抽取方法

图1 基于CNN与LSTM结构的多任务分类模型

Fig.1 Multi-task classification model based on CNN and LSTM structures

2.1 基于注意力机制的模型中间结构

相较于传统的共享底层结构,本文所提出的方法在分类器与图像编码器之间添加了一种中间结构.这个结构在整个模型中起到“承上启下”的作用.该中间结构基于注意力机制,输入由当前时刻编码器输出与上一时刻LSTM结构分类器隐层特征组成.这两类特征通过多层感知器进行融合,进而生成当前时刻的注意力特征向量集合 a^t (t为时刻).a^t 控制着t时刻的图像特征输出,对关键的特征层进行激活或抑制可以提高当前分类任务的特征提取性能.其操作过程如图2所示,其中: $f_{e n c}^{t}$ 为t时刻的编码器输出;h^t^-1 为t-1时刻的解码器隐层信息;a_i为注意力向量,其组成了a^t.t时刻的注意力结构输出 $f_{a t t}^{t}$ 的计算方法为

h⁰=avg(

$f_{e n c}^{0}$ )

(1)

a^t=softmax[

$W_{a, h + f}^{t}$ (

$W_{h, a}^{t}$ h^t^-1+

$W_{f, a}^{t}$

$f_{e n c}^{t}$ )]

(2)

$f_{a t t}^{t}$ =a^t☉

$f_{e n c}^{t}$ +b

(3)

式中: $f_{e n c}^{0}$ 为初始阶段的编码器输出;b为偏置向量;h⁰为初始阶段的隐层特征; $W_{h, a}^{t}$ 与 $W_{f, a}^{t}$ 分别为t时刻对隐层输出 h^t^-1 与编码器输出 $f_{e n c}^{t}$ 进行非线性特征提取的权值矩阵,两者通过权值矩阵为 $W_{a, h + f}^{t}$ 的全连接层进行特征提取后,由 softmax(·) 函数进行关键特征映射得到注意力特征 a^t.式 (1) 展示了模型隐层特征的初始化方式.在本文中,由于涉及到8个分类特征的输出,中间结构将分步提取8个状态的图像特征输入模型的分类器中.

图2

图2 基于注意力的模型中间结构

Fig.2 Intermediate structure based on attention mechanism

图3展示了3种不同的多任务结构,其中:模型t_m为m时刻编码器与中间注意力结构的模型状态.图3(a)为传统的共享权值多任务结构;图3(b) 为OMoE结构^[19],由此发展而来的MMoE模型加入了多门控结构,即键-值融合结构;图3(c) 结构为本文所提出的单模型时序结构,此结构将键-值融合结构从控制各模型连接强度转变为控制每一个中间结构的特征输出,仅使用单一结构便能够达到类似MMoE模型的效果,降低了模型复杂程度,也使模型更容易拟合.

图3

图3 3种不同的多任务结构

Fig.3 Three different multi-task structures

2.2 基于LSTM结构的分类器

为了传递不同时刻之间的共享特征,构建了LSTM形式的分类器.LSTM结构能够很好地进行各分类特征之间的耦合,最大程度地保留特征之间的相关性联系.其计算方式如下:

h^t,c^t=LSTM([

$f_{a t t}^{t}$ ; h^t^-1; c^t^-1])

(4)

O^t=softmax(

$W_{o, h}^{t}$ ·h^t+b)

(5)

式中:O^t为t时刻下的模型输出,其由LSTM结构的隐藏信息 h^t经过一个全连接层与softmax 激活获得;c^t与c^t^-1分别为LSTM结构当前时刻t与上一时刻t-1的细胞状态; $W_{o, h}^{t}$ 为全连接层的权值矩阵.LSTM分类器的计算方法为

h⁰=c⁰=avg(

$f_{e n c}^{0}$ )

(6)

${\tilde{c}}^{t}$ =tanh(

$W_{c}^{t}$ [

$f_{a t t}^{t}$ :h^t^-1]+b_c)

(7)

p^t=σ(

$W_{p}^{t}$ [

$f_{a t t}^{t}$ :h^t^-1]+b_p)

(8)

f^t=σ(

$W_{f}^{t}$ [

$f_{a t t}^{t}$ :h^t^-1]+b_f)

(9)

o^t=σ(

$W_{o}^{t}$ [

$f_{a t t}^{t}$ :h^t^-1]+b_o)

(10)

c^t=f^t☉c^t^-1+p^t☉

${\tilde{c}}^{t}$

(11)

h^t=tanh(c^t)☉o^t

(12)

式中:σ 为Sigmoid 激活函数; ${\tilde{c}}^{t}$ ,p^t,f^t,o^t分别为t时刻LSTM结构的候选细胞信息、输入门、遗忘门以及输出门; $W_{c}^{t}$ , $W_{p}^{t}$ , $W_{f}^{t}$ , $W_{o}^{t}$ 分别为各个门控结构进行全连接计算的权值矩阵.

由于各个任务的分类空间不同,各类别之间样本平衡性不同,所以本文将结节形状特征作为模型初始阶段的分类输出、边缘特征、内部特征和恶性风险依次作为中段、后段和末段分类输出,按照从底层特征到高维特征的准则进行输出顺序的排列.由于任务中存在从次要任务到主要任务的渐进关系,确保模型的良恶性分类效果最优,所以本文将分类器的模型设置为单向LSTM.不同于自由文本生成模型,在使用LSTM结构进行多任务模型构建时并不会遇到长时期依赖问题.

2.3 损失函数

由于输出特征中存在着一些类别间不平衡问题,所以使用了焦点损失函数^[21]作为模型的代价函数,各个任务之间样本分布的不均衡十分容易造成模型过拟合的问题.本文在焦点损失函数的基础上进行了权值修正,可以表示为

L^t=

$\{\begin{array}{l} - w^{t} α {(1 - p)}^{γ} l b p, & p' = 1 \\ - (1 - w^{t} α) p^{γ} l b (1 - p), & p' = 0 \end{array}$

(13)

w^t=

${(\frac{s_{p}^{t}}{s_{n}^{t}})}^{β}$ +ε, β>1,ε>0

(14)

$\overset{N}{\sum_{t = 1}}$ L^t(

${\hat{y}}^{t}$ ;y^t)

(15)

式中: α 与 γ 分别为焦点损失中进行权值修正的超参数;w^t为t时刻针对样本数量不平衡的修正因子;p与p'分别为模型的预测输出与真实标签; $s_{p}^{t}$ 与 $s_{n}^{t}$ 分别为t时刻任务正、负样本的数量;β 与ε为控制修正因子大小的超参数; ${\hat{y}}^{t}$ 与y^t分别为t时刻模型预测输出与分类标签值.该函数通过对t时刻正/负样本,即 $s_{p}^{t}$ / $s_{n}^{t}$ 的数量比较,修正焦点损失函数的权值,加强了不平衡类别的损失强度,降低出现过拟合的风险.

3 实验与结果

本文使用3类不同的多任务模型,在公开数据集LIDC-IDRI^[22]上进行结节属性分类.3种类型分别为共享底层结构的多任务分类模型、OMoE、本文所提出的基于注意力机制与LSTM结构的时序结构模型.实验基于Python 3.6 与Pytorch实验框架,训练与测试使用了深度学习服务器,其主要配置为英特尔10核处理器i9-7900X,3张NVIDIA GTX 1080显卡与64 GB GDDR4内存.在设计实验时,将公开数据集 1561 个结节样本按照5∶1∶4划分为训练集、验证集与测试集.本实验中,设置LSTM解码器的隐藏层大小为512,图像编码输出的通道数为 2048,对每一个全连接层设置了Dropout,置空比例设置为0.5,以防止模型出现过拟合现象.所有的模型使用Adam算法作为其优化器,各分类模型统一设置了学习率和训练策略,初始学习率为0.001.为了确保模型不发生过拟合问题,本实验使用了早停学习策略,当验证集损失连续15轮不出现明显下降时,停止模型的训练.将输入图像尺寸设定为48像素×48像素×48像素,为了使模型更容易收敛,各输入图像 V_nor 通过其像素均值 avg(V) 与标准差 std(V) 进行归一化操作,归一化计算方法如下:

V_nor=

$\frac{V - a v g (V)}{s t d (V) + ε}$

(16)

式中:V为未经过预处理的原始图像.

在实验中,选取ResNet^[23]结构作为图像编码器,本文提出的基于注意力机制与LSTM时序结构的多任务分类模型被标记为“Res50+ATT+LSTM”,ResNet50被用于构建共享底层的多任务模型,ResNet50与ResNet101组成的双模型结构被用于构建OMoE.为了验证基于注意力结构的中间层对多任务分类性能的影响,本文将ResNet50直接连接一个LSTM结构分类器作为另一个基准模型 (Res50+LSTM);为了对比单向LSTM结构分类器与双向LSTM结构分类器的差异,在第2个实验中添加了双向LSTM结构分类器模型(Res50+ATT+Bi-LSTM) 作为对照组.

3.1 实验数据

本文使用公开数据集LIDC-IDRI作为实验数据.该数据集中CT影像采集时的峰值电压为 120~140 kV,峰值电流为40~624 mA.该数据集由4位经验丰富的影像科医生进行标注,每个结节都拥有其主要特征的小组评估意见^[24].其主要特征分别为钙化、内部结构、分叶、边缘、形状、毛刺、纹理和恶性概率,如表1所示, 其中:括号中的数字为量化后的标签.表1反映了各个特征的描述与分级情况.由于一些特征中的各分级数量很不平均,如钙化特征中的爆米花型和半层型;内部结构特征中的空气类型等都较为罕见,所以使用原分级标签进行多任务分类会造成较大的训练偏差,本文通过阈值化处理来平衡各标签样本数量,并将各特征划归至其后括号内的数字标签 (0/1/2) 下.同时,该数据集还给出了每个结节的真实体素轮廓情况,由于每位医生所标注的结果之间存在差异,本文使用了50%的一致性标准来生成模型训练所需的掩模数据.在实际应用中,为了实现有效的结节掩模提取,可以通过两阶段通用分割算法nnU-Net^[25] 、3D U2-Net^[26]等快捷准确地获取结节掩模图像.

表1 选取的特征及其等级、描述与分布情况

Tab.1 Selected features and their rankings, descriptions, and distributions

语义特征	描述	分级	数量
恶性风险	结节的恶性概率	1.可能性极低(0) 2.可能性较低(0) 3.不确定(0) 4.可能性较高(1) 5.可能性极高(1)	(0) 1002 (1) 559
形状	结节的三维圆度	1.索条型(2) 2. -(2) 3.椭球形(1) 4. -(1) 5.球形(0)	(0) 357 (1) 541 (2) 663
边缘	结节边缘是否清晰	1.边缘模糊(0) 2. -(0) 3. -(0) 4.边缘可分(1) 5.边缘十分清晰(1)	(0) 599 (1) 962
毛刺	毛刺出现的密集程度	1~4分级代表毛刺密度(0) 5.未出现毛刺(1)	(0) 1057 (1) 504
分叶	分叶出现的密集程度	1~4分级代表分叶密度(0) 5.未出现分叶(1)	(0) 1287 (1) 274
纹理	结节的内部纹理	1.纯磨玻璃(2) 2. - 3.半实性(1) 4. - 5.实性(0)	(0) 1184 (1) 161 (2) 216
钙化	结节是否出现钙化	1.爆米花型(0) 2.板层状(0) 3.实性(0) 4.非中心型(0) 5.中心型(0) 6.无钙化(1)	176 1385
内部结构	结节的内部组成	1.软组织(0) 2.流体(1) 3. - 4. - 5.空气(2)	(0) 1054 (1) 29 (2) 478

3.2 评价指标

在所构建的多任务分类任务中,使用各分类项的准确率、F₁值以及绝对距离误差 (ADE) 作为评价指标,其中F₁值是分类召回率与精确率的调和平均.由于在分类任务中,模型的召回率与精确率存在此消彼长的矛盾,综合这两种指标的评价方法能够总体上反映出模型的分类性能.而绝对距离误差是指模型输出向量与标签向量之间的距离误差,能够直观反映出模型之间的分类效果差异.在这些评价标准中,分类准确率与F₁值越大表示模型的分类效果越好,而绝对距离误差越小,表示分类效果越好.其计算方式如下:

θ=

$\frac{T P + T N}{T P + T N + F N + F P}$

(17)

F₁=

$\frac{2 T P}{2 T P + F P + F N}$

(18)

$\frac{1}{N'}$ sqrt

$[\overset{N'}{\sum_{k = 1}} {(Y - \hat{Y})}^{2}]$

(19)

式中:TP,TN,FN与FP分别为分类结果中真阳、真阴、假阴和假阳的数目;Y, $\hat{Y}$ 分别为标签向量与分类模型输出;θ,e分别为准确率与绝对距离误差;N'为分类任务的数量.

3.3 实验结果

本文仅使用结节CT图像作为模型输入进行实验比较,如表2所示,表中各加粗项为各分类特征下的最优结果.从表2中可以看出,ResNet50结构与OMoE结构模型在性能上总体相近.尽管OMoE结构模型在ResNet50的基础上增加了另一个ResNet101组成了双模型结构,但是在某些特征上,如钙化、恶性概率等,OMoE结构性能相比ResNet50结构出现了下降.在使用LSTM结构作为模型分类器之后,特征的总体分类性能出现了提升,在分类的准确率和F₁值上相较前两种模型分别提升了1.89%与1.23%,而ADE相差不大.在使用注意力结构作为模型中间层后,分类效果有了进一步提升,相较于不带注意力中间模块的网络,在分类准确率、F₁值与ADE上性能分别提升了0.76%、0.62%与0.04.值得注意的是,在“实性程度”“恶性概率”上,Res50+ATT+LSTM模型相较于前几种结构提升较大.相较于模型简单的共享底层机构,使用分步特征提取的注意力结构能够更好地分阶段提取图像特征、提高分类效果.

表2 各模型仅使用结节CT图像进行多任务分类的结果比较

Tab.2 Results of different multi-task classification models taking nodule CT images as input

分类特征	Res50			OMoE			Res50+LSTM			Res50+ATT+LSTM
分类特征	θ%	F₁%	e	θ%	F₁%	e	θ%	F₁%	e	θ%	F₁%	e
形状	66.89	45.25	0.79	67.22	46.52	0.82	68.24	48.61	0.75	70.01	50.97	0.69
边界	78.93	87.12	0.78	78.26	87.22	0.85	78.95	88.64	0.76	79.21	88.01	0.80
毛刺	94.98	97.26	0.58	93.97	96.89	0.57	94.31	97.86	0.53	94.32	97.38	0.53
分叶	94.98	97.42	0.67	94.98	97.42	0.68	95.00	97.46	0.62	95.55	97.89	0.52
内部成分	99.33	34.53	0.03	99.33	34.44	0.02	99.33	34.81	0.07	99.32	33.59	0.05
实性程度	68.56	73.30	0.59	68.22	74.09	0.64	75.57	75.67	0.57	78.62	71.94	0.48
钙化	88.63	94.55	0.32	84.61	91.84	0.41	89.97	94.71	0.35	90.00	94.93	0.33
恶性程度	83.27	66.89	0.77	79.60	66.92	0.90	84.60	67.95	0.70	85.10	75.98	0.63

图4反映了各模型在形状 (球形/椭球形/索条形) 特征、边缘 (边界模糊/清晰) 、纹理 (实性/半实性/磨玻璃) 与恶性概率这4个指标上的结果箱线图.从图4中可以看出,在使用共享底层或OMoE模型对图像进行多任务分类时,ADE结果会出现较大的波动.而本文所提出的Res50+ATT+LSTM方法结果波动性较小,中位数也是各模型中最小的.

图4

图4 仅使用结节CT图像进行多任务分类的ADE结果箱线图

Fig.4 Boxplot of ADE results of different multi-task classification modules taking nodule CT images as input

表3展示了各模型加入结节掩模图像作为输入的结果.由表3可知,由于图像的掩模反映结节的毛刺、分叶和形状等特征,在这些分类项上,双分支输入结构性能有所提升.使用结节CT影像与掩模的Res50+ATT+LSTM取得了最好的分类效果,相较于前3种模型在分类准确率、F₁值以及ADE上分别提升了1.65%、1.68% 以及0.08.图5对比了各模型在加入结节掩模图像后的多任务分类结果,其中:i为仅使用结节影像进行多任务分类;i+m为使用结节影像与掩模图像进行多任务分类.从图5可以看出,加入结节轮廓信息后,各模型在形状、边缘等分类任务的ADE中位数以及波动范围均有一定程度降低,这说明了在加入结节掩模后,模型在相关特征上泛化能力更强,不易出现较大偏差.相较于单向结构,双向LSTM分类器将模型的整体参数量提高了1倍,但是各分类任务的结果相差并不明显.

表3 各模型使用结节CT图像以及掩模图像进行多任务分类的结果比较

Tab.3 Results of different multi-task classification models taking nodule CT images and masks as input

分类特征	Res50			OMoE			Res50+LSTM			Res50+ATT+Bi-LSTM					Res50+ATT+LSTM
分类特征	θ%	F₁%	e	θ%	F₁%	e	θ%	F₁%	e	θ%	F₁%		e		θ%	F₁%	e
形状	67.22	47.56	0.80	68.23	47.66	0.81	69.20	49.66	0.73	70.98		51.15		0.68	71.21	51.99	0.70
边界	78.66	87.59	0.82	77.93	87.96	0.83	79.20	87.59	0.75	81.25		88.56		0.75	81.11	89.10	0.74
毛刺	94.31	97.07	0.54	94.31	97.10	0.54	94.32	97.38	0.56	94.31		97.42		0.53	94.31	97.65	0.50
分叶	94.98	97.42	0.64	94.98	97.43	0.64	95.10	97.11	0.59	95.12		97.89		0.52	95.66	97.88	0.50
内部成分	99.33	34.36	0.03	99.33	34.67	0.04	99.33	35.01	0.06	99.32		34.89		0.06	99.32	34.41	0.06
实性程度	78.26	75.36	0.57	78.01	67.05	0.62	78.72	75.90	0.51	78.77		71.56		0.58	78.88	71.28	0.48
钙化	89.97	94.88	0.42	89.96	94.71	0.43	89.99	97.48	0.40	92.29		95.15		0.37	92.21	95.12	0.31
恶性程度	81.27	67.65	0.80	80.60	66.29	0.83	84.88	71.29	0.66	86.59		78.05		0.54	86.61	78.11	0.59

图5

图5 使用结节CT图像与掩模图像进行多任务分类的ADE结果箱线图

Fig.5 Boxplot of ADE results of different multi-task classification modules taking nodule CT images and masks as input

表4展示了所提方法与其他已有方法的结果比较,其中文献[9]所提出的深度层次模型是共享底层结构的多任务分类模型,从结节的低级属性 (形状、边缘等) 到高级属性,层次化构建整个模型.文献[20]使用了3不同的模型结构进行多任务特征学习.多任务模型预测结果如图6所示.由图6可知,所提方法在实现更多特征分类的同时,在边界、钙化、良恶性分类上均取得了更好的结果.

表4 已有方法与所提方法的结果比较

Tab.4 Comparison of results of related methods and proposed method

特征	文献[9]			文献[20]			Res50+ATT+LSTM
特征	θ%	F₁%	e	θ%	F₁%	e	θ%	F₁%	e
形状	-	-	-	-	-	0.86	71.21	51.99	0.70
边界	72.5	68.97	-	-	-	0.92	81.11	89.10	0.74
毛刺	-	-	-	-	-	0.64	94.31	97.65	0.50
分叶	-	-	-	-	-	0.80	95.66	97.88	0.50
内部成分	-	-	-	-	-	0.02	99.32	34.41	0.06
实性程度	-	-	-	-	-	0.18	78.88	71.28	0.48
钙化	90.8	84.74	-	-	-	0.87	92.21	95.12	0.31
恶性程度	84.2	78.64	-	-	-	0.87	86.61	68.11	0.59

图6

图6 多任务模型预测结果

Fig.6 Prediction results of multi-task models

3.4 结果讨论

由上述实验结果可以看出,基于注意力机制与LSTM时序结构的多任务分类模型在性能上优于共享底层模型与多专家混合模型.多专家混合模型中的门控单元被替换为基于注意力机制的中间结构,将“加权求和”操作转变为对整个特征图进行增强或抑制,特征被更为充分地利用.通过表3与图5可知,由于双向LSTM结构需要重复计算编码器与注意力中间结构,易造成一些分类任务的过拟合现象,而单向LSTM结构并不存在这个问题,模型也更加容易训练.另外,时序模型能够提高各时刻间参数的传递效率,使得模型自适应地选择是否保留先前时刻的特征参数,以提升各分类任务之间的联结效果.该结构使得互相关联的分类任务之间相互促进,互不相关的任务之间相互独立.由于LSTM结构对信号依赖的自主选择,本文所提出的结构能够胜任更多数量的分类任务,且模型易于训练,具有较强的泛化性能.图6(c)展示了多任务分类模型对不同类型结节的预测结果,结果以概率的形式给出,能够辅助影像科医生更好地完成诊断工作.

虽然,基于注意力机制与LSTM时序结构的多任务分类模型取得了较好的分类效果,但是对于模型的细节需要进一步优化.如在分类任务先后顺序的选择上,由于LSTM结构不同于多层感知器结构,在不同特征顺序下,各时刻模型间的参数传递效果不同,导致某些任务结果出现差异.在本实验中,通过不断变换各任务的顺序进行多次训练测试,各个任务的结果随着位置的不同而出现差异,但总体上的平均性能相差不大.另外,对于模型损失函数的选择上,本文使用了改进后的焦点损失函数,在一些特定的场景中,各任务的数据量有可能极不平衡,重要性也都各不相同,因此需要对任务属性的重要性以及不确定性^[27],即各任务之间相关置信度进行建模.在今后的工作中,将继续在这些方向上对本文工作进行优化.

4 结语

本文提出一种基于LSTM时序结构的多任务模型,并在模型中加入基于注意力机制的特征抽取结构.注意力结构能够充分融合不同时刻间图像特征,提高模型的特征提取能力.基于LSTM结构的时序输出模型能够很好地传递任务间共享参数,并保留当前任务独立参数,使分类模型更加稳定.该模型在肺结节的多任务特征抽取上取得较好的效果,能够辅助医生更好地完成影像报告撰写工作.所提出的模型能够推广到其他多标签问题中,通过不断优化其结构与损失函数,解决更多场景下的图像理解任务.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

VANDENHENDE

, GEORGOULIS

, VAN

GANSBEKE W

, et al.

Multi-task learning for dense prediction tasks: A survey

[DB/OL]. (2021-01-26) [2021-03-01]. https://ieeexplore.ieee.org/abstract/document/9336293.

URL [本文引用: 1]

[2]

K M

, GKIOXARI

, DOLLÁR

, et al.

Mask R-CNN

[C]// 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2980-2988.

[3]

LIU

, QI

, QIN

H F

, et al.

Path aggregation network for instance segmentation

[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 8759-8768.

DOI:10.1109/TPAMI.2016.2577031 URL [本文引用: 1]

[4]

REN

S Q

, HE

K M

, GIRSHICK

, et al.

Faster R-CNN: Towards real-time object detection with region proposal networks

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[5]

LIU

, ANGUELOV

, ERHAN

, et al.

SSD: Single shot MultiBox detector

[M]// Computer vision-ECCV 2016. Cham, Switzerland: Springer International Publishing, 2016: 21-37.

DOI:10.1016/j.jacr.2007.12.015 URL [本文引用: 1]

[6]

DUNNICK

N R

, LANGLOTZ

C P

The radiology report of the future: A summary of the 2007 intersociety conference

[J]. Journal of the American College of Radiology, 2008, 5(5): 626-629.

[7]

KOKKINOS

UberNet:Training a universal convolutional neural network for low-, mid-, and high-level vision using diverse datasets and limited memory

[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 5454-5463.

[8]

MISRA

, SHRIVASTAVA

, GUPTA

, et al.

Cross-stitch networks for multi-task learning

[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 3994-4003.

DOI:10.1016/j.eswa.2019.01.048 URL [本文引用: 3]

[9]

SHEN

S W

, HAN

S X

, ABERLE

D R

, et al.

An interpretable deep hierarchical semantic convolutional neural network for lung nodule malignancy classification

[J]. Expert Systems With Applications, 2019, 128: 84-95.

[10]

AMYAR

, MODZELEWSKI

, LI

, et al.

Multi-task deep learning based CT imaging analysis for COVID-19 pneumonia: Classification and segmentation

[J]. Computers in Biology and Medicine, 2020, 126: 104037.

DOI:10.1016/j.compbiomed.2020.104037 URL [本文引用: 1]

[11]

CHEN Z

. BADRINARAYANAN

, LEE

C Y

, et al.

Gradnorm: Gradient normalization for adaptive loss balancing in deep multitask networks

[C]// International Conference on Machine Learning. Stockholm, Sweden: PMLR, 2018: 794-803.

[12]

LIU

S K

, JOHNS

, DAVISON

A J

End-to-end multi-task learning with attention

[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019: 1871-1880.

[13]

GUO

, HAQUE

, HUANG

D A

, et al.

Dynamic task prioritization for multitask learning

[M]// Computer vision-ECCV 2018. Cham, Switzerland: Springer International Publishing, 2018: 282-299.

[14]

JALALI

, SANGHAVI

, RUAN

, et al.

A dirty model for multi-task learning

[J]. Advances in Neural Information Processing Systems, 2010, 23: 964-972.

[15]

ANDO

R K

, ZHANG

, BARTLETT

A framework for learning predictive structures from multiple tasks and unlabeled data

[J]. Journal of Machine Learning Research, 2005, 6: 1817-1853.

[16]

CHEN

J H

, LIU

, YE

J P

Learning incoherent sparse and low-rank patterns from multiple tasks

[J]. ACM Transactions on Knowledge Discovery from Data, 2012, 5(4): 1-31.

DOI:10.1162/neco.1991.3.1.79 URL [本文引用: 1]

[17]

JACOBS

R A

, JORDAN

M I

, NOWLAN

S J

, et al.

Adaptive mixtures of local experts

[J]. Neural Computation, 1991, 3(1): 79-87.

[18]

SHAZEER

, MIRHOSEINI

, MAZIARZ

, et al.

Outrageously large neural networks: The sparsely-gated mixture-of-experts layer

[DB/OL]. (2017-01-23) [2021-03-01]. https://arxiv.org/abs/1701.06538.

URL [本文引用: 1]

[19]

J Q

, ZHAO

, YI

X Y

, et al.

Modeling task relationships in multi-task learning with multi-gate mixture-of-experts

[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, NY, USA: ACM, 2018: 1930-1939.

[本文引用: 2]

[20]

CHEN

S H

, QIN

, JI

, et al.

Automatic scoring of multiple semantic attributes with multi-task feature leverage: A study on pulmonary nodules in CT images

[J]. IEEE Transactions on Medical Imaging, 2017, 36(3): 802-814.

DOI:10.1109/TMI.2016.2629462 URL [本文引用: 2]

[21]

LIN

T Y

, GOYAL

, GIRSHICK

, et al.

Focal loss for dense object detection

[C]// 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2999-3007.

DOI:10.1118/1.3528204 URL [本文引用: 1]

[22]

ARMATO

S G I

, MCLENNAN

, BIDAUT

, et al.

The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans

[J]. Medical Physics, 2011, 38(2): 915-931.

[23]

K M

, ZHANG

X Y

, REN

S Q

, et al.

Deep residual learning for image recognition

[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada, USA: IEEE, 2016: 770-778.

DOI:10.1016/j.acra.2007.07.021 URL [本文引用: 1]

[24]

MCNITT-GRAY

M F

, ARMATO

S G III

, MEYER

C R

, et al.

The lung image database consortium (LIDC) data collection process for nodule detection and annotation

[J]. Academic Radiology, 2007, 14(12): 1464-1474.

[25]

ISENSEE

, JAEGER

P F

, KOHL

S A A

, et al.

nnU-Net: A self-configuring method for deep learning-based biomedical image segmentation

[J]. Nature Methods, 2021, 18(2): 203-211.

DOI:10.1038/s41592-020-01008-z URL [本文引用: 1]

[26]

CIPOLLA

, GAL

, KENDALL

Multi-task learning using uncertainty to weigh losses for scene geometry and semantics

[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Shenzhen, China: IEEE, 2018: 7482-7491.

[27]

KENDALL

, GAL

, CIPOLLA

, et al.

Multi-task learning using uncertainty to weigh losses for scene geometry and semantics

[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City, UT, USA: IEEE, 2018: 7482-7491.