发明内容
为了克服现有主干网络提取深层特征存在的局部细节与全局对比度信息缺乏、特征图分辨率低的问题，为了解决以上问题并总体上达到更优的肠道病灶分割精度，本发明提出了一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法的肠道病灶分割方法。首先，提出一种多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，并引入一种提高分割可靠性的多尺度残差块(Multi-Scale Residual Block，MSR)产生初始预测图。本发明所提出的主干网络每级填充的U型残差块(Residual U-blocks，RSU)在保持高分辨率特征图与降低内存和计算成本的情况下，可以直接逐步提取多尺度特征，相比现有主干网络，可以提取更多局部细节和全局对比度信息；其次，提出将一种有助于分割整个显著肠道病灶并细化更精确的边界的整体注意机制(Holistic Attention，HA)用来增强浅层特征得到增强的初始预测图。最后，引入一种建立区域与边界线索之间关系的反向注意机制(Reverse Attention，RA)来挖掘更多边界线索和弥补HA细化边界可能存在的错误部分，从而进一步地提高肠道病灶分割精度。
为了解决上述技术问题，本发明采用如下的技术方案：
一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法的肠道病灶分割方法，包括以下步骤：
步骤1输入数据集X＝{x1,x2,...,xn}，其中，X表示数据集中输入的样本，xn∈R352×352，n表示样本数量，将多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，然后引入MSR显著性检测深层特征，产生一个单通道初始预测图，过程如下：
1.1为了提取肠道病灶图像更丰富的局部和全局特征，将多尺度U型残差编码器作为主干网络对图像进行编码，提取各级特征Xi(i＝1,2,3,4,5)，该主干网络M级(M＝1，2，3，4，5)，其中第1、2级为低级层，第3、4、5级为高级层，该主干网络每级填充的RSU可以从逐步下采样的特征图中提取多尺度特征，并通过逐级上采样、级联和卷积将多尺度特征编码成高分辨率的特征图，该过程减轻了由大尺度的直接上采样造成的精细细节的损失，RSU随着深度L参数越高，将会有更多的池化操作，更大范围的接受域和更丰富的局部和全局特征；
1.2多尺度U型残差编码器每级实现特征提取后通过下采样操作进入下一级网络；
1.3为了解决肠道病灶图像深度特征显著性检测的多尺度问题，使用MSR显著性检测最高级层(M＝5)的多尺度特征X5，产生一个可靠的单通道初始预测图Nm，所使用的MSR不需要嵌入在单独的池化层之后，该模块由三个平行分支组成，每个分支共享相同的残差结构，但是膨胀率不同，并且每个分支都以迭代次数为N1的循环方式来实现增加感受野，从而在减少参数数量的同时产生可靠的初始预测结果；
步骤2，为了分割整个显著的肠道病灶区域并细化更精确的边界，在考虑到浅层特征为构建肠道病灶区域边界保留了空间细节的基础上，使用HA增强浅层特征F2，从而产生一个单通道增强的初始预测图Np。相对于未加入注意机制和加入其他注意机制具有更精确的边界的效果，并且消除了无关特征；
步骤3，为了更进一步的挖掘边界信息和弥补HA细化边界可能存在的错误部分，达到更高的分割精度，将增强的初始预测图Np馈送到可建模边界的RA，同时由高级层的侧输出特征Xi(i＝3,4,5)自适应学习RA，产生三个侧输出Ni(i＝3,4,5)，将其中的侧输出N3馈送到Sigmoid函数产生最终预测图No，并且采用mask真实图对三个侧输出Ni(i＝3,4,5)和增强的初始预测图Np进行深度监督；
步骤4，输入设定数量的给定像素的肠道病灶图像对模型训练得到训练参数，再用训练的参数，输入分割数据集图像进行测试得到最终的分割结果。
本发明以肠道病灶中息肉为例进行实验，输入1450张384×288像素的息肉图像对本发明模型训练得到训练参数，再用训练的参数，输入常用的息肉分割数据集图像进行测试得到最终的分割结果。
本发明的有益效果表现在：
1.本发明所提出的将多尺度U型残差编码器作为主干网络，其每级网络均可以提取任意分辨率多尺度的高分辨率特征图，减轻了由大尺度的直接上采样造成的精细细节的损失，相比现有主干网路，可以提取更丰富的局部和全局特征；
2.本发明所提出的使用HA增强浅层特征可以产生边界更精确的初始预测图，并且本发明引入RA进一步挖掘边界线索和弥补HA细化边界可能存在的错误部分，从而产生更加精确的分割效果；
3.本发明方法相对于现有的肠道病灶分割方法具有更优的分割效果，并且具有更好的实际工程应用价值。
具体实施方式
为了阐明本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。
参照图1～图6，一种基于多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，包括以下步骤：
步骤1，输入数据集X＝{x1,x2,...,xn}，其中，X表示数据集中输入的样本，xn∈R352×352，n表示样本数量，将多尺度U型残差编码器作为主干网络对输入肠道病灶图像进行编码，提取图像特征。该主干网络每级都填充RSU，通过配置RSU的深度L参数可以从输入特征图中提取任意空间分辨率的多尺度特征，RSU从逐步下采样的特征图中提取多尺度特征，并通过逐级上采样、级联和卷积将多尺度特征编码成高分辨率的特征图，该过程减轻了由大尺度的直接上采样造成的精细细节的损失。相比现有主干网络，可以提取更多局部细节和全局对比度信息，过程如下：
1.1为了提取肠道病灶图像更丰富的局部和全局特征，使用多尺度U型残差编码器作为主干网络对图像进行编码，提取各级特征Xi(i＝1,2,3,4,5)，该主干网络有M级(M＝1，2，3，4，5)，其中第1、2级为低级层，第3、4、5级为高级层，该主干网络每级处理特征过程分为三个阶段：第一阶段，主干网络每级填充的RSU的输入卷积层对输入特征图x转换成一个中间特征图Fi(x)；第二阶段，以中间特征图Fi(x)为输入，学习提取和编码多尺度上下文信息得到U(Fi(x))；第三阶段，求和融合局部特征和多尺度特征：
x＝Fi(x)+U(Fi(x)) (1)
1.2多尺度U型残差编码器每级实现特征提取后通过下采样操作进入其下一级网络；
1.3为了解决肠道病灶图像深度特征显著性检测的多尺度问题，使用MSR显著性检测最高级层(M＝5)的多尺度特征F5，产生一个可靠的单通道初始预测图Nm，所使用的MSR不需要嵌入在单独的池化层之后，该模块由三个平行分支组成，每个分支共享相同的残差结构，但是膨胀率不同，并且每个分支都以迭代次数为N1的循环方式来实现增加感受野，从而在减少参数数量的同时产生可靠的初始预测结果，过程如下：
将主干网络最高级层提取的特征X5作为输入，经过MSR的三个残差块分支，其中三个残差块分支均由三个内核大小为1×1，3×3，1×1的卷积层组成，但每个分支的3×3卷积层的膨胀率各不相同，将所有分支的特征进行融合，然后馈送入一个3×3的卷积层产生一个单通道的可靠的初始预测结果Nm；
步骤2，为了分割整个显著的肠道病灶并细化更精确的边界，提出使用HA增强浅层特征X2，获得一个单通道增强的初始预测图Np，HA旨在扩大初始预测图的覆盖范围，提高初始预测图的有效性，消除无关特征的干扰；由于浅层特征为构建对象边界保留了空间细节，所以使用HA增强主干网络第二级提取的特征X2，获得增强后的初始预测图，与不使用注意机制和其他注意机制相比，HA有助于分割整个显著的肠道病灶并细化更精确的边界，该过程表示为：
Np＝MAX(fmin-max(Convg(F2,k)),Nm) (2)
其中Convg(·)是具有高斯核k和零偏差的卷积运算，fmin_max(·)是使模糊特征图在[0,1]范围中的归一化，MAX(·)是倾向于增加显著区域权重系数的最大函数，这里k＝32，标准差取值为4；
步骤3，为了更进一步的挖掘边界信息和弥补HA细化边界可能存在的错误部分，将增强的初始预测图Np馈送到可建模边界的RA，同时高级层的侧输出特征F3F4F5自适应学习RA，产生三个侧输出Ni(i＝3,4,5)，将其中的侧输出N3馈送到Sigmoid函数产生最终预测图No，RA从主干网络高级层侧输出特征中删除现有的估计病灶区域来顺序挖掘互补区域和细节，最终将不精确的估计细化为精确和完整的预测图，过程如下：
3.1将高级层的侧输出特征Xi(i＝3,4,5)与反向注意权值Ai进行相乘，各自产生一个输出特征Ri，该过程表示为：
Ri＝Xi⊙Ai (3)
3.2反向注意权值Ai经过一系列操作得到的，该过程表示为：
Ai＝ε(Θ(σ(ρ(Ni+1)))) (4)
其中ρ(·)是上采样操作，σ(·)是一个Sigmoid激活函数，Θ(·)是从元素都为1的矩阵E中减去输入的逆运算，ε是将单通道特征扩展到64个重复张量；
3.3侧输出N3馈送到Sigmoid函数产生最终预测图No，该过程表示为：
No＝sigmoid(N3) (5)
3.4采用mask真实分割图对主干网络高级层的侧输出Ni(i＝3,4,5)与增强的初始预测图No进行深度监督；
步骤4，以肠道病灶中息肉为例进行实验，输入1450张384×288像素的息肉图像对本发明模型训练得到训练参数，再用训练的参数，输入常用的息肉分割数据集图像进行测试得到最终的分割结果。
本发明的效果可通过以下仿真实验进一步说明。
1)仿真条件
本发明所有架构均用PyTorch框架作为后端实现。实验所用操作系统为Ubuntu18.04.4LTS，软件PyCharm(2020.2.3)，处理器为Intel(R)Xeon(R)Silver4210CPU@2.20GHz，内存64GB，Cuda版本为10.2.89，训练过程由NVIDIA RTX 2080Super GPU加速。
2)仿真结果
本发明的肠道病灶分割方法与经典的U-Net、U-Net++方法以及最近的U2-Net、PraNet方法在使用相同的训练集情况下，在肠道病灶分割真实数据集上进行对比实验。为了进一步验证本发明的肠道病灶分割方法在真实数据集上的性能，使用常用的息肉分割数据集CVC-ClinicDB进行测试实验，采用常用的F-Sorce、Sα、以及MAE指标评价息肉分割结果，其中F-Sorce是Precision和Recall的调和平均值；Sα用于度量预测图与真实图mask之间结构相似性；/>用于度量两个二进制图之间的局部和全局相似性；/>是加权Dice，被用来修正Dice中的同等重要缺陷；MAE是平均绝对误差，用来评估像素级精度。
表1为在息肉分割数据集CVC-ClinicDB上的测试结果：
表1
从上表以看出，本发明方法相对于现有的一些肠道病灶分割方法具有更优的分割结果，具有更好的实际工程应用价值。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。