(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210277852.X (22)申请日 2022.03.21 (71)申请人 南通大学 地址 226001 江苏省南 通市崇川区啬园路9 号 (72)发明人 邵叶秦　许昌炎　桑子江　盛美红　 (74)专利代理 机构 北京科家知识产权代理事务 所(普通合伙) 11427 专利代理师 曹振中 (51)Int.Cl. G06T 7/10(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于Tran sformer的乳腺癌磁共振成像 病灶分割方法 (57)摘要 本发明提供一种基于Transformer的乳腺癌 磁共振成像病灶分割方法， 涉及智慧医疗和深度 学习领域， 其技术要点在于： 构建TransBC， 所述 TransBC为基于Transformer结合3D卷积的MRI病 灶分割模型， 并且所述TransBC的网络为编码 器—解码器结构； 所述编码器—解码器结构分为 下采样阶段和上采样阶段， 其中所述下采样阶段 为CNN编码器， 用于提取不同层次的特征表示； 所 述上采样阶段为Transformer编码器， 用于多次 提取高分辨率特征图的长距离依赖关系补充并 修正低分辨率CNN特征。 模型的核心是使用 Transformer对高分辨率特征图进行编码， 提取 出长距离依赖来补充和修正低分辨率CNN特征。 本申请的模型能够更加精准地处理病灶的边缘 部分， 同时对于某些病灶内部灰度值不均衡的困 难样本具 备更好的分割效果。 权利要求书3页 说明书7页 附图4页 CN 114596318 A 2022.06.07 CN 114596318 A 1.一种基于Transformer的乳腺癌磁共振成像病灶分割方法， 其特征在于： 构建 TransBC， 所述TransBC为基于Transformer结合3D卷积的MRI病灶分割模型， 并且所述 TransBC的网络为编码器—解码器结构； 所述编码器—解码器结构分为下采样阶段和上采 样阶段， 其中所述下采样阶段为CN N编码器， 用于提取不同层次的特 征表示； 所述上采样阶段为Transformer编码器， 用于多次提取高分辨率特征图的长距离依赖 关系补充并修正低分辨率CNN特征。 上采样阶段通过多次应用上采样器逐步将特征图分辨 率还原为原 始大小， 网络的输出即为医学图像的标签图。 2.根据权利要求1所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 其包 含以下步骤： S1： 采集动态增强乳腺癌(DC E‑MRI)数据， 并对数据进行 预处理； S2： 构建TransBC网络； S3： 构建TransBC网络的编码器， 所述TransBC网络的编码器包括瓶颈模块和下采样模 块； S4： 构建TransBC网络的解码器， 所述TransBC网络的解码器包括Transformer模块、 特 征融合模块和上采样模块； S5： 利用S1得到的训练集和 测试集来训练和 测试TransBC网络 。 3.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述S1中的所述预 处理包含以下步骤： 所述预 处理的步骤为， 采集医院提供的病人乳 腺癌MRI数据， 对MRI图像进行重采样处理， 确保其空间距离为1mm*1mm*1mm， 然后对MRI图像 进行了裁剪操作， 裁剪后的图像尺寸统一为(64， 64， 64)， 所述S1 中数据预处理完成后， 将采 集到的数据分为训练集和 测试集。 4.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述S3包 含以下步骤： 3‑1： 采用CN N编码器FCNN(·)； 3‑1‑1： 构建瓶颈块， 所述 瓶颈块沿用ResNet中的经典残差结构设计； 3‑1‑2： 构建下采样块， 所述下采样块由3D卷积层构成； 3‑1‑3： 设置编码器FCNN(·)中卷积操作的激活函数为ReLU函数， ReLU函数定义为： Out (in)＝max(0,i n)； 设置卷积核大小为2*2*2， 步长为2； 3‑2： 输入图片 经过FCNN(·)运算后的特 征图公式为： 5.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述S4包 含以下步骤： 4‑1： 构建Transformer模块； 4‑2： 参考CBAM设计了特 征融合模块； 4‑3:构建上采样模块， 使用级联上采样器渐进式地将分辨率为 的特征图恢 复成原图尺寸。权　利　要　求　书 1/3 页 2 CN 114596318 A 26.根据权利要求5所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述 4‑1包含以下步骤： 4‑1‑1： 确定Transformer模块的输入； 4‑1‑2： Transformer模块的输入为3D图片块 其中H,W,D,C分别表示 其 高度、 宽度和深度和通道数； 4‑1‑3： 加上位置编码， 使用可 学习的位置编码； 4‑1‑4： 所述Transformer编码器包括多头自注意力块和多层感知机块， 其中， 所述自注 意力块负责完成查询—键—值注意力的计算。 7.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述4 ‑1‑2中包含以下步骤： 对图片进行分块， 将特征图x沿宽度、 高度和深度三个维 度进行分块， 并将各块 堆叠起来； 然后使用块 边长的按比例调整策略。 8.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述S5中包 含以下步骤： 5‑1： 确定TransBC网络 的基本架构， 初始化网络各组件连接权重、 残差单元数量、 卷积 层数量、 学习率、 训练步长、 优化器、 迭代次数和训练批次； 5‑2： 用S1划分的训练集输入TransBC网络的编码器FCNN(·)， 得到下采样的输出 XS； 5‑3： 使用解码器部分的Transformer模块、 特征融合模块和上采样模块对下采样结果 解码， 得到模型输出值XU； 5‑4： 采用Dice、 I oU和准确率对 模型分割的准确度进行评估； 5‑5： 按照步骤5 ‑1设置的迭代次数训练模型， 使用测试集 来验证模型的分割效果。 9.根据权利要求2所述的基于Transformer的乳腺癌 磁共振成像病灶分割方法， 其特征 在于： 所述5 ‑4中： Dice的公式为： 其中GT表示专家手动标注的金标准二值图像， Pred为模型 预测的结果； IoU的公式如下所示： IoU和Dice一样都是衡量网络预测图像和金标 准的重合度； 准确率的公式为： 中， TP表示真阳性； TN表示真阴性； FP和FN则 表示假阳性和假阴性。 10.根据权利要求2所述的基于Transformer的乳腺癌磁共振成像病灶分割方法， 其特 征在于： 所述5 ‑5中： 为验证模型在乳腺癌MRI上的分割性能， 需将图像进行处理以满足模型的输入需求。 将 模型的输出图像标签图应用softmax函数， 并设置阈值为0.5。 若标签图里的值大于阈值则 将其置为 1， 若小于0.5则将其置为0。 经过此项处理后标签图与MRI图像一一对应， 若体素值 为0表示非病灶， 若体素值 为1则表示病灶。 11.一种MRI病灶分割模型， 其特征在于： 使用权利要求1 ‑9中任一一项所述的基于 Transformer的乳腺癌磁共振成像病灶分割方法构建得到， 所述MRI病灶分割模型为基于权　利　要　求　书 2/3 页 3 CN 114596318 A 3