(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210128620.8 (22)申请日 2022.02.11 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 刘羽　牧富豪　成娟　李畅　 宋仁成　陈勋　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 7/174(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像融合技术的多模态图像分割 方法 (57)摘要 本发明公开了一种基于图像融合技术的多 模态图像分割方法， 包括： 第一步， 融合多模态图 像： 数据获取及预处理， 建立基于像素级的融合 网络， 训练网络和输出融合模态图像； 第二步， 分 割多模态图像： 数据获取及预处理， 建立基于特 征级融合的多模态特征选择模块与分割网络， 分 割网络训练和分割图像后处理。 本发 明从像素级 融合和特征级融合两个角度提升了图像分割的 精度， 为图像的进一步分析处理提供了有力的支 持。 权利要求书2页 说明书8页 附图4页 CN 114494322 A 2022.05.13 CN 114494322 A 1.一种基于图像融合 技术的多模态图像分割方法， 其特 征包括以下步骤： 步骤1： 融合多模态图像： 步骤1.1： 数据获取及预处 理： 根据分割需求选取第一模态图像S1和第二模态图像S2并作为源模态图像后对其随机裁 剪成尺寸为L ×H×W的图像样本后再进行归一化处理， 从而得到预处理后的第一模态图像 S′1和第二模态图像S ′2； 步骤1.2： 建立基于像素级的融合网络： 所述像素级的融合网络包含两个 结构相同的分支， 每个分支均包含 一个卷积层Convx和 一个残差层Res ‑convx， x＝1或2； 其中， 残差层是由两个卷积层跳跃连接组成； 其中， 卷积层 包括： 1个三维卷积层， 1个批量归一 化层以及1个ReLU激活函数层； 每个分支 接收一种模态图像集， 从而将预处理后的第一模态图像集S ′1和第二模态图像 集S′2分别经过两个分支的处 理后， 相应输出第一模态特 征图F1和第二模态特 征图F2； 将第一模态特征 图F1和第二模态特征图F2拼接后依次输入第三个残差层Res ‑conv3的 处理后再经过两个卷积层Conv3和Conv4以及一个激活函数层的处理， 并得到权重图m， 从而 利用式(1)得到所述像素级的融合网络 输出的融合模态图像F： F＝mS1+(1‑m)S2                              (1) 步骤1.3： 构建如式(2)所示的损失函数Lfusion： Lfusion＝Lpixel+α Lssim                             (2) 式(2)中， α是平衡两项损失在同一数量级的参数， Lpixel与Lssim分别代表训练的像素损 失和结构相似性损失， 并有： Lssim＝γ(1‑SSIM(F,S1))+(1‑SSIM(F,S2))                    (4) 式(3)中， β 表示权 重系数， 表示F范数； 式(4)中， γ表示权 重系数， S SIM(·)表示结构相似度； 步骤1.4： 基于预处理后的第一模态图像S ′1和第二模态图像S ′2训练像素级的融合网 络， 并采用反向传播算法对 所述损失函数Lfusion进行优化求解， 从而调整所述融合网络中所 有参数， 当训练迭代次数达到 设定的次数或损失函数Lfusion的值达小于所设定的阈值时， 训 练停止， 从而得到最优融合模型及其输出 的融合图像， 并将输出 的融合图像还原至源模态 图像的尺寸， 得到最优融合图像F*； 步骤2： 分割多模态图像： 步骤2.1： 数据预处 理： 将源模态图像与最优融合图像F*拼接后随机裁剪成尺寸为L1×H1×W1的图像块并进行 归一化处理， 得到预处理后的N个图像块， 且每个图像块对应一个模态； 获取源模态图像对 应的真实标签图像g； 步骤2.2： 建立基于特 征级融合的多模态特 征选择模块： 根据图像块的模态数量N， 设置所述多模态特征选择模块包含的并行分支个数为N， 使 得每个并行分支对应一种模态图像； 第n个并行分支使用一个卷积层来提取对应第n种模态的图像块的浅层特征Un， 从而得权　利　要　求　书 1/2 页 2 CN 114494322 A 2到N个尺寸 为L1×H1×W1×C的浅层特 征U1,U2,…,Un…,UN， n＝1,2,...,N， C为通道数； 将不同并行分支提取的浅层特征U1,U2,…,Un…,UN相加得到中间融合特征U， 再将中间 融合特征U通过一个全局平局池化层的处 理后得到尺寸 为1×1×1×C的通道特 征向量sC； 使用一个卷积层对所述通道特征向量sC进行下采样操作以降低通道数量， 从而得到尺 寸为1×1×1×C/r的特征向量z； N个并行分支对所述特征向量z使用N个卷积层的上采样处理， 得到N个尺寸为1 ×1×1 ×C的特征向量并使用softmax层的激活处理， 得到N个分支上的权重向量t1,t2,…,tn,…, tN， 从而利用式(5)得到多模态特 征选择模块输出的融合特 征V： 式(5)中， tn表示第n个分支上的权 重向量， Un表示第n个分支上的浅层特 征； 步骤2.3： 建立分割网络， 并将融合特征V输入所述分割网络中进行处理， 得到分割结果 图像p； 步骤2.4： 构建如式(6)所示的损失函数Lseg： Lseg＝Ldice+λLbce                  (6) 式(6)中， λ是权 重系数， Ldice与Lbce分别代表训练的Dice损失与BC E损失， 并有： 式(7)和式(8)中， pi代表分割结果图像p中第i个像素点的预测值， gi代表真实标签图像 g中第i个像素点的真实标签值， v代 表图像像素点的数量； 步骤2.4.2： 基于源模态图像S1， S2， 融合模态图像F及真实标签图像g对所述分割网络进 行训练， 并采用反向传播算法对 所述损失函数Lseg进行优化求解， 从而调整 所述分割网络中 所有参数， 当训练迭代次数达到 设定的次数或损失函数Lseg的值达小于所设定的阈值时， 训 练停止， 从而得到最优分割模型； 步骤2.5： 将待分割的多模态图像输入至所述最优分割模型中， 并得到分割结果后还原 至原始尺寸， 从而得到最终的分割图像。权　利　要　求　书 2/2 页 3 CN 114494322 A 3