(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210202366.1 (22)申请日 2022.03.03 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 陈勋　张静　刘爱萍　张勇东　 吴枫　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于全局信息融合的多模态医学图像 融合方法 (57)摘要 本发明公开了一种基于全局信息融合的多 模态医学图像融合方法， 其步骤包括： 1、 对原始 多个模态的医学图像进行色彩空间转换和图像 剪切的预处理； 2、 建立在多个尺度通过融合模块 进 行 交 互 的 模 态 分 支 网 络 ，并 建 立 由 Transformer构成的融合模块来合并多模态特征 信息； 3、 建立重构模块， 从多尺度的多模态特征 合成融合图像； 4、 在公开数据集上训练并评估上 述模型； 4、 利用训练好的模型实现医学图像融合 任务。 本发明通过Transformer融合模块和交互 式模态分支网络能充分地融合多模态的语义信 息， 实现细粒度的融合效果， 不仅很好地保留了 原图像的结构和纹理信息， 也改善了由于低分辨 率医学图像引起的马赛克现象。 权利要求书3页 说明书9页 附图3页 CN 114565816 A 2022.05.31 CN 114565816 A 1.一种基于全局信息融合的多模态医学图像融合方法， 其特 征包括如下步骤： 步骤一、 获取M个不同模态的原始医学图像并进行YCbCr色彩空间的转换， 得到所有模 态的Y通道图像{I1,…,Im…,IM}； 其中， Im表示第m个模态的Y通道图像， m∈{1,2, …,M}； 对 所有模态的Y通道图像{I1,…,Im…,IM}进行图像剪切， 从而得到所有模态的图像块集合 {S1,…,Sm…,SM}， 其中， Sm表示第m个模态的图像块 集合； 步骤二、 构建融合网络TransFusion， 包括： M个模态分支网络、 N个融合模块、 一个重构 模块； 并将所有模态的图像块 集合{S1,…,Sm…,SM}输入所述融合网络TransFusi on中： 步骤2.1、 构建所述M个模态分支网络和N个融合模块： 步骤2.1.1、 构建M个模态分支网络： M个模态分支网络中的第m个模态分支网络由N个卷积模块组成， 并将N个卷积模块分别 记为ConvBlockm1,…,COnvBlockmn,…,ConvBlockmN， 其中， ConvBlockmn表示第m个模态 分支 网络的第n个卷积模块， n∈{1,2, …,N}； 当n＝1时， 所述第m个模态分支网络的第n个 卷积模块ConvBlockmn由Xmn个二维卷积层组 成； 当n＝2,3, …,N时， 所述第m个模态分支网络的第n个卷积模块ConvBlockmn由一个最大 池化层和Xmn个二维卷积层组成； 第m个模态分支网络的第n个卷积模块的第x个二维卷积层的卷积核尺寸为ksmnx× ksmnx， 卷积核数目为 knmnx， x∈{1,2, …,Xmn}； 步骤2.1.2、 构建N个融合模块： N个融合模块的任意第n个融合模块为一个Transformer网络， 并 由L个自注意力机制模 块构成； L个自注意力机制模块中的第l个自注意力机制模块包括： 1个多头注 意力层、 2个层 归一化、 1个全连接层； 步骤2.2、 将所有模态的图像块集合{S1,…,Sm…,SM}输入M个模态分支网络中， 并通过N 个融合模块进行信息融合： 当n＝1时， 所述第m个模态的 图像块集合Sm输入所述第m个模态分支网络的第n个卷积 模 块ConvBlockmn的Xmn个二维卷积层后输出特征图 其中， Hn、 Wn、 Dn分别表示 第m个模态分支网络在第n个卷积模块的输出特征图 的高、 宽、 通道数； 从而得到M个模态 分支网络在第n个卷积模块的输出 特征图 将所述M个模态分支网络在第n个卷积模块的输出特征图 经过第n个 融合模块处理后， 输出特征图 其中， 表示第n个融合模块输出的第 m个特征图； 将所述第n个融合模块输出的第m个特征图 与所述第m个模态分支网络的第n个卷积 模块输出的特征图 进行相加， 得到第m个模态分支网络在 第n个卷积模块交互后的特征图 从而得到M个模态分支网络在第n个卷积模块交互后的特征图 当n＝2,3, …,N时， 将第m个模态分支网络在第n ‑1个卷积模块交互后的特征图 输入 到第m个模态分支网络的第n个卷积模块的最大池化层中进行下采样处理， 得到第m个模态 分支网络在第n个卷积模块下采样后的特征图 将所述下采样后的特征图 输入第m权　利　要　求　书 1/3 页 2 CN 114565816 A 2个模态分支网络的第n个卷积模块的第1个 二维卷积层中， 并依次经过Xmn个二维卷积层的处 理后， 输出 特征图 从而得到 M个模态分支网络的第n个卷积模块输出的特 征图 将所述特征图 经过第n个 融合模块的处理后， 输出特 征图 将第n个融合模块输出的第m个特征图 与第m个模态分支网络的 第n个卷积模块输出的特征图 进行相加， 得到相加后的特征图 从而得到M个相加后的 特征图 进而得到第N个融合模块输出的特征图 步骤2.3、 所述重构模块由N级卷积网络构成； 并将N个融合模块输出的特 征图 输入到所述重构模块， 得到初步融合图像F ′： 步骤2.3.1、 将 所述第n个融合模块输出的所有特征图 进行相加， 得 到融合特 征图Φn； 从而得到N个融合模块的融合特 征图{Φ1,…,Φn,…,ΦN}； 步骤2.3.2、 构建由N级卷积网络构成的重构模块， 并将第n个融合模块的融合特征图Φn 输入到重构模块的第n级卷积网络： 当n＝1时， 第n级卷积网络包括： Bn个卷积模块 当n＝2,3,…,N时， 第n级卷积网络包括： Bn个卷积模块 和Bn+1个上采样层 第n级卷积网络的第b个卷积模块RConvBlocknb由Y个二维卷积层组成， b ∈{1,2,…,Bn}； 当n＝1且b＝1时， 将所述第n个融合模块的融合特征图Φn输入到所述第n级卷积网络的 第b个卷积模块RCo nvBlocknb， 并输出特征图ΦRnb； 当n＝2,3, …,N且b＝1时， 将所述第n个融合模块的融合特征图Φn输入到第n级卷积网 络的第b个上采样层UpSamplenb中进行上采样处理后， 输出上采样的特征图ΦUnb； 从而得到 第2级到第N ‑1级卷积网络的上采样后的特 征图{ΦU2b,…,ΦUnb,…,ΦUNb}； 当n＝2,3, …,N且b＝2,3, …,Bn时， 将第n个融合模块的融合特征图Φn、 第n级卷积网络 的前b‑1个卷积模块的输出特征图{ΦRn1,…,ΦRn(b‑1)}、 第n+1级卷积网络的前b个上采样 后的特征图{ΦU(n+1)1,…,ΦU(n+1)b}进行拼接后， 得到拼接后的特征图； 将所述拼接后的特 征图输入到第n级卷积网络的第b个卷积模块R ConvBlocknb， 并输出第n级卷积网络的第b个卷 积模块的输出特征图ΦRnb； 从而得到第1级卷积网络的第B1个卷积模块的输出特征图 将所述第1级卷积网络的第B1个卷积模块的输出特征图 经过一个卷积层的处理 后， 获得初步融合图像F ′； 步骤三、 构建损失函数并训练网络得到最优融合模型： 步骤3.1、 分别计算所有模态的图像块集合{S1,…,Sm…,SM}中各个图像块集合的熵， 并 得到相应的熵值{e1,…,em…,eM}， 其中， em表示第m个模态的图像块 集合的熵值； 步骤3.2、 对所述熵值{e1,…,em…,eM}分别进行归一化处理后， 得到所有模态的图像块 集合{S1,…,Sm…,SM}的权重{ω1,…,ωm,…,ωM}， 其中， ωm表示第m个模态的图像块集合权　利　要　求　书 2/3 页 3 CN 114565816 A 3