(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111642992.4 (22)申请日 2021.12.3 0 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 王金甲　常万里　周莹　宋佳锐　 郭浩攀　于存国　张立欣　陈妍　 孟康　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 代理人 周胜欣 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/60(2017.01) G06V 10/766(2022.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 预测介入手术支架尺寸的nnFormer回归方 法 (57)摘要 本发明公开了一种基于nnFormer进行预测 狭窄血管的尺 寸和介入手术支架尺 寸的方法， 属 于医学技术领域， 基于Swin  Transformer与CNN 相结合进行预测冠脉造影狭窄血管尺寸 以及两 侧正常血管尺寸的方法还是该领域比较新颖的 一种方法； 本发 明可以准确地预测狭 窄血管和两 侧正常血管的尺寸信息， 进而可以给予医生更有 力的参考价值， 帮助医生选取适合患者最优尺寸 的介入手术支架； 整个模型由Swin  Transformer 和CNN相结合搭建而成， 并由均方误差损失函数 监督训练， 进而可以训练出可以做出准确预测的 回归模型， 从而帮助选取最优尺 寸的介入手术支 架， 提升手术的成功率。 权利要求书1页 说明书3页 附图4页 CN 114399475 A 2022.04.26 CN 114399475 A 1.预测介入手术支 架尺寸的nnFormer回归方法， 其特 征在于包括以下步骤： S1、 获取冠脉造影图像数据， 并将其分为训练集、 验证集和测试集， 所述冠脉造影图像 为冠脉造影血 管图像； S2、 基于nnFormer构建回归预测模型， 并利用深度学习的方法在训练集和验证集上对 模型进行训练； 在训练的过程中， 采用均方误差函数Lmse来监督训练该模型； S3、 训练结束后， 查看该模型的性能在训练集和验证集上是否收敛良好， 并能对冠脉造 影血管图像中的狭窄血管尺寸和两侧 正常血管尺寸做出准确的预测； 若不能很好地收敛， 则调整超参数， 重新 开始训练， 直到模型能很好 地收敛并能做出准确的预测； S4、 当模型收敛良好时， 用测试集对其进行测试， 最终确定我们所需要的模型； S5、 根据最终确定的回归预测模型预测的狭窄血管的尺寸以及两侧正常血管的尺寸， 确定所需介入手术支 架的尺寸。 2.根据权利 要求1所述的预测介入手术支架尺寸的nnFormer回归方法， 其特征在于： 步 骤S1中所述的冠 脉造影血 管图像数据包括 其原始图像以及对应的标签数据。 3.根据权利 要求1所述的预测介入手术支架尺寸的nnFormer回归方法， 其特征在于： 步 骤S2中， 所述的回归预测模型基于nnFormer进行构建， 包括依次连接Embedding  layer、 重 复连接三次的Swin  Transformer Block x2和Down ‑sampling  layer、 然后再连接一个Swin   Transformer  Block x2， 所述的最后的Swin  Transformer  Block x2层连接Norm， Avgpool 层后再连接两层全连接层进行回归预测。 4.根据权利 要求1所述的预测介入手术支架尺寸的nnFormer回归方法， 其特征在于： 步 骤S2中， 所述Embedding  layer包括3x3的卷积、 2x2和1x1的stride、 LayerNorm层和GELU； 所 述Swin Transformer Block x2包括LayerNorm层、 残差 连接、 具有GELU非线 性的2层MLP、 W ‑ MSA和SW‑MSA； 所述的Down ‑sampling  layer包括GELU、 LayerNorm层、 2x2的卷积和2x2的 stride。 5.根据权利 要求1所述的预测介入手术支架尺寸的nnFormer回归方法， 其特征在于： 步 骤S2中， 所述均方误差函数Lmse为： 其中， yi表示血管尺寸的真实值， 表示血管尺寸的预测值， N 为训练的样本的数量。 6.根据权利 要求1所述的预测介入手术支架尺寸的nnFormer回归方法， 其特征在于： 步 骤S3中， 所述狭窄血管的尺寸为狭窄血管的直径和长度， 所述正常血管的尺寸为正常血管 的直径， 所述介入手术支 架尺寸为狭窄血 管的长度和正常血 管的直径。权　利　要　求　书 1/1 页 2 CN 114399475 A 2预测介入手术支架尺寸 的nnFormer回归方法 技术领域 [0001]本发明涉及一种基于nnFormer对冠脉造影血管图像做回归预测的方法， 属于医学 技术领域。 背景技术 [0002]冠脉造影血管的狭窄部位的精确数据对医生来说是至关重要的， 数据越精确， 医 生选择的介入手术支架的尺寸也更精确， 从而手术的成功率也就越高。 然而当前如何从技 术上实现准确地预测狭窄血管的尺寸仍是目前需要关注的重要问题。 当前的技术有基于卷 积神经网络CNN的， 也有基于纯Transformer的， 基于卷积神经网络的方法在全局信息与长 程语义信息的交互上存在着缺陷， 而基于Transformer的方法虽然在全局信息与长程语义 信息的交互上存在着一定优势， 但是其在局部信息的学习上明显不如卷积神经网络有优 势， 而且基于Transformer的方法的参数量也是相当大。 目前将这两者结合起来一起做回归 预测的方法还没有发现过， 因此， 我们将探究结合CNN和 Transformer来实现 我们的回归预 测任务。 发明内容 [0003]本发明需要解决的技术问题是提供一种基于nnFormer对冠脉造影血管图像进行 狭窄血管尺寸和介入手术支架尺寸预测的方法， 所构建的复杂度低， 提取的特征也更全面， 预测的狭窄血 管尺寸和介入手术支 架尺寸也更精确， 大 大地提高了手术的成功率。 [0004]为解决上述 技术问题， 本发明所采用的技 术方案是： [0005]预测介入手术支 架尺寸的nnFormer回归方法， 包括以下步骤： [0006]S1、 获取冠脉造影图像数据， 并将其分为训练集、 验证集和测 试集， 所述冠脉造影 图像为冠 脉造影血 管图像； [0007]S2、 基于nnFormer构建回归预测模型， 并利用深度学习的方法在训练集和验证集 上对模型进行训练； 在训练的过程中， 采用均方误差函数Lmse来监督训练该模型； [0008]S3、 训练结束后， 查看该模型的性能在训练集和验证集上是否收敛良好， 并能对冠 脉造影血管图像中的狭窄血管尺寸和两侧正常血管尺寸做出准确的预测； 若不能很好地收 敛， 则调整超参数， 重新 开始训练， 直到模型能很好 地收敛并能做出准确的预测； [0009]S4、 当模型收敛良好时， 用测试集对其进行测试， 最终确定我们所需要的模型； [0010]S5、 根据最终确定的回归预测模型预测的狭窄血管的尺寸以及两侧正常血管的尺 寸， 确定所需介入手术支 架的尺寸。 [0011]本发明技术方案的进一步改进在于： 步骤S1中所述的冠脉造影血管图像数据包括 其原始图像以及对应的标签数据。 [0012]本发明技术方案的进一步改进在于： 步骤S2中， 所述的回归预测模型基于 nnFormer进行构建， 包括依次连接Embedding  layer、 重复连接三次的Swin  Transformer   Block x2和Down‑sampling layer、 然后再连接一个Swin  Transformer  Block x2， 所述的说　明　书 1/3 页 3 CN 114399475 A 3