(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210290056.X (22)申请日 2022.03.23 (71)申请人 上海人工智能创新中心 地址 200000 上海市徐汇区云锦路701号 37、 38层 (72)发明人 林方坚　梁展豪　何军军　郑淼　 田生伟　陈恺　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 成丹　耿慧敏 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于先验结构的语义分割方法及装置 (57)摘要 本申请提供一种基于先验结构的语义分割 方法及装置， 该方法包括： 获取待分割图像， 并提 取待分割图像的特征图； 获取随机生成的可学习 的结构令牌； 将特征图和结构令牌输入至少一层 交互结构， 输出交互后结构令牌； 交互结构用于 从特征图中提取结构特征赋予结构令牌； 将交互 后结构令牌输入 卷积块， 得到待分割图像的分割 图。 该方案可 以保留图像的结构特征， 并直接预 测分割图。 权利要求书2页 说明书7页 附图2页 CN 114882212 A 2022.08.09 CN 114882212 A 1.一种基于先验结构的语义分割方法， 其特 征在于， 所述方法包括： 获取待分割图像， 并提取 所述待分割图像的特 征图； 获取随机生成的可 学习的结构令牌； 将所述特征图和所述结构令牌输入至少一层交互结构， 输出交互后结构令牌； 所述交 互结构用于从所述特 征图中提取 结构特征赋予所述结构令牌； 将所述交 互后结构令牌输入卷积块， 得到所述待分割图像的分割图。 2.根据权利要求1所述的方法， 其特征在于， 所述交互结构包括交互模块， 所述交互模 块采用跨 面提取模块、 自面 提取模块、 点式提取模块 其中一种。 3.根据权利要求2所述的方法， 其特 征在于， 所述交 互模块采用所述 跨面提取模块； 将所述特 征图和所述结构令牌输入至少一层交 互结构， 输出交 互后结构令牌， 包括： 将所述特 征图通过映射网络， 生成第一键值矩阵和第一 值矩阵； 将所述结构令牌 通过所述映射网络， 生成第一 查询矩阵； 将所述第一查询矩阵和所述第一键值矩阵相乘， 得到对应每个通道的第一相似度矩 阵； 将所述第一相似度矩阵和所述第一 值矩阵相乘， 得到第一融合特 征图； 将所述第一融合特 征图分裂， 得到交 互后特征图和所述交 互后结构令牌。 4.根据权利要求2所述的方法， 其特 征在于， 所述交 互模块采用所述自面 提取模块； 将所述特 征图和所述结构令牌输入至少一层交 互结构， 输出交 互后结构令牌， 包括： 将所述特 征图和所述结构令牌在通道维度上进行 结合， 得到第一结合后特 征； 将所述第一结合后特征通过映射网络， 得到第二第一键值矩阵、 第二值矩阵和第二查 询矩阵； 其中， 将所述映射网络的通道数设置为所述特 征图通道数的3倍； 将所述第二 查询矩阵和所述第二键值矩阵相乘， 得到第二相似度矩阵； 将所述第二相似度矩阵和所述第二 值矩阵相乘， 得到第二融合特 征图； 将所述第二融合特 征图分裂， 得到交 互后特征图和所述交 互后结构令牌。 5.根据权利要求2所述的方法， 其特 征在于， 所述交 互模块采用所述 点式提取模块； 将所述特 征图和所述结构令牌输入至少一层交 互结构， 输出交 互后结构令牌， 包括： 将所述特 征图和所述结构令牌在通道维度上进行 结合， 得到第二结合后特 征； 将所述第 二结合后特征通过映射网络， 得到映射矩阵； 其中， 将所述映射网络的通道数 设置为所述特 征图通道数的1倍； 所述映射矩阵通过1x1的卷积层， 得到卷积后特 征图； 将所述卷积后特 征图分裂， 得到交 互后特征图和所述交 互后结构令牌。 6.根据权利 要求3‑5任一项所述的方法， 其特征在于， 所述映射网络依次包括： 一层1x1 的卷积层、 一层3x3的深度可分离的卷积层和一层1x1的卷积层。 7.根据权利要求2 ‑5任一项所述的方法， 其特征在于， 所述交互结构还包括前馈网络， 所述前馈网络用于对所述交 互模块输出的特 征进行微调。 8.根据权利要求7 所述的方法， 其特 征在于， 若将所述特征图和所述结构令牌输入一层所述交互结构， 则所述交互结构还包括一个 所述前馈网络； 所述前馈网络用于对所述交 互模块输出的交 互后结构令牌进行微调； 若将所述特征图和所述结构令牌输入至少两层所述交互结构， 则最后一层所述交互结权　利　要　求　书 1/2 页 2 CN 114882212 A 2构包括一个所述前馈网络， 其他层所述交互结构包括两个所述前馈网络； 最后一层所述交 互结构的一个所述前馈网络用于对所述交互模块输出的所述交互后结构令牌进行微调； 其 他层所述交互结构的两个所述前馈网络分别对所述交互模块输出的所述交互后特征图和 所述交互后结构令牌进行微调。 9.根据权利要求7所述的方法， 其特征在于， 所述前馈网络依次包括： 一层1x1卷积层、 一层3x3的组卷积层和一层1x1的卷积层。 10.一种基于先验结构的语义分割装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取待分割图像， 并提取 所述待分割图像的特 征图； 第二获取模块， 用于获取随机生成的可 学习的结构令牌； 特征交互模块， 用于将所述特征图和所述结构令牌输入至少一层交互结构， 输出交互 后结构令牌； 所述交 互结构用于从所述特 征图中提取 结构特征赋予所述结构令牌； 处理模块， 用于将所述交 互后结构令牌输入卷积块， 得到所述待分割图像的分割图。权　利　要　求　书 2/2 页 3 CN 114882212 A 3