(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210270582.X (22)申请日 2022.03.18 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 钟宝江　李牧　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 冯瑞 (51)Int.Cl. G06T 7/269(2017.01) G06T 7/254(2017.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种光流估计的方法、 装置以及设备 (57)摘要 本发明公开了一种光流估计的方法、 装置、 设备以及计算机可读存储介质， 包括： 提取相邻 两帧图像的特征， 构建每一帧图像的特征矩阵； 将每一帧图像的浅层特征矩 阵输入多尺度通道 注意力网络和多尺度空间注意力网络中进行处 理， 得到高鲁棒的每一帧图像的空间特征矩阵； 计算相邻两帧图像的空间特征矩 阵的相似度编 码， 根据相似度编码进行Encoder操作得到运动 特征； 利用上下文编码器提取第一帧图像的上下 文特征； 将运动特征和上下文特征进行融合输入 GRU模块中得到光流残差； 基于光流残差进行迭 代运算， 输出光流估计结果。 本发明引入多尺度 通道和空间注 意力网络， 增强网络的鲁棒性和对 小物体的表征能力， 提高小物体的光流估计结 果。 权利要求书3页 说明书9页 附图5页 CN 114677412 A 2022.06.28 CN 114677412 A 1.一种光 流估计的方法， 其特 征在于， 包括： 分别提取相邻两帧图像的浅层特 征， 构建每一帧图像的浅层特 征矩阵； 将所述每一帧图像的浅层特征矩阵输入多尺度通道注意力网络中进行处理， 输出每一 帧图像的通道特 征矩阵； 将所述每一帧图像的通道特征矩阵输入多尺度空间注意力网络中进行加权处理， 输出 每一帧图像的空间特 征矩阵； 计算所述相邻两帧图像的空间特征矩阵的相似度， 得到相似度编码， 将所述相似度编 码进行Encoder操作得到运动特 征； 利用上下文编码器提取第一帧图像的上 下文特征； 将所述运动特征和所述上下文特征进行融合， 并输入GRU模块中进行处理， 输出光流残 差； 基于光流残差进行迭代运 算， 直至达到预设迭代次数， 停止运 算， 输出光 流估计结果。 2.如权利要求1所述的光流估计的方法， 其特征在于， 所述分别提取相邻 两帧图像的浅 层特征， 构建每一帧图像的浅层特 征矩阵包括： 利用至少四个卷积层分别提取所述相邻 两帧图像的浅层特征， 将每一帧图像提取到的 多个浅层特 征组合为浅层特 征矩阵。 3.如权利要求1所述的光流估计的方法， 其特征在于， 所述利用所述多尺度通道注意力 网络中的多个卷积层对所述浅层特 征矩阵进行处 理包括： 利用多个卷积层分别提取 所述每一帧图像的浅层特 征矩阵的多尺度通道特 征； 将每一尺度通道特征分别利用平均池化层和最大池化层进行处理， 得到平均信 息特征 和最大信息特 征； 将所述平均信 息特征和所述最大信 息特征输入深度 可分离卷积网络 中， 得到平均池化 向量和最大池化向量； 将所述平均池化向量和所述最大池化向量合并， 并使用元素加法生成所述每一尺度的 通道注意力掩膜； 将所有尺度的通道注意力掩膜与 所述多尺度 特征分别进行元素加法， 得到所述每一帧 图像的通道特 征矩阵。 4.如权利要求3所述的光流估计的方法， 其特征在于， 所述每一尺度的通道注意力掩膜 的计算公式为： 其中， σ为sigmoid函数， DSC为深度可分离卷积网络， AvgPool(F)为平均信息特征， MaxPool(F)为最大信息特征， 和 为深度可分离卷积网络的权 重， 为平均池化向量， 为最大池化向量， C为卷积核通道数， r为缩放因子 。 5.如权利要求1所述的光流估计的方法， 其特征在于， 所述利用所述多尺度空间注意力 网络对所述每一帧图像的通道特 征矩阵进行加权处 理包括： 利用多个卷积层分别提取 所述每一帧图像的通道特 征矩阵的多尺度空间特 征；权　利　要　求　书 1/3 页 2 CN 114677412 A 2利用两个1 ×1卷积核对每一尺度空间特征进行处理， 得到第一特征矩阵和第 二特征矩 阵； 将所述第一特 征矩阵和所述第二特 征矩阵进行相似度计算， 得到特 征相似度矩阵； 利用第三个1 ×1卷积核对所述每一尺度空间特 征进行处 理， 得到第三特 征矩阵； 将所述特征相似度矩阵与 所述第三特征矩阵合并， 得到所述每一尺度的空间注意力掩 膜； 将所有尺度的空间注意力掩膜进行 元素相加， 得到每一帧图像的空间特 征矩阵。 6.如权利要求5所述的光流估计的方法， 其特征在于， 所述每一尺度的空间注意力掩膜 的计算公式为： 其中， Ai， u为所述特征相似度矩阵的通道i和位置u的一个标量， Φi， u为所述第三特征矩 阵中集合的通道i和位置u的一个标量。 7.如权利要求1所述的光流估计的方法， 其特征在于， 所述基于光流残差进行迭代运 算， 直至达到预设迭代次数， 停止运 算， 输出光 流估计结果包括： S71： 初始化 光流为u＝0， 初始化训练次数为t＝0， 设置所述预设迭代次数T； S72： 将光 流残差s进行叠加u＝u+s， 迭代次数为t＝t+1； S73： 判断t＝T； S74： 若成立， 则输出u作为所述 光流估计结果； S75： 若不成立， 则计算下一组相邻两帧图像的光 流残差si， 并令s＝si， 返回执行S72。 8.一种光 流估计的装置， 其特 征在于， 包括： 提取特征模块， 用于分别提取相邻两帧图像的浅层特征， 构建每一帧图像的浅层特征 矩阵； 通道特征处理模块， 用于将所述每一帧图像的浅层特征矩阵输入多尺度通道注意力网 络中进行处 理， 输出每一帧图像的通道特 征矩阵； 空间特征处理模块， 用于将所述每一帧图像的通道特征矩阵输入多尺度空间注意力网 络中进行加权处 理， 输出每一帧图像的空间特 征矩阵； 相似度计算模块， 用于计算所述相邻两帧图像的空间特征矩阵的相似度， 得到相似度 编码， 将所述相似度编码进行Encoder操作得到运动特 征； 编码提取模块， 用于利用上 下文编码器提取第一帧图像的上 下文特征； 光流残差计算模块， 用于将所述运动特征和所述上下文特征进行融合， 并输入GRU模块 中进行处 理， 输出光 流残差； 迭代运算模块， 用于基于光流残差进行迭代计算， 直至达到预设迭代次数， 停止运算， 输出光流估计结果。 9.一种光 流估计的设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述一种光流估计方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机权　利　要　求　书 2/3 页 3 CN 114677412 A 3