(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221016431 1.6 (22)申请日 2022.02.23 (65)同一申请的已公布的文献号 申请公布号 CN 114241280 A (43)申请公布日 2022.03.25 (73)专利权人 广东电网有限责任公司东莞供电 局 地址 523000 广东省东莞 市东城城区东城 路东城段239号 (72)发明人 钟志明　汪杰　段孟雍　李波　 郭志军　吴钟飞　李祺威　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 杜嘉伟(51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06T 7/246(2017.01) (56)对比文件 CN 112446348 A,2021.0 3.05 CN 106803932 A,2017.0 6.06 审查员 刘志军 (54)发明名称 一种主站调度系统后台画面图像的动态识 别方法 (57)摘要 本发明涉及图像动态识别技术领域， 公开了 主站调度系统后台画面图像的动态识别方法， 包 括： 获取后台画面图像传入骨干卷积神经网络提 取特征激活图； 对所述原始特征数据采用数据增 广策略增加原始特征数据训练样 本的多样性， 获 取训练样 本的数据连续帧， 根据数据帧数设计特 征谱流； 通过计算所述相邻数据帧数之间特征谱 流获取融合特征， 提取短时运动特征； 基于所述 短时运动特征采用数据交换策略模拟长时运动 特征获取动态图像。 本发明利用图像中特征谱流 作为相邻数据帧之间特征谱级别的差异表示， 通 过对特征谱的二维卷积和残差连接操作， 降低了 算法的复杂程度， 采用特征融合方法使融合特征 具有更好的时空表征能力， 有效提高了行为识别 的正确率。 权利要求书2页 说明书6页 附图1页 CN 114241280 B 2022.05.27 CN 114241280 B 1.一种主站调度系统后台画面图像的动态 识别方法， 其特 征在于， 包括以下步骤： 步骤100、 获取后台画面图像， 将所述后台画面图像传入骨干卷积神经网络 中提取特征 激活图， 将所述特 征激活图作为输入图像信息的原 始特征数据； 步骤200、 采用数据增广策略， 对所述原始特征数据增加原始特征数据， 训练样本的多 样性， 获取训练样 本的数据连续帧； 使用1 ×1的二维卷积对输入的数据连续帧进 行降维， 获 取数据帧数， 根据所述数据帧数设计特 征谱流； 步骤300、 计算相邻的所述数据帧数之间的特征谱流， 获取融合特征， 对运动建模及提 取短时运动特 征； 步骤400、 基于所述短时运动特征， 采用数据交换策略模拟长时运动特征， 获取动态图 像； 所述步骤100包括： 步骤101、 使用ResNet50网络作为骨干卷积网络， 从最后一个卷积层中提取数据特征 点， 得到 特征激活图； 其中， 是特征激活图的通道数量， 和 分别是特征激 活图空间尺寸的高度和宽度； 步骤102、 选定所述特征激活图， 沿竖直方向将所述特征激活图平均地划分为 部分， 获得水平特征激活图区域； 其中， 表示图片中物体水平区域划分的区域数量； 步骤103、 将全局平均特征分别应用于每一个水平特征激活图区域上， 得到 个局部特 征， 每个局部特 征表示为一个通道数为Ｃ的特 征向量； 步骤104、 使用 个局部特 征区域的特 征向量监督全局特 征， 获取全部原 始特征数据。 2.根据权利要求1所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤103还包括： 根据所述特征向量检测识别原始特征数据， 通过多个卷积层和池化层形成特征图， 采 用数据增广策略， 对输出的特 征图增加原始特征数据， 训练样本的多样性。 3.根据权利要求2所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤200包括： 对所述训练样本在空间分支网络上， 使用1 ×1的二维卷积的方法对单帧图像提取空域 特征； 在时间分支网络上， 先通过帧序列计算得到特征谱流， 随后对特征谱流进行二维卷积， 在每个卷积层之后， 对两分支的数据进行 数据交换。 4.根据权利要求3所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述数据交换包括： 将时间分支网络卷积层得到的特征谱加在空间分支网络上， 将空间分支网络的结果用 于计算下一个特 征谱流， 将两分支在最后一层进行 特征融合， 确定图像特 征谱。 5.根据权利要求4所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 在步骤20 0中， 根据所述数据帧数设计特 征谱流， 表达式为： 其中 、 、 、 代表的是第 帧、 第t+1帧、 第t+30帧、 第 帧卷积得到权　利　要　求　书 1/2 页 2 CN 114241280 B 2的时间分支特征谱， 、 是第 帧、 第t+31帧得到的时间 分支特征谱空间卷积的结果， 是计算得到的特 征谱流。 6.根据权利要求5所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤300包括： 将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取， 对特征谱和特征 谱流进行反复的二维卷积， 并计算相邻数据帧数之间特 征谱流的融合特 征。 7.根据权利要求6所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤300包括： 步骤301、 对时间分支特征谱 做空间全局池 化， 得到特征谱尺寸为T ×1×1×D的运动 形态特征 ； 其中 表示输入时间分支特征谱 的时间长度， 1表示每帧的宽和高， 是每帧图像的通道数； 步骤302、 使用1 ×1×1的卷积核对通道数进行缩小， 再使用一个1 ×1×1的卷积核对通 道数进行放大获取通道间的相关性； 步骤303、 使用  Sigmoid 函数对时间分支特征谱 进行归一化， 得到运动形态融合特 征 ， 所述融合特 征 的表达式为： 其中 和 为两个1×1×1的卷积核， 为空间全局平均池 化层， 表示Sigmoid 函数的系数。 8.根据权利要求6所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤400包括： 步骤401、 将时间分支的特征谱流与空间分支的特征谱逐点相加， 实现时间特征与空间 特征的第一次融合； 步骤402、 将空间分支的特征谱通过1 ×1卷积和3 ×3卷积， 分别实现变形和高层特征抽 象， 在时间分支的每 个卷积层之后， 多次计算相邻数据帧的残差； 步骤403、 依据时序移动残差通过融合数据模拟运动特 征。 9.根据权利要求8所述的一种主站调度系统后台画面图像的动态识别方法， 其特征在 于， 所述步骤403包括： 将不同数据帧数之间的通道进行平移置换， 使得每一层特征谱都有相邻帧的通道值融 合， 获取基于特 征谱的时域信息； 依据时域信息将特 征谱按时间维度进行分组， 在每组中分别进行通道的平 移操作； 使用1×3×3的伪三维卷积对输入特征谱进行卷积， 弥补平移操作后的空白数据帧， 利 用残差在时序上构建时域模型长时运动特 征。权　利　要　求　书 2/2 页 3 CN 114241280 B 3