(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210268276.2 (22)申请日 2022.03.18 (71)申请人 内蒙古大学 地址 010021 内蒙古自治区呼和浩特市赛 罕区大学西路23 5号 (72)发明人 黄威　孙锴　赵国栋　王海成　 (74)专利代理 机构 北京方安思达知识产权代理 有限公司 1 1472 专利代理师 陈琳琳　李彪 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/94(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/28(2022.01)G06V 10/36(2022.01) G06V 10/54(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/063(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于FPGA的二值神经网络实时面部情 绪识别方法 (57)摘要 本发明公开了一种基于FPGA的二值神经网 络实时面部情绪识别方法， 所述方法包括： 步骤 1)对采集的视频图像进行预处理； 步骤2)基于 Harr‑like特征模板， 采用窗口滑动机制对预处 理后图像中的人脸进行检测与裁剪， 并截取包含 人脸图像的部分， 采用圆形LBP算子对截取图像 提取局部二值信息； 步骤3)将提取的局部二值信 息输入预先建立和训练好的面部情绪识别模型 得到情绪识别结果； 所述面部情绪识别模型为二 值神经网络， 通过在FPGA中采用同或门设计、 位 累计运算和阈值比较方法， 进行前向推理， 实现 情绪识别。 权利要求书2页 说明书8页 附图3页 CN 114663944 A 2022.06.24 CN 114663944 A 1.一种基于FPGA的二 值神经网络实时面部情绪识别方法， 所述方法包括： 步骤1)对 采集的视频图像进行 预处理； 步骤2)基于Harr ‑like特征模板， 采用窗口滑动机制对预处理后图像中的人脸进行检 测与裁剪， 并截取包 含人脸图像的部分， 采用圆形LBP算子对 截取图像提取局部二 值信息； 步骤3)将提取的局部二值信息输入预先建立和训练好的面部情绪识别模型得到情绪 识别结果； 所述面部情绪识别模型为二值神经网络， 通过在FPGA中采用同或门设计、 位累计运算 和阈值比较方法， 进行 前向推理， 实现情绪识别。 2.根据权利要求1所述的基于FPGA的二值神经网络实时面部情绪识别方法， 其特征在 于， 所述步骤1)具体包括： 对采集的视频图像进行分帧处理， 再对分帧后的图像进行对比度和亮度增强， 并对图 像尺寸进行等比例的放缩。 3.根据权利要求2所述的基于FPGA的二值神经网络实时面部情绪识别方法， 其特征在 于， 所述步骤2)具体包括： 基于Harr ‑like特征模板， 对预处理后的图像通过哈尔特征进行特征描述， 并采用积分 图加速哈尔特 征的提取； 采用预设尺寸的滑动 窗口在特征提取后的图像上依次滑过所有位置， 进行人脸检测； 并逐渐增大滑动窗口的尺寸到一定倍数， 重复该步骤， 获得各个尺寸下可能包含人脸的检 测窗口； 采用AdaBoost与分类器级联结构将不同尺寸的检测窗口进行筛选， 消除不同尺寸滑动 窗口圈定同一目标的可能性， 并返回包 含人脸窗口 的坐标信息； 根据包含人脸窗口 的坐标信息截取包 含人脸图像的部分； 采用圆形LBP算子对 截取图像提取局部二 值信息。 4.根据权利要求3所述的基于FPGA的二值神经网络实时面部情绪识别方法， 其特征在 于， 所述面部情绪识别模型的输入为局部二值信息， 输出为识别结果， 所述面部情绪识别模 型包括依次多个级联的Bl ock层、 路由层、 重排序层和多个级联的卷积层， 其中， 所述多个级联Block层， 用于得到增强的特征图； 其中每个Block层均包括卷积层、 批量 归一化层和池化层； 所述重排序层， 用于提取前端输入特征图并在其邻域内按位置进行抽样， 相同位置的 像素输出子图， 输出的子图长 宽与接下来级联的特 征图长宽一致； 所述路由层， 用于将重排序层输出的子图与经过多个级联的Block层运算增 强的特征 图进行级联， 并输入卷积层； 所述多个级联的卷积层， 用于实现最终的情绪分类任务， 其中每个卷积层结构相同， 卷 积核大小均为1 ×1。 5.根据权利要求4所述的基于FPGA的二值神经网络实时面部情绪识别方法， 其特征在 于， 所述方法还 包括在上位机上进行的面部情绪识别模型的训练步骤； 具体包括： 通过翻转、 平移和裁剪的方法对Fer2013人脸表情数据集的已知情绪标签的图片进行 数据增强， 得到增强后的数据集， 并从中选取一定数量的图片建立训练集； 采用圆形LBP算子提取训练集中图像的局部二值信息进一步增强训练集图片中的有用权　利　要　求　书 1/2 页 2 CN 114663944 A 2信息； 将局部二值信 息输入面部情绪识别模型， 通过调整每层的配置信 息， 进行自监督学习， 直到满足训练要求， 得到训练好的面部情绪识别模型； 提取训练后的模型权 重， 并转化为适合硬件电路运行的二进制权 重文件。 6.一种基于FPGA的二值神经网络实时面部情绪识别系统， 其特征在于， 所述系统包括： 部署在上位机上的图像预 处理模块和部署在硬件计算平台的人脸检测模块、 硬件推理模块 和面部情绪识别模型， 其中， 所述图像预处 理模块， 用于对 采集的视频图像进行 预处理； 所述人脸检测模块， 用于对预处理后图像中的人脸进行检测与裁剪， 并截取包含人脸 图像的部分， 采用圆形LBP算子对 截取图像提取局部二 值信息； 所述硬件推理模块， 用于将提取的局部二值信 息输入预先建立和训练好的面部情绪识 别模型得到情绪识别结果； 所述面部情绪识别模型为二值神经网络， 通过在FPGA中采用同或门设计、 位累计运算 和阈值比较方法， 进行 前向推理， 实现情绪识别。 7.根据权利要求6所述的基于FPGA的二值神经网络实时面部情绪识别系统， 其特征在 于， 所述硬件计算平台为 集成了ARM处 理器和FPGA的PYN Q板卡。 8.根据权利要求7所述的基于FPGA的二值神经网络实时面部情绪识别系统， 其特征在 于， 所述面部情绪识别模 型的配置信息存储在ARM处理器的内存区域， 面部情绪识别模型部 署在FPGA。 9.根据权利要求8所述的基于FPGA的二值神经网络实时面部情绪识别系统， 其特征在 于， 所述硬件推理模块的处 理过程具体包括： 从ARM处理器的内存区域读取面部情绪识别模型的配置信息通过AXI_LITE总线发送至 FPGA的参数缓存模块P CM， 将局部二值信息和情绪识别模 型的权重参数通过AXI_MEM总线从 动态随机存 取存储器DRAM中传输至部署在FPGA的P E处理阵列进行前向推理， 将推理计算得 到的情绪识别结果 通过AXI_M EM总线传输 至DRAM中； 所述PE处理阵列包括多个并行处理的PE处理单元， 每个PE处理单元基于二值神经网络 的点积运算规则， 采用同或门XNOR实现， 由位累计运算统计参数中 “1”的位数， 存储至累加 寄存器， 并与设定的阈值进行 无符号比较， 得到该处 理阵列的计算结果。权　利　要　求　书 2/2 页 3 CN 114663944 A 3