(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210497378.1 (22)申请日 2022.05.09 (71)申请人 上海数川数据科技有限公司 地址 202179 上海市崇明区竖新 镇响椿路 116号3幢310室 (72)发明人 林宇　赵宇迪　施侃　 (74)专利代理 机构 宿迁市永 泰睿博知识产权代 理事务所(普通 合伙) 32264 专利代理师 许重要 (51)Int.Cl. G06F 21/32(2013.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种隐私安全的身份特 征快速计算方法 (57)摘要 本发明公开了一种隐私安全的身份特征快 速计算方法， 包含有如下步骤： 步骤一： 分布在物 理空间各处的多路监控相机采集空间区域内的 不同位置、 视角的视频， 经过解码后发送给人形 检测器， 每个布置再物理空间本地的前端/边缘 AI分析盒负责分析10路监控相机的视频， 即每个 AI分析盒每秒处理40帧相机传来的实时图像帧。 本发明大大降低了高精度模型的调用频次， 另一 方面又仍然能精准地捕捉到同一人的图像特征 变化较明显的情况， 不同于简单地利用低精度模 型进行加速的方法， 本技术方案通过设计能够自 动更新的特征映射表， 实现了大多数人形框只进 行了低精度模 型的计算， 但却使所有人形图像框 的输出特征都是由高精度模型产生的。 权利要求书1页 说明书4页 附图1页 CN 114936363 A 2022.08.23 CN 114936363 A 1.一种隐私安全的身份特 征快速计算方法， 其特 征在于： 包 含有如下步骤： 步骤一： 分布在物理空间各处的多路监控相机采集空间区域内的不同位置、 视角的视 频， 经过解码后发送给人形检测器， 每个布置再物理空间本地的前端/边缘A I分析盒负责分 析10路监控相机的视频， 即每个A I分析盒每秒处理40帧相机传来的实时图像帧， 未来前端/ 边缘AI计算芯片的效率进一 步提升的情况 下可处理更多路的视频； 步骤二： 收到实时帧图像后， 前端AI分析盒上的人形检测器检测出每一帧中的人形图 像框， 每个人形图像框由一个向量 （x， t） 表示， 其中x为人形框在图像中的矩形的坐标， t为 人形框出现的时间； 步骤三： 对每 个相机初始化 一张身份特 征映射表T， 初始为空表； 步骤四： 对于每一个新检测的人形图像框 （x， t） ， 若相应相机的身份特征映射表T为空， 则先将图像框 （x， t） 输入给低精度身份特征模 型A， 得到图像框 （x， t） 的低精度身份特征Ax， 然后再将图像 （x， t） 输入给高精度身份特征模 型B， 得到图像框 （x， t） 的高精度身份特征Bx， 以 （Ax， x， t） 为索引Key， Bx为Value值， 将 ｛ （Ax， x， t） ， Bx｝ 特征映射对插入映射表T， 将Bx作为 图像框 （x， t） 的最终身份特征描述串发送到云端， 若相应相机的身份特征映射表T不为空， 则先将图像框 （x， t） 输入给低精度身份特征模 型A， 得到图像框 （x， t） 的低精度身份特征Ax， 遍历映射表T计算表中保存的特征对中低精度身份特征与Ax最大的身份特征相 似度Cmax， 当最大相似度Cmax足够接近1， 则认 为当前图像框 （x， t） 的内容与映射表中Cmax所对应的历 史图像框的内容 足够接近， 将 Cmax对应的特征对中的高精度身份模型特征Bmax作为人形图 像框 （x， t） 的最终身份特 征描述串发送到云端； 步骤五： 对于每一个新检测的人形图像框 （x， t） ， 若相应相机的身份特征映射表T不为 空， 而映射表T计算表中保存的特征对中低精度身份特征与Ax最大的身份特征相 似度Cmax 低于0.9， 则将图像 （x， t） 输入给高精度身份特征模型B， 得到图像框 （x， t） 的高精度身份特 征Bx， 以 （Ax， x， t） 为索引K ey， Bx为Value值， 将 （ （Ax， x， t） ， Bx） 特 征映射对 插入映射表T； 步骤六： 当相机的特征映射表T包含的特征映射对数量超过一定大小时， 将其中t最早 的特征映射对删除。 2.根据权利要求1所述的一种隐私安全的身份特征快速计算方法， 其特征在于： 所述步 骤一中由于前端AI设备的算力有限， 可采用4帧每秒的处理帧率， 未来前端/边缘AI计算芯 片的效率进一 步提升的情况 下可采用大于4帧/秒的处 理频率。 3.根据权利要求1所述的一种隐私安全的身份特征快速计算方法， 其特征在于： 所述步 骤一中未来前端/边 缘AI计算芯片的效率进一 步提升的情况 下可处理更多路的视频。 4.根据权利要求1所述的一种隐私安全的身份特征快速计算方法， 其特征在于： 所述步 骤二中人 形检测器的算法包括且不限于 YOLOX。 5.根据权利要求1所述的一种隐私安全的身份特征快速计算方法， 其特征在于： 所述步 骤六中相机的特 征映射表T包 含的特征映射对数量删除阈值 为16。 6.根据权利要求1所述的一种隐私安全的身份特征快速计算方法， 其特征在于： 所述步 骤四最大相似度Cmax的阈值设置为0.9， 即最大相似度Cmax足够接近0.9， 则认为当前图像 框 （x， t） 的内容与映射表中Cmax所对应的历史图像框的内容足够接 近。权　利　要　求　书 1/1 页 2 CN 114936363 A 2一种隐私安全的身份特征快速计算方 法 技术领域 [0001]本发明涉及计算机科学技术领域， 具体为一种隐私安全的身份特征快速计算方 法。 背景技术 [0002]数字孪生已成为人工智能技术发展的新趋势， 在数字孪生问题中人工智能需要对 物理空间不同位置和视角的视频数据进行分析， 将其中每一个人在物理空间内的行动路线 在虚拟现实 中还原， 基于视觉图像确定行人身份的现有技术主要 是基于人脸/人体外观， 当 同一人在不同时空下被视频采集到时， 通过人工智能模型将同一人的两次观测到的视频图 像框匹配在一起， 形成较短的时空轨迹， 不断重复这个过程， 经过大量次数的匹配操作， 最 终将每个人 的行动轨迹正确还原， 在这个匹配过程中， 前期的匹配错误在后期的匹配中会 被继续放大， 因此要确保最 终匹配出的行人轨迹的精度， 对人工智能模型的精度要求很高， 受限于前端/边缘计算的算力 资源， 现有技术主要是在物理空间的前端相 机中采集人形 的 图像框， 将这些时空上 的人形图像上传到云端， 由云端的大规模人工智能模型完成人形图 像框的身份特 征计算， 再根据计算得到的身份特 征完成行 人轨迹的匹配合并。 [0003]随着人们对人工智能/大数据系统的隐私性要求的不断提高， 将物理空间内采集 到的人脸/人形图像经过网络传输到云端或服务器端， 再利用大规模的人工智能模型进行 处理， 可行性已大大受限， 即为了避免对个人隐私的侵犯， 将大量人脸/人形图像通过网络 传输是不被容许的， 即使在传输过程中进行数据加密也并不能解决这个问题， 因为被加密 的数据在计算前需要被解密， 即在云端仍然会有原始人形/人脸图像数据存在的情况， 而且 被加密的数据在 传输中也存在被破解而泄漏的风险。 [0004]而如果将人形/人脸图像的身份特征计算直接在进行采集的物理空间内进行， 由 于完成身份特征计算后， 原始图像就不再参与后续计算， 即可以将计算后的身份特征数据 传输到云端进行后续的行人轨迹合并， 这样就可以规避隐私安全的问题， 但这样处理的新 问题在于， 不同于集中在云端计算可以使用大规模的算力 资源， 分散在各处进行前端数据 采集的物理空间里布置的边缘算力往往很有限， 因此如果在前端使用高精度的人工智能模 型来计算图像框的身份特征， 则计算速度会大大变慢， 例如1小时的数字孪生计算可能需要 10个小时才能计算完， 导 致实际上不可 行。 发明内容 [0005]本发明的目的在于提供一种隐私安全的身份特征快速计算方法， 具备处理效率高 的优点， 解决了如果使用高精度的身份特征模型， 则在前端AI设备上计算的时长将完全失 控， 而失去可行性， 例如以4帧每秒， 每帧平均8个人形框， 每个AI设备分析10 路视频， 每个人 形框的高精度身份特征模 型的计算时间为20 ms计算， 每1小时的视频需要6.4小时才能计算 完， 而如果将图片上传云端 再利用高精度模型计算， 则会有隐私泄露的风险； 如果采用低精 度身份特征模型计算身份特征， 再上传云端， 由于身份特征的精度低， 复原的行人轨迹的精说　明　书 1/4 页 3 CN 114936363 A 3