(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210155269.1 (22)申请日 2022.02.18 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 孙涵　马田源　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06V 20/17(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于多尺度特征融合的无人机小目标 检测方法 (57)摘要 本发明公开了一种基于多尺度特征融合的 无人机小目标检测方法， 属于 无人机小目标检测 技术领域， 采用了本发明的RetinaNet在无人机 小目标检测任务中， 能够获得更好的检测 效果。 本发明基于RetinaNet根据无人机小目标的特点 进行了有针对性地改进， 采用了新的特征融合方 式， 该特征融合方发基于像素洗牌上采样模块 PSU设计了像素洗牌特征融合网络PSFF， 改进了 上采样方式造成特征失真的问题， 使网络能够将 深层的语义信息更有效地向浅层传递， 以此增强 了浅层小目标的特征表示， 并且在自建蜂群无人 机数据集上进行实验， 验证了本发 明可以提升无 人机小目标的检测效果。 权利要求书2页 说明书6页 附图4页 CN 114581799 A 2022.06.03 CN 114581799 A 1.一种基于多尺度特 征融合的无 人机小目标检测方法， 其特 征在于， 包括以下步骤： 步骤1： 无人机数据集制作： 采集无人机图像， 并对采集到的图像进行数据清洗， 然后对 其中的无 人机小目标进行 标注； 步骤2： 搭建无 人机检测模型： 基于无 人机数据集， 训练无 人机检测模型； 步骤3： 测试图像检测过程： 利用训练好的目标检测网络以及网络权重参数来检测测试 图像中的无 人机小， 并且输出检测结果。 2.根据权利要求1所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤1中对 采集到的图像进行 数据清洗为删除掉模糊以及不包 含目标的图像。 3.根据权利要求1所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤2具体包括以下步骤： 步骤(2.1)从主干网络中获取 特征层: 在主干特征提取网络ResNet50的{C2， C3， C4， C5}特征层， 选择其中的{C3， C4， C5}作为 多尺度特 征融合的几个融合特 征层， 特征层对应的通道数为{512， 1024， 2048}； 步骤(2.2)融合前处 理: 采用像素洗牌上采样的方法， 首先将步骤(2.1)的输出特征{C3， C4， C5}中的C4和C5两 个特征通过卷积核为 1的卷积进 行2倍通道扩增， 接着经过像素洗牌进 行2倍上采样， 此时分 辨率扩大了2倍， 通道维数缩减到为原来的0.5倍， 最后得到上采样的结果， 记作{P3， P4}， 通 道数分别为{512， 1024}； 步骤(2.3)融合操作： 将步骤(2.2)的输出特征{P3， P4}与步骤(2.1)的输出特征{ C3， C4， C5}中 的C3和C4两个 特征， 相加和， 对应得到{T3， T4}特征， 其对应通道数为{512， 1024}， 同时直接取得步骤 (2.1)的输出特征{C3， C4， C5}中的C5作为T5， 最终该步骤输 出特征为{T3， T 4， T5}， 分别对应 通道数为{512， 1024， 2048}； 步骤(2.4)融合后处 理： 输入特征为{T3， T4， T5}， 分别对应通道数为{ 512， 1024， 2048}， 首先对三个输入特征分 别使用卷积核为3的卷积进 行去除混叠， 接着采用卷积核为 1 的卷积进 行通道压缩， 将三个 特征通道数统一压缩到256， 最后该步骤的输出特征为{F3， F4， F5}， 对应通道数为{256， 256， 256}； 步骤(2.5)目标检测： 对步骤(2.4)中融合了多尺度特征的{F3， F4， F5}， 分别进行目标类别分类以及目标边 界框回归， 得到最后的检测结果； 步骤(2.6)训练检测模型： 采用的预训练模型是由Pytorch官方提供的在Imagenet上进行了预训练的模型， 所有 图像在送入模 型前尺寸都被统一调整为1333 ×800， 设置训练迭代次数为12次、 动量为0.9、 批大小为4、 初始学习率为0.0005、 每训练4个epoch权重衰减为原来的0.3倍， 根据以上训练 配置得到网络模型参数。 4.根据权利要求3所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤(2.2)中的采样的步骤整理为如下公式： y′＝PS(x′)权　利　要　求　书 1/2 页 2 CN 114581799 A 2其中PS代表PixelShuffle， 是像素洗牌英文名简称， 默认扩张因子为2， 代表使用像素 洗牌方法进行2倍上采样， 其中输入为x ′∈Rw×h×4c其通道数量为4c， 输出为y ′∈R2w×2h×c其通 道数量为c， 在这过程中通道数由4c减少到 c， 图像尺寸由w ×h扩增到2w ×2h。 5.根据权利要求3所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤(2.4)公式记作： y＝Conv‑1×1(Conv‑3×3(x)) 其中输入记作x∈Rh×w×c， 输出特征图记作y∈Rh×w×256， 卷积Conv ‑1×1大小是1 ×1× 256， 卷积Co nv‑3×3大小为3 ×3×c。 6.根据权利要求3所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤(2.5)中所述目标类别分类采用带平衡因子的Focal  Loss损失： FL(pt)＝‑αt(1‑pt)γlog(pt) 其中FL代表Focal  Loss， αt为正负样本的加权平 衡参数， 值越大正样本的权重越大， γ 为 聚焦系数， 控制样本权重更新速率， 是一个超参数， pt表示样本属于正样本的概率， (1 ‑pt)γ是 权重表达式。 7.根据权利要求3或6所述的基于多尺度特征融合的无人机小目标检测方法， 其特征在 于， 步骤(2.5)中所述目标边界框回归为标准的Smo oth L1损失。 8.根据权利要求1所述的基于多尺度 特征融合的无人机小目标检测方法， 其特征在于， 步骤3具体包括以下步骤： 步骤(3.1)将测试图像送入网络模型中； 步骤(3.2)通过Resent5 0主干网络进行 特征提取， 获得 特征图； 步骤(3.3)采用步骤2改进的多尺度特 征融合网络进行多尺度特 征融合； 步骤(3.4)对融合后的特 征图进行目标类别预测以及边界框回归； 步骤(3.5)设置阈值， 经 过非极大值抑制来筛 选出最终得检测结果。权　利　要　求　书 2/2 页 3 CN 114581799 A 3