(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210127425.3 (22)申请日 2022.02.11 (71)申请人 吉林大学 地址 130012 吉林省长 春市长春高新技术 产业开发区前进大街269 9号 (72)发明人 刘振泽　陈金炎　董迪锴　吴闯　 何井全　张渝敏　周亚仑　 (74)专利代理 机构 长春吉大专利代理有限责任 公司 22201 专利代理师 朱世林 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01)G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于3D点云信息的物体分类与物体分 割方法 (57)摘要 本发明涉及一种基于3D点云信息的物体分 类与物体分割方法， 属于3D点云处理领域， 尤其 涉及无序点云难处理、 点云特征难提取领域。 本 发明在提取点云特征中， 为了提取更多的有效信 息， 本发明提出并使用了一种全新的联合式全局 特征与局部特征结构。 在提取高维特征时提出一 种新式的提取机制代替传统的对称函数。 通过大 量实验可以表明我们设计的神经网络可以解决 多种点云任务， 包括但不局限于物体分类、 物体 分割、 场景分割等。 本发 明的有益效果： 所设计的 针对点云识别和分割算法主要设计新的Mix ‑Net 专用神经网络设计， 并从下采样算法， 特征值提 取以及融合机制等多个模块进行创新发明， 对于 点云识别和分割准确率都有明显提升 。 权利要求书3页 说明书7页 附图3页 CN 114444613 A 2022.05.06 CN 114444613 A 1.一种基于 3D点云信息的物体分类与物体分割方法， 包 含以下步骤： 步骤一、 对于 输入点云信息增 加位置编码 对于输入点云信 息， 增加输入相对位置信 息， 相对位置信 息增加在第 一次输入层中， 以 及注意力函数中， 经过大量实验可以证明相对位置编码的加入可以提升网络性能， 提高最 后输出准确率； 步骤二、 数据降采样算法 对于输入使用降采样算法， 降低整体网络的复杂度， 加快网络训练速度， 抑制过拟合， 以一种基于注意力机制的降采样算法代替 最远点距离算法； 步骤三， 相对位置信息融合对的多头注意力机制 作为网络中提取特征的主要层， 使用相对位置信息融合对的多头注意力层代替卷积 层， 经过实验的表面多头注意力层增 加网络性能， 提高最后输出准确率； 步骤四， 点云编码器结构设计 设计的点云编码器结构用于将输入点云数据提取出高维特征向量， 该特征向量包括点 云全局特征信息， 点云局部特征信息， 并且在融合特征取得点云整体特征时， 提供一种新式 的特征融合机制代替对称函数； 步骤五， 点云解码器结构设计 针对不同的点云处 理任务设计不同的解码器结构， 相似不相同； 步骤六， 设计Mix ‑Net网络训练方法 根据不同的点云处理任务， 针对不同数据集， 设计损失函数， 设计优化器， 以及设计多 种训练参数指标。 2.根据权利要求1所述的一种基于3D点云信息的物体分类与物体分割方法， 其特征在 于， 步骤一所述位置编码的实现过程如下： 由于输入点云的容器存在多种储存方法， 点与点 之间即同一输入不同元素之间很难在 网络中直接获得相对位置信息， 引入相对位置信息， 来增加点与点之间的位置特 征提取， 位置编码公式如下： 其中， Pi是输入数据或者特征， 是输入数据或者特征的平均值， MLP是常用的多层感知 机， 在多次实验发现， 位置信息的加入在第一层输入与注意力机制模块中对整体网络性能 有明显的提升 。 3.根据权利要求1所述的一种基于3D点云信息的物体分类与物体分割方法， 其特征在 于， 步骤二所述数据降采样算法的实现过程如下： (1)使用多头注意力机制为基础的算法来代替传统的最远点采样算法 将卷积输出的特征通过多头注意力机制得出注意力得分， 通过选取前k个最大注意力 得分值达到与最远点采集k个值相似的效果， 通过实验证明本发明使用的降采样算法更适 合点云， 针对多种不同顺 顺序输入可以取 得相似特 征输出， 可以解决点云无序性问题； (2)根据取得的k个最大值， 在原点云输入中匹配确定的序列点， 将这些序列点表示为 关键点， 所述关键点表示点云最关键部 分， 由关键点可视化可以容易看出， 关键点是点云的 骨架信息； (3)根据选取的关键点， 使用k ‑means算法选取每个关键点周边的特征点， 取得所有符权　利　要　求　书 1/3 页 2 CN 114444613 A 2合k‑means算法的特征点进 行特征提取， 使用多尺度特征融合方式将多层特征进 行融合， 输 出降采样后的高维特 征。 4.根据权利要求1所述的一种基于3D点云信息的物体分类与物体分割方法， 其特征在 于， 步骤三所述相对位置信息融合对的多头注意力机制的实现过程如下： (1)在输入断使用相对距离可以增加网络的整体性能， 经过大量实验可以看出， 在注意 力函数中增加相对距离ρ 依旧可以增加整体网络性能， 将相对距离增加至注意力函数中， 公 式如下： 其中， Q， K， V是输入根据各自变化矩阵得到的query， key， value矩阵， soft max为激活函 数， ρ 为相对距离， 本发明在K的转置处增加一个相对距离值， 在V处增加一个相对距离值， 设 计的注意力函数在输入中提取 更加充分的元 素与元素之间的信息， 更加适 合点云处理； (2)引入多头注意力机制： 将输入通过多个独立的注意力层， 最后 每一层输出结果级联 起来得到多头注意力 层的输出， 通过实现并行运行， 在处理输入数据中有明显速度优势， 多 头注意力机制的公式如下： Fi＝Attention(Qi， Ki， Vi)， i＝1， ...， h， MultiHead(Q， K， V)＝Co ncat(F1， F2， ...， Fh)WO 其中， X代表输入， 和 是三组不同 的线性矩阵， h代表多头注意力机制的个数， 本发明使用h＝4， 代表输出 特征矩阵， Fi代表每一个多头注意力层 最终输出的值， Concat代表级联， 多头注意力机制将 输入分为h个 独立的注意力机制层， 并且并行运 算每一个注意力机制层。 5.根据权利要求1所述的一种基于3D点云信息的物体分类与物体分割方法， 其特征在 于， 步骤四所述 点云编码器结构设计的实现过程如下： (1)对于输入， 一个点云样本的输入是 其中N代表输入个数， 每一个输入点你 云均有d维向量， 常见d为3或6， d为3时， 点云只包含位置信息， d为6时， 点云包含位置信息和 法向量信息， Fp是通过相对位置编码层的输出， Fe是Fp经过下采样层的输出特征向量， Fo为Fe经过4层多头注意力机制层的输出， Fo输出特征向量公式如 下： MSA(A)＝A ttention(A， A， A)， F1＝MSA(Fe)， Fi＝MSA(Fi‑1)， i＝2， 3， 4， Fo＝Concat(F1， F2， ...， F4)·WO， 其中， 每一个MSA(Fi)代表第i层注意力层输出特征， 每层的输出维度都与输入维度一 致， Wo是线性层的权 重， 在网络训练过程中会变化： (2)为了提取全局特征Fglobal与局部特征Flocal的点云特征， 设计一个新式的特征融合层 代替了传统的对称函数， 新提出 的融合层依旧可以解决点云的无序性问题， 并在很大程度 上减少点云因为降维而损失的特 征， 新的融合层公式如下：权　利　要　求　书 2/3 页 3 CN 114444613 A 3