文献综述(或调研报告):
1.点云神经网络发展现状
1.1 PointNet
卷积神经网络一般要求输入数据符合某种标准模式,而点云是一种不规则格式数据。为了将点云作为深度网络的输入,大部分研究者都是将点云转换为标准的数据格式,比如体素或者多视角图像几何。但是这种方法会产生大量冗余,增加不必要的计算量。为了解决冗余计算的问题,Qi 等人[1]提出了 PointNet。PointNet 是一种统一结构的深度网络,直接以点云作为输入,输出目标的类别标签或点云的对象分割。PointNet 由两个子网络构成:分类网络和分割网络,两个子网络共享大部分网络结构。分类网络以点云作为输入,经过输入转换和特征转换后,生成点的局部特征,然后通过最大池化层将点的局部特征聚合成为全局特征,最后输出不同类别的分值。分割网络作为分类网络的扩展,将局部特征和全局特征连接在一起,最后输出每一个点的分值。PointNet 在ModelNet40数据集上的分类结果取得了89.2%的准确率,达到了当时的最佳水平。
1.2 PointNet
PointNet 在将深度学习应用在点云数据中取得了非常不错的效果,但是没有利用点云中点的局部信息,在识别复杂场景中和表面纹理丰富的目标效果不佳。Qi 等人[2]在 PointNet 的基础上增加了层级结构和密度自适应层,提出了 PointNet 。层级结构使 PointNet 可以提取数据中的局部特征,在对复杂场景中和表面纹理丰富的目标进行分类时能取得更好的效果。针对点云数据分布密度极为布均衡的情况,密度自适应层能够避免大量冗余计算,使网络工作效率大大提升。PointNet 在ModelNet40 数据集上的分类结果准确率达到了91.7%。
PointNet 能够对整个点云或者点云中的每个点进行语义分类,但是在实例级别的 3D 目标检测中并不适用。为了能够进行实例级目标检测,Qi 等人[4]提出了 Frustum PointNet,将 RGB-D 转为点云的方式进行目标检测,这样能够充分利用 3D 数据的优势。Frustum PointNet 由三个模块构成,视锥体建议,3D 实例分割和三维边界框估计,将图 X。首先使用 2D CNN 目标检测器在 RGB 图像生成 2D 目标候选区,之后将 2D 目标候选区与深度图结合,升维至 3D,形成视锥体候选区。之后对视锥体中点云的每个点进行二分类操作,将目标实例分割出来,最后更具分割出的目标实例预测 3D 边界框。
1.3 其他网络以及新型卷积方法
PointNet/PointNet 提供了在点云中处理 3D数据极为有效和灵活的方法, Wang 等人[5]在此基础上提出了 SGPN,实现了对点云进行更高效的实例分割。SGPN 接收点云输入,通过一个特征提取层(PointNet/PointNet ),提取出点云中的局部特征和全局特征,形成一个特征向量。之后 SGPN分为三个部分,每个部分都通过一个单层的PointNet 从之前的特征向量获得一个新的特征矩阵。然后分别从这 3 个特征矩阵中获取一个相似矩阵,一个置信图,一个语义分割图。同一目标的点集不仅具有相同的语义标签,它们之间的欧几里得距离也应该很近。如果两个点具有相同的语义标签,但是距离过远,依然是属于不同目标的点。相似矩阵根据这种性质,生成点集候选区。在相似矩阵中生成的候选区中,有很多区域是低价值区,比如背景和不感兴趣目标。置信图将低价值候选区移除,保留感兴趣区域,得到最终的候选区,之后通过语义分割图对这些候选区添加语义标签。最后,将结果整合为最终的分割结果。
此外,最新的SO-net[9] 的提出以及对PointNet改进提出的PointFlowNet[8]等网络模型 均取得了较好的效果,但是对于大规模点云还具有 一定的局限性,但这些网络为后续的大规模点云的语义分割提供了重要基础。
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。