无人行车三个基本步骤：

无人行车获取感知信息后，将数据推送至感知子系统，全面了解无人车周围环境。这里的感知子系统主要做三件事：定位、物体识别和跟踪。

无人行车GPS以较低的更新频率提供相对准确的位置信息，而IMU以较高的更新频率提供较低准确度的位置信息。我们可以使用卡尔曼滤波结合两种类型数据的优势，结合起来提供准确和实时的位置更新。 IMU每5-10ms更新一次，但误差不断累积，精度下降。幸运的是，每 100 毫秒，我们可以获得一次 GPS 数据更新，以帮助我们纠正 IMU 累积的误差。因此，我们最终可以获得实时准确的位置信息。但是，我们不能仅仅依靠这样的数据组合来进行本地化工作。原因有三：一是这种定位精度只有一米以内；其次，GPS 信号具有天然的多径问题，会引入噪声干扰； GPS不适用于其他场景。

因此作为补充，无人行车相机也用于定位。简化的基于视觉的本地化包括三个基本步骤：

①通过立体图像的三角剖分，首先得到视差图，计算出各点的深度信息；

②通过匹配连续立体图像帧之间的显着特征，可以通过不同帧之间的特征建立相关性，并据此估计两帧之间的运动；

③ 通过将捕获的显着特征与已知地图上的点进行比较，计算车辆的当前位置。然而，基于视觉的定位方法对照明条件非常敏感，因此它们的使用和可靠性受到限制。

因此，无人行车借助大规模粒子滤波的激光雷达通常被用作车辆定位的主要传感器。通过激光雷达

生成的点云“塑造了环境的描述”，但不足以区分不同的点。通过粒子过滤，系统可以将已知地图与观察到的特定形状进行比较，以减少位置的不确定性。

为了在地图上定位移动的车辆，可以使用粒子滤波来关联已知地图和激光雷达测量值。粒子滤波可实现10cm精度内的实时定位，在复杂的城市环境中尤其有效。但是，激光雷达也有其固有的缺点：如果空气中存在悬浮颗粒（如雨滴或灰尘），测量结果会受到很大干扰。因此，如图1-6所示，我们需要利用多种传感器融合技术，融合多类传感器数据，处理融合所有传感器的优势，完成可靠准确的定位。

激光雷达可以提供准确的深度信息，因此常用于无人驾驶中的物体识别和跟踪任务。近年来，深度学习技术发展迅速，通过深度学习，可以实现显着的物体识别和跟踪精度。

卷积神经网络 (CNN) 是一类广泛用于对象识别的深度神经网络。通常，CNN 由三个阶段组成：

① 卷积层使用不同的滤波器从输入图像中提取不同的特征，每个滤波器在完成训练阶段后会提取一组“可学习”的参数；

②激活层决定是否激活目标神经元；

③ 池化层压缩特征图占用的空间以减少参数数量，从而减少所需的计算量； ④ 一旦物体被 CNN 识别，下一步会自动预测其轨迹或进行物体跟踪。