SLAM的前世今生 终于有人说清楚了 | 硬创公开课

本篇文章3975字，读完约10分钟

今年八月，雷锋。搜索“雷锋”。将在深圳举办“全球人工智能和机器人创新大会”。在这次会议上，我们将发布“人工智能和机器人创新企业25强名单”，而快速感知技术是我们的重点公司之一。今天，我们邀请了快速感知技术的首席技术官张一鸣，来揭示slam技术的过去生活。

张一鸣。快速感应技术首席技术官。他毕业于空航空航天大学，师从中国惯性技术领域著名专家冯培德院士，拥有多年的组合导航定位系统研究经验。热爱技术和研发，在英特尔物联网制造商马拉松和清华制造商马拉松等众多制造商竞赛中获得第一名。经过多年的经验，快速感知技术已经开发出一种成熟的机器人被动导航算法，该算法以视觉slam为核心，集探索、导航、定位、避障和路径规划于一体。

Slam作为一项基础技术，从最早的军事用途(slam在潜艇定位中的雏形)到今天，已经逐渐进入人们的视野。在过去的几年里，清扫机器人的流行使它出名了。最近，基于三维视觉的vslam越来越成为主流，很多人不得不关注它。然而，根据雷锋的调查。很少有国内的大牛能理解它，并能真正解释清楚。今天，我们邀请了速度。

▌slam's前世我从本科到研究生都在航海和定位领域学习。起初，我专注于高精度惯性导航、卫星导航、星光导航及其组合导航。出于对被动导航的痴迷，我慢慢开始研究视觉导航中的slam方向，并结合传统的惯性器件实现自主导航和独立器件的定位。

定位、定向、测速和计时是人们一千年来一直未能完全解决的问题。在最早的时候，古人只能通过观察夜晚的天空和司南做简单的定位。直到元代，出于定位的需要，有才华的中国人发明了惊人的拉星技术，用拉板测量星星，实现纬度估计。

全球定位系统于1964年在美国投入使用，这突然打破了游戏规则。军用P码可以达到1-2米的精度，向公众开放的ca码也可以达到5-10米的精度

后来，为了一方面突破P码封锁，另一方面追求更高的定位和姿态确定精度，我们想出了很多非常有创意的想法来提高gps的精度。利用rtk的实时相位差技术，它甚至可以达到厘米级的定位精度，基本上解决了室外定位和姿态确定的问题。

然而，室内问题要困难得多。为了实现室内定位和姿态确定，出现了大量的技术，其中slam技术逐渐脱颖而出。Slam是一个非常跨学科的领域。我先从它的传感器开始。

▌这两种类型的传感器是必不可少的。目前，slam中使用的传感器主要分为两类，激光雷达和摄像机。(稍后发送的一些材料取自官方网站、论文、专利、入侵和删除)。

这里列出了一些常见的雷达和各种深度相机。激光雷达可分为单线和多线，其角度分辨率和精度也各有优点。病假，维罗达因，学友，北星光学和slamtech在中国是著名的激光雷达制造商。它们可以用作slam的输入形式。

这个小视频展示了一个简单的2d slam。

这个小视频是由宾夕法尼亚大学教授库马尔制作的著名演示。它是利用无人机上的2D激光雷达实现的。

vslam主要由摄像机实现，摄像机分为单目、双目、单目结构光、双目结构光和tof。他们的核心是获取rgb和深度图。简单的单眼和双目(zed，leapmotion)我就不在这里解释了。我将主要解释结构光和飞行时间。

▌最近流行结构光和飞行时间

基于结构光原理的深度相机通常有三个核心设备:激光投影仪、光学衍射元件(doe)和红外相机。

此图取自primesense专利，可以看出primesense的doe由两部分组成，一部分是扩散板，另一部分是衍射板。首先，它在一个区域扩散成一个随机斑点，然后被复制成九个部分，投射到物体上。ps1080芯片根据红外摄像机拍摄的红外散斑，可以快速计算出每个点的深度信息。

还有两个基于结构光原理的摄像机。

在第一页，它是由两个非常规则的散斑组成的，这两个散斑是由红外相机同时获得的，精度比较高。但据说能源部的成本也相对较高。

还有一种独特的方案(最后一张图片)，它使用类似dlp投影仪的mems微镜来调制激光的频率，通过微镜将其反射出去，快速改变微镜的姿态，进行行和列扫描，并实现结构光的投影。(生产于st，它经常制造一些令人眼花缭乱的黑色技术)。

飞行时间(Tof)也是一种很有前途的深度获取方法。

传感器发出调制的近红外光，在遇到物体后被反射。传感器计算光发射和反射之间的时间差或相位差，以转换拍摄场景的距离，从而产生深度信息。与雷达或想象中的bat类似，softkinetic的ds325采用tof方案(由ti设计)，但其接收器具有特殊的微结构，有两个或两个以上的快门，测量ps级时差，但其单位像素大小通常为100um，因此其分辨率目前不高。未来会有美好的前景，但我不认为这是颠覆性的。

好，深度图可用后，slam算法开始工作。由于传感器和要求的不同，slam呈现形式略有不同。它可以大致分为激光slam(也分为2d和3d)和视觉slam(也分为稀疏、半密集和密集)，但它们的主要思想是相似的。

这个是稀疏的

这部分密集

▌slam算法实现的四元素slam算法在实现时应主要考虑以下四个方面:

1.地图表示问题，如稠密和稀疏，是不同的表达，需要根据实际场景的需要进行选择

2.信息感知问题，我们需要考虑如何充分感知这个环境。rgbd相机的视场通常较小，但激光雷达相对较大

3.数据关联。不同的传感器有不同的数据类型、时间戳和坐标系表达式，需要统一处理

4.定位与合成问题是指如何实现位姿估计和建模，涉及许多数学问题、物理模型建立、状态估计和优化

其他的是循环探测、探索和绑架。

这是一个众所周知的slam算法，这个循环检测非常漂亮。然而，这一个叫cuda，gpu需要高计算能力，所以效果看起来令人眼花缭乱。

来吧！浅谈vslam在ar中的广泛应用

我将谈论一个流行的vslam方法框架。

整个大满贯可以分为前端和后端。前端相当于视觉里程表，研究帧之间的转换关系。首先提取每个帧图像的特征点，然后利用相邻帧图像匹配特征点。然后，使用ransac去除大噪声，然后进行匹配以获得姿态信息(位置和姿态)。同时，惯性测量单元提供的姿态信息可以进行滤波和融合

在后端，它主要优化前端的输出结果，并使用过滤理论(ekf，ukf，pf)或优化理论toro，g2o优化树或图。最后，得到最优姿态估计。

后端有许多困难，涉及到许多数学知识。一般来说，我们已经逐渐放弃了传统的过滤理论，转向图优化。

由于基于滤波理论，滤波器稳定性增长过快，给需要频繁反演的扩展卡尔曼滤波器带来很大压力。然而，基于图的slam通常基于关键帧，建立多个节点之间的相对变换关系，如仿射变换矩阵，并不断维护关键节点以保证图的容量，这样既保证了精度，又减少了计算量。

列举几种著名的slam算法:ptam、monoslam、orb-slam、rgbd-slam、rtab-slam、LSD-slam。

因此，如果你想学习slam，有很多材料是学院和大学可以改进的。例如，宾夕法尼亚大学、麻省理工学院、联邦理工学院、香港科技大学、帝国理工学院等都有较好的代表性作品，另一个很有前途的是3D机器视觉。普林斯顿大学的肖教授结合slam和deep learning对三维物体进行分类和识别，并实现了一个用于场景深度理解的机器人感知引擎。

这是他们的报告。

总的来说，从最早的军事用途(潜艇定位的slam雏形)到今天，slam技术已经逐渐进入人们的视野，而清扫机器人的普及使其声名大噪。同时，基于3d视觉的vslam也越来越成为主流。在地面/空，机器人、vr/ar/mr、汽车/agv自动驾驶等领域将得到深入发展，同时，还有越来越多的细分市场有待挖掘。

这是枕骨团队生产的产品，这是一个非常有趣的应用。它在国内销售4000多台，每月出货量约1000台(虽然不多，但效果不错，可以玩平板电脑)。虚拟家庭、无人驾驶飞行/驾驶、虚拟试衣、3d打印、犯罪调查场景记录、沉浸式游戏、增强现实、购物中心推送、设计协助、地震救援、工业装配线。

▌slam's生活-多传感器融合、优化数据关联和环路检测、与前端异构处理器集成、提高鲁棒性和重新定位精度是slam技术的下一步发展方向，但这些将随着消费刺激和产业链的发展而逐步解决。就像手机中的陀螺仪一样，它将在不久的将来飞进普通人的家中，改变人类的生活。

但说实话，slam在全面进入消费市场的过程中也面临着一些障碍和困难。例如，传感器精度不高，计算量大，传感器的应用场景不通用。

多传感器融合、数据关联和环路检测的优化、与前端异构处理器的集成、鲁棒性和重定位精度的提高是slam技术的下一步发展方向，但这些将随着消费刺激和产业链的发展而逐步解决。就像手机中的陀螺仪一样，它将在不久的将来飞进普通人的家中，改变人类的生活。

(激光雷达和照相机slam的优缺点是什么？有没有一个综合的方法来弥补彼此的缺点？(

激光雷达的优点是视距宽，缺点是性价比低，低成本雷达的角度分辨率不够高，影响建模精度。vslam的缺点是fov通常很小，50-60度，在高速旋转时很容易丢失。我们公司正在做vslam、雷达和imu的组合。

(目前基于视觉的slam的计算量是多少？如果你想在嵌入式系统上实现30fps的实时性，那只有nvidia芯片(支持cuda)才有可能吗？(

第一个问题是，尽管基于视觉的slam计算量相对较大，但它可以在嵌入式系统上运行。稀疏的slam可以达到30-50hz(没有gpu和cuda)。如果密度大，就会消耗资源。根据点云，三角测量密度可以调整，10-20赫兹是没有问题的。

没有必要使用cuda。使用cuda和gpu的一些算法主要用于加速sift、icp以及后来的三角测量和网格。即使不使用cuda，也可以采用其他特征点提取和匹配策略。