甜草莓，不是专家 | 人人都有不知道的东西，讨厌嘲讽类评论 阅读原文 惊闻 iPhone 12 Pro 后盖也有 LiDAR 了，正好最近在研究 LiDAR 的算法和应用，就把这部分的看法乾坤大挪移过来.......首先 LiDAR 当然会改变很多，实际上主动传感器的使用，会对人机交互带来更多机会，特别是在无人场景下。 在很早之前，iPad Pro 发布时，我曾经解释对其内置 LiDAR 系统的期望： 如何评价 3 月 18 日晚在苹果官网突然上线的两款双摄 iPad Pro？有什么亮点和槽点？ 这次回答主要是对上篇回答中 LiDAR 的技术部分进行详细扩展，并以此为基础展开分析，解释当时并没有解释清楚的很多猜测，以及未来 iPhone 12 Pro LiDAR 的一些展望。 1. 什么是 LiDAR？ 激光雷达（Light Detection and Ranging，LiDAR），是一种主动式、通过捕获目标的散射光，来获取相关目标信息的光学遥感技术。很多人说 LiDAR 和 Radar 不一样，这种说法也对也不多。LiDAR 本质上还是依靠雷达原理，但是当以激光为载体是，会出现更多的场景特化应用。 顾名思义，相比传统雷达，LiDAR 的主要特点是以激光为主要载体，而传统雷达则是以波长较长的电磁波（包括米波、厘米波、毫米波等等）为载体，ToF 摄像头主要以红外光为载体。因此，传统雷达波长>红外 ToF 摄像头>LiDAR（LiDAR 波长从 250nm 到 11μm）[1]。 所以它们三者的技术特性，也就体现在三种载体的物理特性上。单纯就激光而言，因为可见光波长短，所以激光雷达的测量精度高、单色性好、方向性强、相干性好、体积小[2]，而且时间和空间分辨率都会相对更高。 比如上图，我们以水滴为例（不要在意它像不像水滴），较短波长（a）的散射结果会相对更多，而较长波长（b）会更容易透射。这就是为什么激光雷达所受到的大气干扰会比传统雷达更加严重。如果更进一步，我们做一些简单的对比，就会发现激光雷达存在三种场景相关的严重问题： 大气干扰问题：正如之前所说，激光的波长短、光束相干性大，在这样的波长下，微小物体的反射特性会非常好。在传统雷达信号处理里，对小目标特性有个恒量标准：最小雷达横截面（Radar Cross Section，RCS）。描述的是雷达系统能够识别的最小目标，激光雷达的波长大约是传统雷达的 10，000 分之一，在目标材料特性不变的情况下，RCS 会和这个数值成正比[3]。 目标量化问题（Object quantization）[4]：激光雷达通常以扫描形式成像，对于单次扫描来说，数据处理依然需要进行坐标变换，这其实是一种三维空间到二维空间的映射。但是问题是，激光雷达的成像分辨率远远不如摄像头，我们如何能够说明一个数据点属于一个物体？就像下图所示，大象和人体在数据点上并不能完美区分。因此，大家普遍把激光雷达的反馈称为点云。如何从激光雷达点云中进行目标识别和分割，是一个新兴课题。 数据关联问题（Data association）[5]：通常相比传统雷达，激光雷达扫描速度会比较慢，因此在扫描过程中，移动目标可能会在第二个时隙出现在点云的另一侧，那么如何在这两个数据表示同一个物体的情况下，让算法自动识别呢？这就是一个典型的数据关联问题，在多摄像头图像识别中，它被扩展到另一个领域：目标重识别（re-identification），用来在多个摄像头场景中构建关联物体之间的联系。 我们说了那么多 LiDAR 数据处理目前面临的问题，那么为什么激光雷达越来越多出现在大家视野里？从自动驾驶到新一代 iPad，又为什么越来越多公司愿意探索激光雷达的应用场景呢？ 2.为什么 LiDAR 会成为自动驾驶和成像系统的热门选择？ 虽然 LiDAR 在应用场景中存在一些挑战，但因为激光雷达是目前民用分辨率最高的主动探测技术，在视频摄像头无法发挥作用的雨雪、夜间都可以发挥相当大的作用，所以这并不妨碍以无人驾驶和物联网为代表的新兴产业对激光雷达的追逐。 学术界和产业界都认为，随着人机交互从机器被动反应向主动环境感知发展，未来的民用雷达将会在智能传输和操纵系统中扮演更重要的地位，目前可见的萌芽是自动驾驶系统、物联网等等，但是未来市场会变得更加丰富。 这或许是苹果试图在新款 iPad 上使用 LiDAR 的原因 ---- 期望通过高精度主动探测系统，来改变机器和人类的交互方式。 我们可以从激光雷达的发展应用看到一段端倪，目前激光雷达主要应用在大气探测[6]，包括气溶胶探测、多普勒测风，甚至可能利用待测气体对不同激光波长的吸收系数不同，探测大气中待测气体浓度；陆地森林探测[7]，包括陆地资源、冰层轮廓，甚至可以用来实现月球表面三维影像探测；或者空中交汇对接判断[8]，用来检测航天器或者空间飞行器的空间交汇，并判断位置、距离等。 可以看到在以前，激光雷达的主要应用范围是航天、遥感等「大设备」和「大装置」上。但是随着固体光源的快速发展，激光雷达也逐渐慢慢小型化发展，比如大多直升机需要全天候避障[9]，因此著名的直升机公司 Fibertek 研制了直升机激光雷达系统，目前正在 UH-1H 直升机搭载。马可尼 SpA 公司也提供了激光雷达的 Loam 障碍回避系统，利用人眼安全激光技术，来探测电线、树木、桅杆等等障碍，得益于激光雷达的高分辨率，飞行员除了可以通过视觉和声音获取报警之外，显示器也可以显示障碍的形状、位置、方位和距离等等。 如果从一个系统和发展的角度来看，大型设备的主动感知系统雏形，在可以预见的未来，小型化和便捷化的民用雷达，很有可能会成为未来智能设备上最主要的「眼睛」之一。 我想这就是民用激光雷达的未来，也是苹果迫不及待把 LiDAR 集成入 iPad 中的原因之一。 3. 以苹果为例，未来的 LiDAR 能够做什么？ Apple 认为，LiDAR 传感器主要有望改善增强现实，通过主动探测构建景深信息，进而完成对周围环境的 AR 建模和计算。 但是事实上，我并不同意这一观点：LiDAR 可以通过全天候、不限时的主动感知，给当前的电子设备提供在无人场景下、比摄像头更可靠、更有效的高精度人机交互。目前 Apple 提供的 Demo 和测试 APP 主要集中在景深感知和其带来的一系列测距应用，比如测肩宽，室内装修等等。当然，在 iPad 上，LiDAR+ 摄像头完成的建模和测距不失为一种好的切入点，但是这些并不会是民用 LiDAR 的最终愿景。 我举个简单的例子，如果 iPhone 上装备前置 LiDAR，那么如果能够提高激光雷达帧率，也有望完成更高效的手势识别，或者眨眼识别，比如把 iPhone 横置在眼前，可以辅助检测疲劳驾驶。或者 iPad 可能用来放在浴室里，检测老年人摔倒等等。这都是非常有前景的应用方式。 这里有一个转载自 ViewAR 的视频： 基本上能够看出目前 LiDAR 的帧率和分辨率都依然存在提升空间。从提供的 Demo 和实例来看，目前 Apple 对 iPad 上 LiDAR 的规划主要侧重于和摄像头一起完成场景的景深建模。这一条技术路线如果延续下去，提高精度，再辅助多个传感器，就是目前大名鼎鼎的数字孪生（Digital Twins），随手一拍就可以完成建模。 从另一方面来讲，单纯的 iPad 引入后置 LiDAR，将会显而易见的提高摄像头的测距精度和标尺特性。 正如苹果在上图中做的经典实例那样，原本摄像头 3D 测量能力将会提升到足以供给医疗 App 使用，这或许能够开辟一个新的应用体系。 不过我们可以确定的是，苹果对 LiDAR 的长远计划最终可能会远远超过 iPad Pro 本身，听说今年 iPad 和 iPhone 都将搭载 LiDAR，构建相应的生态，相信我们能够期待便携式 LiDAR 更加美丽的未来。 阅读原文
