苹果为 AR 准备了哪些技术? AR 眼镜呢?

说明

苹果一直在 AR 方面布局,CEO 库克也不断发声,说重视 AR。ARKit 如今已经出到 ARKit 4,苹果在国内也谋求与其他企业合作推出手机 AR 产品,可惜并不成功。至今都处于鸡肋状态,今年动静也小了许多。


那苹果究竟在 AR 上做了哪些努力,还有哪些地方不完善呢? AR 眼镜又会是什么样子呢?我在以前的文章中,也给出过预测,现在看来大部分还是过于乐观,主要是底层技术和硬件发展,并不像其他显示层面 UI 更新一样快。

苹果在AR VR领域的现状与预测----写于 2017 年
苹果在AR VR领域的现状与预测再谈----写于 2018 年
苹果 AR 战略发展猜想----写于 2019 年

收购与专利

苹果收购的技术平均在 2~3 年后应用到iPhone/iPad上,一般不超过 4 年。
苹果的专利从申请到真正用在产品上,时间往往更长,往往需要4~5年,甚至长达7年以上.
苹果公司收购列表
苹果公司专利查询网站
苹果公司ARVR相关专利列表


软硬件与基础功能

从软件硬件的角度讲,苹果目前已经基本用上了所有的手段,来给 AR 做准备,我们来简单列举一下:

  • 单目深度估计:这个是 ARKit 的基本功能,主要利用 VIO 来完成,即摄像头+陀螺仪;
  • 双目深度估计:从 iPhone7 plus 开始,后置用上了双摄,虽然并不是同样规格摄像头,但苹果依然用它们实现了双目深度估计;
  • TrueDepth原深感镜头:从 iPhoneX 开始,集成于被人诟病的刘海中,精度很高,只是距离小了点。iPhone 12系列已经全部保留刘海了,带有原深感镜头;
  • LiDAR(ToF 镜头):从 2020 款 iPad Pro 开始,后置也支持了 LiDAR,可以在黑暗环境下识别,另外物体遮挡关系也更真实了,今年 iPhone 12 Pro 系列也支持了 LiDAR;
  • GPS 融合:2020 年的 ARKit 4 已经支持了地理锚点,但是现在只开放了少数几个城市的点位,今年的 iPhone 也正式支持了北斗定位,去年的 iPhone 11 中疑似被软件屏蔽,今年也可以正常使用了;
  • UWB 定位:从 iPhone 11 系列开始支持了超宽频芯片,但是目前在 AR 中无实际应用。从 2020 年起的大部分产品都支持了 UWB 定位技术:Apple Watch, HomePod mini, iPhone 12 系列;
  • 空间音频:Airpods pro 已经支持了空间音频功能,但是貌似目前只是根据内置陀螺仪进行立体声的反向旋转,如果与 UWB 技术融合,可以实际真正的 6 自由度虚拟音频。HomePod mini 在这方面也进行了尝试,并正式提出了计算音频(Computational audio)的概念;
  • NPU 识别场景:实际整个 ARKit 从图像采集到场景追踪匹配都用到了 ML 技术,硬件上就是 NPU 部分,不仅如此,现在还可以利用 NPU 来识别人体、家具、窗户、墙壁等。今年 A14 芯片升级的一大亮点就是 NPU 部分的升级,达到了翻倍效果。WWDC 20上,苹果也对 Vision 框架和 CreateML 框架进行了大量更新,以更好支持 ML 技术;
  • 网络通讯:目前可以利用 Multipeer Connectivity 框架来与周围手机通讯,共享 AR 信息,Wifi 6 支持;
  • AR 工具:新的开发工具 RealityKit 框架,编辑工具 RealityComposer,格式转化工具 RealityConvert,都已经完成更新。


从今年 iPhone 12 系列更新来看,今年主要方向是更好的镜头和 NPU,这两者对 AR 体验都有直接作用,另外对 AR 有影响的还有 LiDAR 加入和 U1 芯片普及,另外空间音频/计算音频也对 AR 有帮助。

目前为实现 AR 效果,能想到的软件硬件方面,苹果已经都做了准备,AR 的准备工作已经基本完成。虽然未来需要优化的地方还有很多,但是布局已经完成,还能更新的技术方向已经不多了,剩下的基本就等 AR 眼镜推出了。

未来有可能增加/增强的有:

top Created with Sketch.