90772504b849473d37b322207acbfa47
32-RealityKit 和 Reality Composer 简介

2019年WWDC的《 Session 603 - Introducing RealityKit and Reality Composer
主要内容速览:

  • RealityKit 简介,综合演示.
  • RealityKit 基础特色介绍,深入讲解.
  • Reality Composer 简介与演示.

RealityKit 简介,综合演示

在制作 AR 效果时,一直有各种困难

  • AR 物体与真实世界的交互
  • AR 附着于真实物体
  • 虚拟物体可以影响真实世界
  • AR 效果与真实环境匹配

所以苹果又打出了新的 AR 框架:RealityKit
它有以下特征:

  • AR First
  • 真实感渲染和模拟
  • 以 swift 标准设计
  • 支持 iOS 和 macOS

比如下图,请注意阴影,光照,还有镜头景深(近处清晰,远处模糊),AR 物体与摄像头中的真实世界完美融合在一起。

用 RealityKit 实现上面的效果,只需要 4 行代码,相比 ARKit 也要更方便:

RealityKit 基础特色介绍

如下所示,RealityKit 融合了各种功能以及 ARKit 和 Metal 框架。

Rendering(渲染)

  • 渲染支持基于物理的着色
  • 使用 Metal 技术构建:为苹果 GPU 优化,支持最新特性
  • 专注于 AR


Animation(动画)


支持骨骼动画(Skeletal)与变换动画(transform)

Physics(物理效果)

  • 支持碰撞检测 Collision detection
  • 支持刚体动力学 Rigid body dynamics
  • AR 支持

Synchronization(网络同步)

  • 支持多设备
  • 支持 ARKit 上多人协作地图构建
  • 支持多玩家

Entity-Component System(实体-组件系统)

实体与组件系统,可以让大家更好的创造与继承一个组件,它具有很好的扩展性,并能自动网络同步

Audio(音频)

  • 空间理解
  • 自动监听者配置
  • 在追踪的 3D 物体上播放音频

Reality File

  • 新的文件格式,包含所有供渲染和模拟的数据:如 Mesh,Material,Physics,Audio
  • 为 RealityKit 框架特殊优化
  • 可以从 Reality Composer 导出
  • 支持 AR Quick Look 的预览

框架基础

RealityKit 框架主要由 4 大组件构成:ARView,Anchor,Scene,Entity

四者的组织关系如图所示

在空间中的表现如图

这里重点讲一下ARView的功能

  • 建立环境
  • 处理手势
  • 聚焦于 app
  • 真实感镜头效果

这些功能的具体体现有:阴影(Shadowing),运动模糊(Motion Blur),景深(Depth of Field),摄像机噪点(Camera Noise)

top Created with Sketch.