iPhone X 你为什么要齐刘海

导语

Depth Camera —— 下一代人脸技术革命?

前言

我工作中很重要的一块与人脸识别相关,微众银行app上面的刷脸技术属于二维人脸技术的范畴,而二维人脸技术发展了几十年虽然已经比较成熟,但是人脸关键点检测在各种大角度、多表情、复杂光照、面部遮挡等情况下,想要实现实时鲁棒的高精度检测仍然比较困难。而随着高精度深度相机的出现,极大地推动人脸技术的发展,iPhone X的前置红外摄像头+faceID就是很好的体现,它的摄像头是基于结构光实现,它不受限制于自然光,在复杂头部姿态下的表现大大优于二维人脸技术。我所在团队也紧跟这个热潮,希望通过对深度相机的一些探索,探究出我们新一代的刷脸产品。为了更好地理解深度相机如何采集信息点将二维的图片重建成三维模型,我整合三种主流深度相机技术。

飞行时间法TOF

代表产品

微软的Kinect 2

原理

通过连续发射经过调制的特定频率的光脉冲(一般为不可见光)到被观测物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。在测量距离要求比较远的场合(如无人驾驶),TOF深度相机具有非常明显的优势。

优点

1、测量方法简单,响应较快;
2、由于发射端能量较高,所以一定程度上降低了背景光的干扰;

缺点

1、发射端需要产生高频高强度脉冲,对物理器件性能要求很高;
2、对时间测量精度要求较高;
3、环境散射光对测量结果有一定影响;

双目立体视觉法

代表产品

iPhone后置双摄摄像头

原理

双目立体视觉法的原理和人眼类似,通过计算空间中同一个物体在两个相机成像的视差就可以根据如下三角关系计算得到物体离相机的距离。

理想情况(两个相机完全共面且参数一致)下,根据上述推导,空间点P离相机的距离(深度)z=f*b/d,可以发现如果要计算深度z,必须要知道:
1、相机焦距f,左右相机基线b。这些参数可以通过先验信息或者相机标定得到;
2、视差d。需要知道左相机的每个像素点(xl, yl)和右相机中对应点(xr, yr)的对应关系。这是双目视觉的核心问题;
光心不在同一水平面上,导致理想的推导失效,怎么办?
图像矫正是通过分别对两张图片用单应矩阵变换(可以通过标定获得)得到的,目的就是把两个不同方向的图像平面重新投影到同一个平面且光轴互相平行,这样就可以用前面理想情况下的模型了,两个相机的极线也变成水平的了。

优点

1、对硬件要求低,成本也低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器,使用普通的消费级RGB相机即可;

top Created with Sketch.