深度图像 = 普通RGB三通道彩色图像 + Depth Map
RGB图和深度图是配准的，像素之间一一对应
Depth Map｜深度图
包含与视点场景对象表面距离有关信息的图像通道，通道本身类似于灰度图像，每个像素值是传感器测出距离物体的实际距离
分类
- 与相机距离成比例：较近的表面较暗; 其他表面较轻
- 与标称平面的距离相关：靠近焦平面的表面较暗; 远离焦平面的表面更轻 - 与标称平面的距离相关：靠近焦平面的表面较暗; 远离焦平面的表面更轻
RGB-D相机
- 结构光法
- Kinect v1
- iPhone X
- 飞行时间法(TOF)
- Kinect v2
- Phab 2 Pro
结构光法
不依赖光照和纹理；夜间可用；主动投影已知图案；功耗低；紧纪律精度高
- 时分复用编码：投影N个连续序列的不同编码光，接收端根据接收到的N个连续的序列图像识别每个编码点
- 优：可得到较高分辨率深度图（有大量的3D投影点）；受物体本身颜色影响小（采用二进制编码）
- 缺：只适用静态场景；计算量大（识别一个编码点需要计算连续N次投影）
- 空分复用编码：根据邻域内的一个窗口中所有点的分布识别编码
- 优：适用于运动物体
- 缺：不连续的物体表面（遮挡）可能产生错误的窗口解码
TOF飞行时间法
- 原理：连续发射不可见光脉冲到被测物体上，接受从物体反射回的光脉冲，探测光脉冲的飞行时间计算被测物体距离
- 分类（根据不同的调制方法）
- 脉冲调制：通过电荷累计计算时间，对元器件要求高
- 连续波调制(main)：利用相位偏移计算时间
- 优：可调节发射脉冲的频率改变测量距离；测量精度不会随着测量距离增大而降低；抗干扰能力强；适合距离比较远的(无人驾驶)
- 缺：功耗大；分辨率低深度图质量差
RGB-D相机问题
- 深黑色物体影响：深黑色物体可以吸收大量的红外光导致测量不准
- 表面光滑物体影响：镜面反射时，相机投射的结构光只有当接收器在特定位置时才能接收到
- 当物体表面超过一定光滑程度时，深度相机精度会急剧下降，甚至没有深度值
- (半)透明物体影响：深度值的歧义性
- 半透明时同一次发射的结构光可能会接收到两次
- 全透明时接收不到
- 视差影响：结构光深度相机发射端和接收端通常有一定的间距
RGB-D特点
- 优：规避了纯cv的弱点
- 缺乏纹理
- 光照不足
- 过度曝光
- 软件计算复杂度高
- 快速运动
- 缺
- 受深色物体、(半)透明物体、镜面反射物体、视差影响
- 深度图质量与硬件密切相关
- 功耗大，成本高