【小白深度教程 1.5】手把手教你用立体匹配进行双目深度估计，以及 3D 点云生成（含 Python 代码解读）

【小白深度教程 1.5】手把手教你用立体匹配进行双目深度估计，以及 3D 点云生成（含 Python 代码解读）

• 1. 立体匹配的原理
• 2. 块匹配算法（Block Matching Algorithm）
• • 2.1 代码中的立体匹配过程概述
  • 2.2 代码原理及公式
  • • 2.2.1. 窗口匹配和代价函数（SAD）
    • 2.2.2. 匹配过程
    • 2.2.3. 视差图生成
  • 2.3 代码的整体算法流程
  • 2.4 性能与优化
• 3. 加载双目图像计算视差
• 4. 读取相机参数并计算深度，并映射到 3D 点云
• • 4.1 深度计算的公式
  • 4.2 代码详解
  • 4.3 映射到点云并存储到本地

在上两节中，我们展示了如何将从激光雷达获取的稀疏点云并进行补全：

【小白深度教程 1.4】手把手教你复现 CompletionFormer 深度补全网络（含代码解读）

【小白深度教程 1.3】使用 BP-Net 深度补全网络，进行 KITTI 稠密点云和图像融合（Depth Completion 实战）

但是，单目毕竟包含模糊性，例如这张广告牌，应当在平面有平滑的深度，但是单目深度往往失败（认为人像是有非平滑深度）：

因此这次我们尝试使用立体匹配技术，来进行准确的双目深度估计，并将场景转换成 3D 点云：