Ceres求解直接法BA实现自动求导

BA，即Bundle Adjustment，通常译为光束法平差，束调整，捆绑调整等。但高翔博士觉得这些译名不如英文名称来得直观，所以保留英文名，简称BA。

所谓BA，是指从视觉图像中提炼出最优的3D模型和相机参数。在视觉SLAM里，BA特征点法和直接法两种。前者是最小化重投影误差作为优化目标，后者是以最小化光度误差为目标。

对于特征点法BA，高翔博士所著的《视觉SLAM十四讲》第二版第九章作了非常详细的说明。对于直接法BA，在深蓝学院的课程《视觉SLAM理论与实践》中有用g2o求解的习题，但没有提到Ceres求解。而且，习题中给出的是双线性插值来得到图像点的灰度值。我们知道，直接法BA需要判断图像边界，而且Ceres对双线性插值是不能自动求导的。这都会增加代码实现的难度。

在课后作业里有一题要求用g2o实现直接法BA。相对来说g2o来说，我个人更喜欢用Ceres，毕竟Ceres是谷歌出品，而且，谷歌的非线性优化大多是用Ceres来解决的，功能和效率应该是值得我们信任的。

我们知道，Ceres是推荐我们尽可能使用自动求导的，一是准确性更有保障；二是求解更快速。所以，我们要寻找能实现自动求导的实现方法。

Ceres提供的Ceres的Grid2D和BiCubicInterpolator联合使用可以解决上述两个问题。Grid2D和BiCubicInterpolator的使用需要包含头文件cubic_interpolation.h。

Grid2D是无限二维网格的对象，可以用来载入图像数据，如果是灰度图，其值用标量，如果是彩色图像，其值用3维向量。由于网格的输入数据总是有限的，而网格本身是无限的，因为需要通过使用双三次插值BiCubicInterpolator来计算网格之间的值。而超出网格范围，则将返回最近边缘的值。

将灰度图像数据加载到Grid2D对象，可以避免我们在代码中判断图像边界的问题。而且，Grid2D还可以利用BiCubicInterpolator实现双三次插值，它相对于双线性插值的优点是能实现自动求导。利用它们写出的代码更简洁，执行效率也更高。

Grid2D对象和BiCubicInterpolator对象的定义：

std::unique_ptr<ceres::Grid2D<数据类型[,数据维数]> > 变量名;
std::unique_ptr<ceres::BiCubicInterpolator<ceres::Grid2D<数据类型[,数据维数]> > > 变量

数据类型一般是简单类型，如int，float，double等，上面两个定义的数据类型和数据维数必须相同。数据维数是指值是几维数据，默认值为1，即函数值为标量时可以不指定该参数。定义好了对象变量，就可以初始化了，格式如下：

Grid2D对象.reset(new ceres::Grid2D<数据类型[,数据维数]>(数据首地址, 首行号, 总行数, 首列号, 总列数));
BiCubicInterpolator对象.reset(
new ceres::BiCubicInterpolator<ceres::Grid2D<数据类型[,数据维数]> >(* Grid2D对象))

数据一般使用vector类型以及嵌套，对于灰度图，我使用的是vector<vector<float>>。

Grid2D还有两个参数，分别是表示数据的储存顺序为行还是列，以及值为向量时向量的每一维值的存储顺序是行还是列，由于在本文中并不重要，所以这里不作介绍。代码中直接采用了默认值。

计算残差代码如下：

struct GetPixelGrayValue {
    GetPixelGrayValue(const float pixel_gray_val_in[16],
                      const int rows,
                      const int cols,
                      const std::vector<float>& vec_pixel_gray_values)
    {
        for (int i = 0; i < 16; i++)
            pixel_gray_val_in_[i] = pixel_gray_val_in[i];
        rows_ = rows;
        cols_ = cols;
        
        // 初始化grid2d
        grid2d.reset(new ceres::Grid2D<float>(
            &vec_pixel_gray_values[0], 0, rows_, 0, cols_));
        
        //双三次插值
        get_pixel_gray_val.reset(
            new ceres::BiCubicInterpolator<ceres::Grid2D<float> >(*grid2d));
    }
    
    template <typename T>
bool operator()(const T* const so3t,              //模型参数，位姿，6维
const T* const xyz,             //模型参数，3D点，3维
T* residual ) const              //残差，4*4图像块，16维
{
        // 计算变换后的u和v
        T u_out, v_out, pt[3], r[3];
        r[0] = so3t[0];
        r[1] = so3t[1];
        r[2] = so3t[2];
        ceres::AngleAxisRotatePoint(r, xyz, pt);
        pt[0] += so3t[3];
        pt[1] += so3t[4];
        pt[2] += so3t[5];
        u_out = pt[0] * T(fx) / pt[2] + T(cx);
        v_out = pt[1] * T(fy) / pt[2] + T(cy);
                
        for (int i = 0; i < 16; i++)
        {
            int m = i / 4;
            int n = i % 4;
            T u, v, pixel_gray_val_out;
            u = u_out + T(m - 2);
            v = v_out + T(n - 2);
            get_pixel_gray_val->Evaluate(u, v, &pixel_gray_val_out);
            residual[i] = T(pixel_gray_val_in_[i]) - pixel_gray_val_out;
        }
        
        return true;
    }


    float pixel_gray_val_in_[16];
    int rows_,cols_;
    std::unique_ptr<ceres::Grid2D<float> > grid2d; 
    std::unique_ptr<ceres::BiCubicInterpolator<ceres::Grid2D<float> > > get_pixel_gray_val;
};

添加残差块的代码：

for (int ip = 0; ip < poses_num; ip++)
{
    for (int jp = 0; jp < points_num; jp++)
    {
        double *pose_position = first_poses_pos + ip * 6;
        double *point_position = first_point_pos + jp * 3;
        float gray_values[16]{};


        for ( int i = 0; i < 16; i++ )
            gray_values[i] = patch_gray_values[jp][i];


        problem.AddResidualBlock(
            new ceres::AutoDiffCostFunction<GetPixelGrayValue, 16, 6, 3> (
                new GetPixelGrayValue ( gray_values,
                                        multi_img_rows_cols[ip * 2],
                                        multi_img_rows_cols[ip * 2 + 1],
                                        multi_img_gray_values[ip]
                )
            ),
            new ceres::HuberLoss(1.0),
            pose_position,
            point_position
       );
    }
}

这里有必要就说明的是，要判定变换后的u和v是否在图像内，如果超界了，则该组数据弃之不用。在使用Grid2D和BiCubicInterpolator后，超界后使用的值是最接近的边缘的值。这两者处理结果看似差别很大，但对结果影响很小的，几乎可以忽略不计。

下面的原来的题目：

对于相同的数据，g2o和Ceres求解执行结果如下。从截图数据显示，Ceres优化一共进行了33次迭代，用时7秒多；g2o优化一共进行了199次迭代，用时64秒左右。在这个优化题目里，两者差异非常明显。

g2o求解直接法BA执行结果截图

Ceres求解直接法BA执行结果截图