[贴装专题] 基于多目视觉的手眼标定

• 作者： 丶布布

一.为什么要进行手眼标定

        因为相机知道的是像素坐标，吸嘴是空间坐标系，所以手眼标定目的就是将像素坐标系的坐标和空间机械手坐标系的坐标进行相互转化。在实际控制中，相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中，然后根据机械手坐标系计算出各个电机该如何运动，从而控制机械手到达指定位置。

        根据相机的装载位置分为两种情况：eye-in-hand（相机安装在机械手上，随着机械手一起移动）和eye-to-hand（相机固定在一个地方，机械手的运动不会带着相机一起移动）。

二.手眼标定中涉及的坐标系

        手眼标定涉及到的坐标系有四个：机器人基坐标系base、法兰上的工具坐标系tool、相机坐标系camera和标定板坐标系cal；此外，涉及到了四个关键的4x4齐次转换矩阵，对于眼在手和眼在手外分别进行说明，下面是两种配置方式的坐标转换过程：

        每一种配置方式，都是两个移动的坐标系和两个静止的坐标系，并且这四个坐标系构成了一个闭环。

三.Eye-in-hand 标定原理与方法

        对于moving camera方式（相机随着吸嘴一起移动），如图所示，机械臂基础坐标系和标定板坐标系是静止的，两者之间存在一个固定的转换矩阵；法兰上的工具坐标系和相机坐标系是移动的，两者之间存在一个固定的转换矩阵；需要求的是法兰上的工具坐标系与相机坐标系之间的转换矩阵。其中，M1可以从机器人示教器或者控制读出，Mx是需要求取的未知矩阵，M2可以从拍摄照片计算出来，M3未知，但是是一个固定的转换矩阵，利用坐标转换，有如下的等式关系：Mx=M2*M3^(-1)*M1，如果我有许多个这样的等式，利用M3不变，可以构建关于Mx的方程组，解方程组，求得Mx中各个元素的值，在这个过程中我们不必去求M3具体是多少，只是利用了其固定不变这个特性而已。

四.Eye-to-hand 标定原理与方法

        对于stationary camera方式（相机静止，吸嘴移动），如下图所示，机械臂基坐标系和相机坐标系是静止的，两者之间存在一个固定的转换矩阵；法兰上的工具坐标系和标定板坐标系是移动的，两者之间存在一个固定的转换矩阵；需要求的是相机坐标系和机械臂基坐标系之间的转换矩阵。其中，M1可以从机器人示教器或者控制读出，Mx是需要求取的未知矩阵，M3可以从拍摄照片计算出来，M2未知，但是是一个固定的转换矩阵，利用坐标转换，有如下的等式关系：Mx=M1M2M3^(-1)，如果我有许多个这样的等式，利用M2不变，可以构建关于Mx的方程组，解方程组，求得Mx中各个元素的值，在这个过程中我们不必去求M2具体是多少，只是利用了其固定不变这个特性而已。