一.相机模型 坐标系
存在四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐
标系。
假设：
• 世界坐标系的坐标为Pw(Xw,Yw,Zw)，
• 对应的摄像机坐标系坐标为Po(x,y,z)，
• 对应的图像物理坐标系的坐标为P’(x’,y’)，
• 对应的图像像素坐标系的坐标为p(u,v)。
1.世界坐标系：是客观三维世界的绝对坐标系，也称客观坐标系。就是物体在真实世界中的坐标。世界坐标系是随着物体的大小和位置变化的，单位是长度单位。
2.相机坐标系：以相机的光心为坐标系的原点，以平行于图像的x和y方向为x轴和y轴， z轴和光轴平行， x，y， z互相垂直，单位是长度单位。
3.图像物理坐标系：以主光轴和图像平面交点为坐标原点， x’和y’方向如图所示，单位是长度单位。
4.图像像素坐标系：以图像的顶点为坐标原点， u和v方向平行于x’和y’方向， 单位是以像素计。
5、世界坐标系到摄像机坐标系
这两个坐标系之间除了旋转矩阵R，还存在平移矩阵t。其关系可表示为：
R与t，是相机在世界坐标系下的外参，X、Y、Z是物理世界点在世界坐标系的坐标点。
6.摄像机坐标系到图像物理坐标系
相似三角形：注意下面的X^，Y^单位是mm
7.物理坐标系到像素坐标系
u=x*1/k+u0= f*(XC/ZC)*1/K+u0; fx=f*1/K;
v=y*1/k+v0=f*(YC/ZC)*1/K+v0; fy=f*1/K; fx，fy，u0,v0 就是相机内参。
k表示一个像素的物理尺寸，单位piexl/mm;
7、 镜头畸变
Pw(Xw,Yw,Zw) 经历外参转换，到投影至胶片上为u，v为成像点。但真实的成像点并不是u，v，而是u^,v^,因为镜头存在畸变
透镜由于制造精度以及组装工艺的偏差会引入畸变，导致原始图像的失真。
镜头的畸变分为径向畸变和切向畸变两类
镜头的畸变分为径向畸变和切向畸变两类
r表示半径
径向畸变：沿半径方向的畸变
由透镜的形状引起的畸变称为径向畸变。表现形式为：枕形畸变，桶形畸变
切向畸变：沿切线方向形成的畸变
切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的。这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致，较少见，一般都是机器安装的，很少出问题。
• 径向畸变和切向畸变模型中一共有5个畸变参数，在Opencv中他们被排列成一个5*1的矩阵，依次包含k1、k2、 p1、 p2、 k3，经常被定义为Mat矩阵的形式，如Mat distCoeffs=Mat（1,5， CV_32FC1， Scalar::all（0））；
• 这5个参数就是相机标定中需要确定的相机的5个畸变系数。
• 求得这5个参数后，就可以校正由于镜头畸变引起的图像的变形失真。这些参数在相机生产出来后就确定了，是可以得到的，在日常应用中一般都是在相机标定中给定的。
相机标定有哪些具体解决的问题？
1.标定出fx，fy 时错误;
2.cx，cy与理论值相差较大;
3.如何去畸变，去畸变保留更大的视场角？
4.鱼眼相机如何标定内参与畸变参数；
5.外参标定：多相机，相机与lider，相机与imu，相机与毫米波雷达，双目相机，结构光相机；
6.模拟相机怎么让虚拟场景用虚拟相机拍摄输出图像呢?
7.在线标定；
8.售后和出厂量产标定；
9.高精度标定；
10.时间同步。
11.温漂
12.圆点标定板与棋盘格标定板，Tag码标定板
13.量产内参标定
14.标定异常检测
15.使用过程中标定参数不在适用了，怎样检测以及怎样处理
有同伴能把上面的问题补齐吗? 我对问题7,15还没有很好的解决方案。
标签：标定,像素,相机,畸变,图像,坐标系 From： https://blog.csdn.net/weixin_41150257/article/details/143455489