计算机视觉
图像生成
摄像机几何模型
小孔成像模型
齐次坐标：n维向量用n+1维表示
成像中心在(u0,v0)，定义此时的原点在(0,0),因此需要平移
摄影的原理就是小孔成像！
镜头成像
概念
https://blog.csdn.net/u012107143/article/details/108018280
景深 光圈：焦距：快门：ISO：
景深：在一定的像距情况下，要让物体清晰成像，必须位于一定的范围内。 这个范围叫做景深。
薄透镜模型
光照及亮度
- 照度是客观存在的量，亮度是人眼感知到的发光面的明亮程度
\(亮度 = 照度 * 反射\)
单色图像 f (·)在坐标 (x, y) 处的亮度值称做图像在该点的灰度值:Gmin ≤ g ≤ Gmax
- 灰度范围：$ \frac{x - min} {max - min} * 255$ (x为该点的灰度值
图像基本处理
采样和量化
在一幅图像上采样的点越多，像素值的范围越大，越清晰。
像素和表示
坐标变换
- 平移 旋转 缩放（尺度）
- 仿射变换、投影变换
affine 仿射 projective 投影
仿射变换：6个自由度
- 应用
几何失真校正、人脸对齐、图像拼接
颜色
- 颜色是什么
——光的反射与人眼交互作用的结果
- 人眼颜色感知
锥状细胞 柱状细胞 至关重要
- 常见的颜色空间与应用场景
https://zhuanlan.zhihu.com/p/344764456
- 解释颜色的问题
早期视觉
线性滤波
1.卷积计算（含边缘填充）
下面这个叫做离散卷积。
2.平滑滤波
滤波器：1/9[[1 1 1] [1 1 1] [1 1 1]]. box filter 类似 1/16[[1,1,1][2,2,2][3,3,4]]
缺点是不够精细，产生网格状东西，引入解决办法——高斯滤波
高斯金字塔：表示图像的尺度（不同距离看图像的样子
引入噪声：椒盐噪声 包含随机数量的黑点和白点 ； 高斯噪声 噪声的概率密度函数服从高斯分布
中值滤波 对于处理椒盐噪声性能非常优秀
3.锐化滤波
拉普拉斯滤波器：可以增强图像边缘，锐化，缺点是有点像椒盐噪声。
边缘
1.是什么
边缘是图像中亮度函数突变的地方。
2.检测边缘
卷积微分：
应用：柏松图像编辑（图像拼接）、图像增强
Canny边缘检测：
首先进行高斯滤波，计算图像的梯度，大小和方向，然后非极大值抑制，双阈值确定边缘。
图像梯度
角点 Harris角点检测
全景拼接
将不同视角的多张图像拼接成全景图像。
步骤：经过适当的坐标变化（eg 仿射变换）再进行拼接 （提取关键点+匹配关键点+拼接）
角点提取
为什么提取角点？
可以用来做全景拼接、目标识别等
如何角点检测？
角点是有角的点。
检测方法：取一块小区域，向四面八方移动，如果像素变化很大，那么就是角点；某一方向上变化大：边；否则就是平坦区域。
函数见下：
Harris角点检测
局部梯度：图像像素变化剧烈的地方 局部梯度大
特点：
尺度不协变（比如一个角变大之后，就只容易检测到边了）；平移、旋转协变；亮度局部不变
SIFT
用来提取特征用（图像分类之前需要提取特征），之前的角点检测是不够的，因为尺度不协变 变大变小可能性质也会改变。
多尺度表征
对图像的不同粒度的采样
小的可以看的细节，大的可以看到全貌，因此可以提取更全面的信息。既有局部也有整体。
高斯金字塔：每次都对当前图像进行低通滤波，得到更为模糊的新的图像。
拉普拉斯金字塔：高斯金字塔第j级-第j-1级，它可以重建高斯金字塔
尺度不变特征变换（Scale Invariant Feature Transform）
SIFT 是一种对于平移旋转尺度都鲁棒的关键点检测算法
How？
同时进行尺度选择和关键点检测
尺度空间极值检测 - 关键点定位 - 确定关键点方向 - 关键点描述子
应用：
图像分类、目标识别、图像对齐
HOG Histogram of Gradient Orientation 梯度方向直方图
- 预处理 （crop+resize）
2.计算梯度（水平和垂直方向的）
四、归一化
纹理
纹理是大量局部块的重复出现。
纹理基元
纹理中重复出现的元素。在识别物体中有重要作用。
纹理表示
（提取纹理的办法）
-
滤波
通过滤波器进行纹理提取。 -
池化（k-聚类）
不同的纹理之间差别很大。
计算流程：定义参数k，随机初始化k个聚类中心，进行最近邻划分，然后重新计算聚类中心。 -
纹理如何应用于图像填充
局部采样模型，先铺满，再把临界线再覆盖上一次，再最小化损失
可以用于图像填充、纹理合成。
高层视觉
图像分类
-
图像分类的任务
-
steps
分类方法：
k-最近邻 算法；线性模型+激活函数（例如sigmoid）；SVM
- 性能指标
