一、光流
光流是图像序列中像素的表观运动。为了估计光流，场景中物体的移动必须具有相应的亮度位移。这意味着一个图像中移动的红球在下一个图像中应该具有相同的亮度和颜色，这使我们能够确定它以像素为单位移动了多少。下图显示了光流示例，其中一系列图像捕获了逆时针旋转的吊扇。
最右边的彩色图像包含从第 1 帧到第 2 帧每个像素的表观运动，它经过颜色编码，不同的颜色表示像素运动的不同水平和垂直方向。这是密集光流估计的示例。
密集光流的估计为每个像素分配一个 2D 流向量，描述其在一段时间内的水平和垂直位移。在稀疏光流中，该向量仅分配给与强特征（例如角和边缘）相对应的像素。为了得到流向量，像素在时间 t 时的强度必须与在时间 时的强度相同，这称为亮度一致性假设。时间t位置
处的图像强度或亮度由
给出。让我们用下图中已知像素位移的示例来形象化这一点，其中