17 FFmpeg滤镜
17.1 filter的分类
按照处理数据的类型,通常多媒体的filter分为: ● 音频filter ● 视频filter ● 字幕filter
另一种按照处于编解码器的位置划分: ● prefilters: used before encoding ● intrafilters: used while encoding (and are thus an integral part of a video codec) ● postfilters: used after decoding
FFmpeg中filter分为: ● source filter (只有输出) ● audio filter ● video filter ● Multimedia filter ● sink filter (只有输入) 除了source和sink filter,其他filter都至少有一个输入、至少一个输出。
17.2 视频裁剪
视频过滤器(滤镜):裁剪
ow的值可以从oh得到,反之亦然,但不能从x和y中得到,因为这些值是在ow和oh之后进行的。x的值可以从y的值中得到,反之亦然。例如,在输入框的左三、中三和右三,我们可以使用命令:
ffmpeg -i input -vf crop=iw/3:ih:0:0 output
ffmpeg -i input -vf crop=iw/3:ih:iw/3:0 output
ffmpeg -i input -vf crop=iw/3:ih:iw/3*2:0 output
练习题: (1)裁剪100x100的区域,起点为(12,34). crop=100:100:12:34 相同效果: crop=w=100:h=100:x=12:y=34
(2)裁剪中心区域,大小为100x100 crop=100:100
(3)裁剪中心区域,大小为输入视频的2/3 crop=2/3in_w:2/3in_h
(4)裁剪中心区域的正方形,高度为输入视频的高 crop=out_w=in_h crop=in_h
(5)裁剪偏移左上角100像素 crop=in_w-100:in_h-100:100:100
(6)裁剪掉左右10像素,上下20像素 crop=in_w-210:in_h-220
(7)裁剪右下角区域 crop=in_w/2:in_h/2:in_w/2:in_h/2
17.3 FFmpeg滤镜Filter内置变量
在使用Filter时,经常会用到根据时间轴进行操作的需求,在使用FFmpeg的Filter时可以使用Filter的时间相关的内置变量,下面先来了解一下这些相关的变量,见下表。
17.4 添加水印
17.4.1 文字水印
在视频中增加文字水印需要准备的条件比较多,需要有文字字库处理的相关文件,在编译FFmpeg时需要支持FreeType、FontConfig、iconv,系统中需要有相关的字库,在FFmpeg中增加纯字母水印可以使用drawtext滤镜进行支持,下面就来看一下drawtext的滤镜参数,具体见下表。
举例
(1)将文字的水印加在视频的左上角:
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':x=20:y=20"
将字体的颜色设置为绿色:
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green"
如果想调整文字水印显示的位置,调整x与y参数的数值即可。
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:x=400:y=200"
修改透明度
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:x=400:y=200:alpha=0.5"
(2)文字水印还可以增加一个框,然后给框加上背景颜色:
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:box=1:boxcolor=yellow"
至此,文字水印的基础功能已经添加完成。
(3)有些时候文字水印希望以本地时间作为水印内容,可以在drawtext滤镜中配合一些特殊用法来完成,在text中显示本地当前时间,格式为年月日时分秒的方式,
ffplay -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='%{localtime\:%Y\-%m\-%d %H-%M-%S}':fontcolor=green:box=1:boxcolor=yellow"
在使用ffmpeg转码存储到文件时需要加上-re,否则时间不对。
ffmpeg -re -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='%{localtime\:%Y\-%m\-%d %H-%M-%S}':fontcolor=green:box=1:boxcolor=yellow" out.mp4
(4)在个别场景中,需要定时显示水印,定时不显示水印,这种方式同样可以配合drawtext滤镜进行处理,使用drawtext与enable配合即可,例如每3秒钟显示一次文字水印:
ffplay -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='test':fontcolor=green:box=1:boxcolor=yellow:enable=lt(mod(t\,3)\,1)"
在使用ffmpeg转码存储到文件时需要加上-re,否则时间不对。
表达式参考:http://www.ffmpeg.org/ffmpeg-utils.html 3 Expression Evaluation lt(x, y) Return 1 if x is lesser than y, 0 otherwise. mod(x, y) Compute the remainder of division of x by y.
(5)跑马灯效果
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='helloworld':x=mod(100*t\,w):y=abs(sin(t))*h*0.7"
播放视频文件 input.mp4 并在其中添加一段动态文字,按照一定的规则设置它的位置、大小、字体和内容,并在播放时应用此滤镜效果。
这里我们使用了 -i 参数指定输入文件,并使用 -vf 参数指定视频滤镜。具体来说,我们使用 drawtext 滤镜将一段文本 helloworld 添加到视频中,并根据一定的规则设置它的位置、大小、字体和内容。其中,fontsize=100 表示字体大小为 100 pt;fontfile=FreeSerif.ttf 表示使用字体文件 FreeSerif.ttf;x=mod(100*t,w) 表示 x 坐标随时间变化,每秒钟移动 100 个像素,当超出屏幕宽度时自动循环;而 y=abs(sin(t))h0.7 则表示 y 坐标随时间变化,根据正弦函数周期性地上下浮动,并占据整个屏幕高度的 70%。最后,我们使用 text='helloworld' 参数表示要显示的文本内容为 helloworld。最终输出结果由 ffplay 进行播放。
需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。同时,对于文字内容、位置、大小和字体等参数,应该选择适合的设置,以达到最佳的效果。
修改字体透明度,修改字体颜色
ffplay -i input.mp4 -vf "drawtext=fontsize=40:fontfile=FreeSerif.ttf:text='liaoqingfu':x=mod(50*t\,w):y=abs(sin(t))*h*0.7:alpha=0.5:fontcolor=white:enable=lt(mod(t\,3)\,1)"
播放视频文件 input.mp4 并在其中的一定时间范围内添加一段动态文字,按照一定的规则设置它的位置、大小、颜色和透明度,并在播放时应用此滤镜效果。
这里我们使用了 -i 参数指定输入文件,并使用 -vf 参数指定视频滤镜。具体来说,我们使用 drawtext 滤镜将一段文本 liaoqingfu 添加到视频中,并根据一定的规则设置它的位置、大小、颜色和透明度。其中,fontsize=40 表示字体大小为 40 pt;fontfile=FreeSerif.ttf 表示使用字体文件 FreeSerif.ttf;x=mod(50*t,w) 表示 x 坐标随时间变化,每秒钟移动 50 个像素,当超出屏幕宽度时自动循环;而 y=abs(sin(t))h0.7 则表示 y 坐标随时间变化,根据正弦函数周期性地上下浮动,并占据整个屏幕高度的 70%;alpha=0.5 表示文本的透明度为 50%;fontcolor=white 表示字体颜色为白色。最后,我们使用 enable=lt(mod(t,3),1) 参数表示在指定的时间范围内(这里是每 3 秒的第一秒)显示文本。最终输出结果由 ffplay 进行播放。
需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。同时,对于文字内容、位置、大小、颜色和透明度等参数,应该选择适合的设置,以达到最佳的效果。
17.4.2 图片水印
FFmpeg除了可以向视频添加文字水印之外,还可以向视频添加图片水印、视频跑马灯等,本节将重点介绍如何为视频添加图片水印;为视频添加图片水印可以使用movie滤镜,下面就来熟悉一下movie滤镜的参数,如下表所示。
ffmpeg -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=x=10:y=10[out]" output.mp4
Ø 原始视频文件路径:input.mp4 Ø 水印图片路径:logo.png Ø 水印位置:(x,y)=(10,10)<=(left,top)距离左侧、顶部各10像素; Ø 输出文件路径:output.mp4
overlay过滤器 描述:前景窗口(第二输入)覆盖在背景窗口(第一输入)的指定位置。
语法:overlay[=x:y[[:rgb={0, 1}]] 参数 x 和 y 是可选的,默认为 0。 参数 rgb 参数也是可选的,其值为 0 或 1,默认为 0。
参数说明:
x 从左上角的水平坐标,默认值为 0
y 从左上角的垂直坐标,默认值为 0
rgb 值为 0 表示输入颜色空间不改变,默认为 0;值为 1 表示将输入的颜色空间设置为 RGB
在FFmpeg中加入图片水印有两种方式,一种是通过movie指定水印文件路径,另外一种方式是通过filter读取输入文件的流并指定为水印,这里重点介绍如何读取movie图片文件作为水印。
(1)图片logo.png将会打入到input.mp4视频中,显示在x坐标50、y坐标20的位置
ffplay -i input.mp4 -vf "movie=logo.png[logo];[in][logo]overlay=50:10[out]"
由于logo.png图片的背景色是白色,所以显示起来比较生硬,如果水印图片是透明背景的,效果会更好,下面找一张透明背景色的图片试一下:
ffplay -i input.mp4 -vf "movie=logo2.png[watermark];[in][watermark]overlay=50:10[out]"
播放视频文件 input.mp4 并将图片文件 logo2.png 设为叠加层,将其与原始视频合成,并在播放时应用此滤镜效果。
这里我们使用了 -i 参数指定输入文件,并使用 -vf 参数指定视频滤镜。具体来说,我们首先使用 movie=logo2.png 将图片文件 logo2.png 加载到内存中,并将其命名为 watermark;然后,我们使用 [in][watermark]overlay=50:10[out] 将原始视频流和 watermark 输出结果进行叠加,并设置叠加的位置为 (x=50,y=10),使水印显示在视频的左上角偏右侧。最后,我们使用 [out] 表示输出结果,并将其传递至 ffplay 进行播放。
需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。同时,对于图片文件和叠加规则,应该选择适合的参数设置,以达到最佳的叠加效果。
(2)显示位置
播放视频文件 input.mp4
并将图片文件 logo.png
设为叠加层,分别按照一定的规则将其与原始视频合成,并在播放时应用此滤镜效果:
ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=10:10[out]"
这里我们使用了 -i
参数指定输入文件,并使用 -vf
参数指定视频滤镜。具体来说,我们首先使用 movie=logo.png
将图片文件 logo.png
加载到内存中,并将其命名为 watermark
;然后,我们使用 [in][watermark]overlay=10:10[out]
将原始视频流和 watermark
输出结果进行叠加,并设置叠加的位置为左上角 (x=10,y=10)
。最后,我们使用 [out]
表示输出结果,并将其传递至 ffplay 进行播放。
ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=main_w-overlay_w-10:10[out]"
在上面的命令基础上,我们将叠加位置改为右上角 (x=main_w-overlay_w-10,y=10)
,使水印显示在视频的右上方。
ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=10:main_h-overlay_h-10[out]"
在上面的命令基础上,我们将叠加位置改为左下角 (x=10,y=main_h-overlay_h-10)
,使水印显示在视频的左下方。
ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=main_w-overlay_w-10:main_h-overlay_h-10[out]"
在上面的命令基础上,我们将叠加位置改为右下角 (x=main_w-overlay_w-10,y=main_h-overlay_h-10)
,使水印显示在视频的右下方。
需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。同时,对于图片文件和叠加规则,应该选择适合的参数设置,以达到最佳的叠加效果。
(3)跑马灯效果
播放视频文件 input.mp4
并将图片文件 logo.png
设为叠加层,根据一定的规则将其与原始视频合成,并在播放时应用此滤镜效果:
ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=x=mod(50*t\,main_w):y=abs(sin(t))*h*0.7[out]"
这里我们使用了 -i
参数指定输入文件,并使用 -vf
参数指定视频滤镜。具体来说,我们首先使用 movie=logo.png
将图片文件 logo.png
加载到内存中,并将其命名为 watermark
;然后,我们使用 [in][watermark]overlay=x=mod(50*t\,main_w):y=abs(sin(t))*h*0.7[out]
将原始视频流和 watermark
输出结果进行叠加,并根据一定的规则设置叠加位置和大小。其中,mod(50*t\,main_w)
表示 x 坐标随时间变化,每秒钟移动 50 个像素,当超出屏幕宽度时自动循环;而 abs(sin(t))*h*0.7
则表示 y 坐标随时间变化,根据正弦函数周期性地上下浮动,并占据整个屏幕高度的 70%。最后,我们使用 [out]
表示输出结果,并将其传递至 ffplay 进行播放。
需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。同时,对于图片文件和叠加规则,应该选择适合的参数设置,以达到最佳的叠加效果。
17.4.3 FFmpeg生成画中画
在使用FFmpeg处理流媒体文件时,有时需要使用画中画的效果。在FFmpeg中,可以通过overlay将多个视频流、多个多媒体采集设备、多个视频文件合并到一个界面中,生成画中画的效果。在前面的滤镜使用中,以至于以后的滤镜使用中,与视频操作相关的处理,大多数都会与overlay滤镜配合使用,尤其是用在图层处理与合并场景中,下面就来了解一下overlay的参数,具体见下表。
从参数列表中可以看到,主要参数并不多,但实际上在overlay滤镜使用中,还有很多组合的参数可以使用,可以使用一些内部变量,例如overlay图层的宽、高、坐标等。
(1)显示画中画效果
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20:shortest =1[out]"
播放视频文件 input.mp4
并将另一个视频文件 sub_320x240.mp4
设为叠加层,然后根据一定的规则将其与原始视频合成,并在播放时应用此滤镜效果:
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20[out]"
这里我们使用了 -i
参数指定输入文件,并使用 -vf
参数指定视频滤镜。具体来说,我们首先使用 movie=sub_320x240.mp4
将视频文件 sub_320x240.mp4
加载到内存中,并将其命名为 sub
;然后,我们使用 [in][sub]overlay=x=20:y=20[out]
表示将原始视频流和 sub
输出结果进行叠加,并设置叠加的位置为 (x=20,y=20)
,将输出结果命名为 out
。最后,我们使用 [out]
表示输出结果,并将其传递至 ffplay 进行播放。
在上面的命令基础上,我们添加了 eof_action=1
参数:当叠加层结束时,将停止处理,保持静止画面。可以使用这种方式避免出现不必要的错误提示。
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20:eof_action=1[out]"
- 在上面的命令基础上,我们添加了
shortest=1
参数:当输入流中的某一个结束时,滤镜将停止处理。可以使用这种方式确保视频流和音频流播放时间相等。
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20:shortest =1[out]"
需要注意的是,对于不同的视频文件和叠加规则,应该选择适合的参数设置,以达到最佳的叠加效果。
17.4.4 缩放子画面尺寸
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4,scale=640x480[sub];[in][sub]overlay=x=20:y=20[out]"
播放视频文件 input.mp4,并将另一个视频文件 sub_320x240.mp4 设为叠加层,先将其缩放为 640x480,再根据一定的规则将其与原始视频合成,并在播放时应用此滤镜效果。 这里我们使用了 -i 参数指定输入文件,并使用 -vf 参数指定视频滤镜。具体来说,我们首先使用 movie=sub_320x240.mp4 将视频文件 sub_320x240.mp4 加载到内存中,并将其命名为 sub,然后使用 scale=640x480 将其缩放为 640x480;接下来,我们使用 [in][sub]overlay=x=20:y=20[out] 表示将原始视频流和 sub 输出结果进行叠加,并设置叠加的位置为左上角 (x=20,y=20),将输出结果命名为 out。最后,我们使用 [out] 表示输出结果,并将其传递至 ffplay 进行播放。需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。
(2)跑马灯
ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[test];[in][test]overlay= x=mod(50*t\,main_w):y=abs(sin(t))*main_h*0.7[out]"
播放视频文件 input.mp4,并将另一个视频文件 sub_320x240.mp4 设为叠加层,根据一定的规则将其与原始视频合成,并在播放时应用此滤镜效果。 这里我们使用了 -i 参数指定输入文件,并使用 -vf 参数指定视频滤镜。具体来说,我们首先使用 movie=sub_320x240.mp4 将视频文件 sub_320x240.mp4 加载到内存中,并将其命名为 overlay;然后,我们对输入文件使用 [in] 表示原始视频流,并将 overlay 输出结果命名为 overlay;接下来,我们使用 overlay=x=mod(50*t,main_w):y=abs(sin(t))main_h0.7 将 overlay 与原始视频流进行叠加,并按照一定的规则设置叠加的位置和大小;最后,我们使用 [out] 表示输出结果,并将其传递至 ffplay 进行播放。需要注意的是,在应用滤镜效果时可能会消耗大量计算资源和时间,因此应该根据具体需求谨慎调整。
17.4.5 FFmpeg视频多宫格处理
视频除了画中画显示,还有一种场景为以多宫格的方式呈现出来,除了可以输入视频文件,还可以输入视频流、采集设备等。从前文中可以看出进行视频图像处理时,overlay滤镜为关键画布,可以通过FFmpeg建立一个画布,也可以使用默认的画布。如果想以多宫格的方式展现,则可以自己建立一个足够大的画布,下面就来看一下多宫格展示的例子: ffmpeg -i 1.mp4 -i 2.mp4 -i 3.mp4 -i 4.mp4 -filter_complex "nullsrc=size=640x480[base];[0:v] setpts=PTS-STARTPTS,scale=320x240[upperleft];[1:v]setpts=PTS-STARTPTS,scale=320x240[upperright];[2:v]setpts=PTS-STARTPTS, scale=320x240[lowerleft];[3:v]setpts=PTS-STARTPTS,scale=320x240[lowerright];[base][upperleft]overlay=shortest=1[tmp1];[tmp1][upperright]overlay=shortest=1:x=320[tmp2];[tmp2][lowerleft]overlay=shortest=1:y=240[tmp3];[tmp3][lowerright]overlay=shortest=1:x=320:y=240" out.mp4
1.2.3.4.mp4为文件路径,out.MP4为输出文件路径,通过nullsrc创建overlay画布,画布大小640:480,
使用[0:v][1:v][2:v][3:v]将输入的4个视频流去除,分别进行缩放处理,然后基于nullsrc生成的画布进行视频平铺,命令中自定义upperleft,upperright,lowerleft,lowerright进行不同位置平铺。
只叠加左上右上的命令:
ffmpeg -i 1.mp4 -i 2.mp4 -i 3.mp4 -i 4.mp4 -filter_complex "nullsrc=size=640x480[base];[0:v]setpts=PTS-STARTPTS,scale=320x240[upperleft];[1:v]setpts=PTS-STARTPTS,scale=320x240[upperright];[base][upperleft]overlay=shortest=1[tmp1];[tmp1][upperright]overlay=shortest=1:x=320" out2.mp4
将四个 MP4 文件 1.mp4、2.mp4、3.mp4 和 4.mp4 按照一定的规则合并,并将合并后的视频数据保存为 MP4 文件 out2.mp4。 这里我们使用了 -i 参数指定输入文件,并使用 -filter_complex 参数指定复杂滤镜图形。具体来说,我们首先使用 [0:v]setpts=PTS-STARTPTS,scale=320x240[upperleft] 对第一个输入文件进行处理,将其时间基准设置为起始时间点,并将分辨率缩放为 320x240,并将输出结果命名为 upperleft;然后,我们对第二个输入文件使用同样的方式进行处理,将分辨率缩放为 320x240 并命名为 upperright;对于第三个和第四个输入文件,我们也使用相同的方式进行处理,分别将其缩放为 320x240 并命名为 lowerleft 和 lowerright。接下来,我们使用 [upperleft][upperright]hstack[toprow] 将 upperleft 和 upperright 两个输出结果水平堆叠,并将输出结果命名为 toprow;然后,我们使用 [lowerleft][lowerright]hstack[bottomrow] 将 lowerleft 和 lowerright 两个输出结果水平堆叠,并将输出结果命名为 bottomrow;最后,我们使用 [toprow][bottomrow]vstack 将 toprow 和 bottomrow 两个输出结果垂直堆叠,得到最终的合并视频。
标签:ffmpeg,vf,overlay,--,mp4,音视频,滤镜,input,sub From: https://www.cnblogs.com/waitmoon/p/17347774.html