用全志A40i开发板玩转FFmpeg

罗罗诺亚

1. FFmpeg的安装

FFmpeg是用来记录、转换数字音频、视频的开源软件，它支持文件和网络流操作。它支持以函数库的方式使用，所以有很多软件都依赖它，比如VLC、暴风影音、腾讯会议等。它的命令行程序也非常强大，各种命令行选项学起来虽然困难，但是几乎能够满足日常对音视频的各种处理需求。今天我们就通过飞凌嵌入式OKA40i-C开发板保定飞凌嵌入式技术有限公司来介绍它的命令行工作方式。

FFmpeg提供了全部源代码，所以在网上可以找到很多教程是关于交叉编译ARM版本的。我们测试的版本使用的是FFmpeg-release-armel-static.tar.xz。解压缩以后拷贝到飞凌嵌入式OKA40i-C开发板上并设置好权限就可以使用了。

: s3 W0 H2 @+ S# @; j$ x

2. USB摄像头测试

OKA40i-C开发板接口丰富，它支持USB摄像头、CMOS-OV5640摄像头、模拟摄像头。把USB摄像头插入开发板，然后使用

• 
  

v4l2-ctl --list-devices
6 \2 W% W7 ^+ ~0 L$ ]9 a4 J

可以看到/dev/video0就是我们的USB摄像头，如下图。

使用下面的命令可以看到该摄像头的全部参数：

• 
  

v4l2-ctl -d  /dev/video0 --all

• 
  / Q" e: R; o7 A' z, i

• 
  3 W* b$ a0 k, w7 F
  
  & G' I* ?5 Y' ^: o
  ) [: A8 ~! \& m' K5 U
• 
  . R# b4 ~* X8 B1 b$ R
  Driver Info (not using libv4l2):
  
  / z& s& F& i  r- J: |5 [$ e, K( m
• 
  
  ) n/ f3 @' Q1 O+ {      Driver name   : uvcvideo
  
  
• 
  
        Card type     : USB2.0 PC CAMERA
  
  5 r: O3 A" N5 T) O* ]
• 
  
        Bus info      : usb-sunxi-ehci-1
  
  / F0 k6 D# [, w" H# t' N
• 
  % P0 m2 Q+ f  O; m
        Driver version      : 3.10.65
  
  
• 
  
        Capabilities      : 0x04000001
  
  / L% b# s7 L8 }" i
• 
  / o2 ^# N3 h" f- E* H8 t" Y  m
                Video Capture
  
  : h. h6 u- U, ^+ T- J2 a, I
• 
  
  - `! c6 F3 o$ S: q0 D$ s; `& Z' ]              Streaming
  
  
• 
  : @, v% P& @5 m7 K$ R& \$ A
  Video input : 0 (Camera 1: ok)
  1 \# L. y- `' j8 p4 E1 e
  
• 
  , Z, e3 }6 G0 o: V4 ^6 e
  Format Video Capture:
  0 c1 d& K, }* ]; m; C' H
  
• 
  
        Width/Height    : 640/480
  
  & |  c' w7 r" R% I( h8 H/ e! ^
• 
  
  4 q7 a, |" b2 T8 n$ A4 Y      Pixel Format    : 'YUYV'
  
  2 I; ~1 }+ I: ^
• 
  
  8 J, `7 t) i) @  E+ c6 j' P8 x/ s      Field      : None
  8 p, y& ~  o5 ?; \+ M* D
  ( U2 b' I- |9 R( c; B/ r
• 
  4 Y9 x: Q. G5 H5 q
  8 R7 C, Q3 O$ T1 O. R$ p- m* H      Bytes per Line      : 1280
  
  6 N1 i4 B7 u% Y' d
• 
  
  / i8 s$ s1 I# X- ?" w- u6 b      Size Image      : 614400
  * d0 d' s3 D$ [4 h) r& {
  
• 
  
        Colorspace      : Default
  
  
• 
  
  2 @0 b* s( z5 ?/ Z      Transfer Function     : Default
  
  7 U( d7 G& E3 o1 }( ?4 M" D
• 
  7 m' \, W) X1 U( J
  2 J/ U$ x0 p5 a0 `! T6 N      YCbCr Encoding      : Default
  : s% b) ?8 a, S1 s) o
  
• 
  
        Quantization      : Default
  * v( i* @4 d( l) a( X
  * C: U3 J* Q7 \6 s; A  @# Y" \
• 
  
  , D- T, V0 m7 bCrop Capability Video Capture:
  
  
• 
  
  : W$ r, u' O* i& H+ X      Bounds     : Left 0, Top 0, Width 640, Height 480
  3 L2 ^' K2 n" V8 f; K4 P' _4 s
  
• 
  
  $ ]/ o& a; {% y. Y. f0 R      Default    : Left 0, Top 0, Width 640, Height 480
  ( R  [- N( O' E9 z  f/ o) x
  
• 
  
        Pixel Aspect: 1/1
  
  
• 
  
  Streaming Parameters VideoCapture:
  8 x8 Z. K# ?/ N/ b6 B8 }2 o/ k
  0 C/ ?, m7 U' c% u0 g
• 
  $ F7 R& o5 x3 @% k5 n! c
  " F+ F  J6 F  {' O* o, E- n      Capabilities    : timepeRFrame
  
  
• 
  
        Frames per second: 30.000 (30/1)
  # B$ D) S9 ~7 w
  
• 
  
        Read buffers     : 0               
  5 o2 o* I) t8 ?, G7 |3 A3 K
  & @: \+ M4 C6 w3 G9 w
• 
  ( k3 H0 a, j. v" [
  brightness (int)    : min=0 max=255 step=1 default=128value=128               
  
  / K6 ~' g: |( h, i7 m. J' p. f9 H4 V
• 
  8 y$ R) o$ j$ o$ o
     contrast (int)    : min=0 max=255 step=1 default=135value=135                 
  $ `1 W3 D5 {" _- n) Q# x8 w% W
  
• 
  # \) b  Z( e% t
  * l. R$ c0 Z: ~" V7 u saturation (int)    : min=0 max=255 step=1 default=75 value=75                 
  
  
• 
  ; R1 L' r) K3 N
          hue (int)    : min=-127 max=127 step=1 default=0 value=0               
  
  
• 
  ! t/ a" D0 I# d1 Q
  : o% T9 b8 B1 c8 k% j      gamma (int)    : min=1 max=8 step=1 default=4 value=4        
  
  + F" J7 `! a9 s. i2 h, V+ ?7 N
• 
  9 b) S! z' {; o. Y7 p+ p" L9 O
  5 ?* v$ d  G( t7 ]3 D  K7 \: ^6 S1 [power_line_frequency (menu)   : min=0 max=2 default=1 value=1                 
  % r1 S* M$ w9 _) }. H  Y
  ! r" t* Y" u3 H5 C/ a8 [
• 
  
  0 g, n% ^, }: w7 K9 l  |" z. ?sharpness (int)    : min=0 max=15 step=1 default=5 value=5
  
  
• 
  6 v7 f% U; h) c3 ^8 x! \
  backlight_compensation (int)    : min=1 max=5 step=1 default=1 value=1
  ; u, D. S; e+ J" @5 T
  
  

我们使用了两种型号的USB摄像头，按照手册说明使用内置的uvccamera程序进行测试，不过都没有成功，得到的错误信息如下图所示。

我们使用FFmpeg可以抓取视频，命令行如下：

• 
  " K" O- i, v5 B

ffmpeg -f video4linux2 -s 640x480 -pix_fmt yuyv422 -i /dev/video0 out.yuv

使用Windows版本的ffplay可以正常播放抓取的视频，命令行如下：

• 
  

ffplay -s 640x480 -pix_fmt yuyv422 out.yuv

上面保存的是YUV格式的原始视频，如果要保存压缩视频，可以用下面的命令行：

• 
  

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 out3.mp4-timestamps bs
+ @+ H3 C- F" P' q  _! j9 v

其中的-r 25表示每秒采样25帧，这个参数必须有，否则FFmpeg可能会不断地采集并压缩同一视频帧。-r参数超过30没有什么意义，因为USB摄像头的最大能力就是30fps。

( l) f% U0 P; V* B

飞凌嵌入式OKA40i-C开发板可以对于1080P的视频压缩达到45fps，所以对USB摄像头的视频压缩应该没有什么压力。

3. FFmpeg性能测试

FFmpeg有个benchmark参数可以方便进行性能测试。我们对A40i开发板自带的一个MP4视频就行解码测试，命令行如下：

• 
  

ffmpeg-benchmark -i translate.mp4 -f null –
$ d8 R8 R4 H* H; C. K8 c, S' a6 i

得到的测试数据如下：

• 
  
  video:
  
  
• 
  
  # }$ B8 G, }" ^1 H! C, y148kB
  
  
• 
  % f# Z' P  ^. f: d! q) {8 y# t
  audio:
  % j: ^5 ]1 H$ k. c2 z' d$ R) W
  ; z( |( c" S7 [5 j5 U! t4 A, t4 _8 P
• 
  5 o; D; {- K% _! u3 H, y
  ; O& C0 e3 l; x- P7 P6 m+ \. c3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  
  
• 
  
  ' C- t7 q3 v& g' Foverhead:
  ( x! o5 J, t4 o+ w# ^5 a* S
  7 R) |, K; p9 O" F7 J5 A( ?
• 
    P6 f: x, `2 i& U5 B4 Z
  % p' J5 X0 U# C+ R2 k" Cunknown
  ( r6 \% z4 U  G- Q4 S% z
  
• 
  0 m$ Z+ V1 [/ `, v5 h% j$ F( L
    X- x! g8 Y3 M0 obench:
  
  
• 
  8 q4 Y, z8 x9 N7 m; f
  7 F: \! M. p, G4 L. T* Y) T% Xutime=2.820s stime=0.110s rtime=0.956s
  
  
• 
  & H5 f3 \9 _0 {$ v# {7 X4 j* c
  - m" U/ V# D* i. Mbench:
  " H! e1 m" E+ [
  , [/ H" `! b, L3 w5 a2 a
• 
  ' _/ g: L' T. f- _# c% h6 Y. ]! n
  maxrss=14208kB
  & F6 @. m- d3 v: g
  
  ! |  U/ W+ n. V5 e0 K3 a) C

由于我手上暂时没有其他的开发板可以对比，于是就通过我用了5年的i7-6500笔记本测试了一下，测试结果如下：

• 
  # @5 l, [" W) ]+ J
  video:
  ( ^4 s. e' Z3 j% V
  
• 
  
  8 A; q5 s: T' w3 i: [241kB
  
  
• 
  
  $ X) r7 u8 x3 C; |audio:
  ' q5 t1 {3 k) C6 x# ]
  
• 
  
  3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  
  5 ]% R" u1 `" U* j$ V7 Z; I' d3 l
• 
  # o! J. N: c5 S: s: V) G/ B
  overhead:
  
  / l+ {0 o9 E$ k# O$ X& \4 @2 ~
• 
  
  , m$ P  D( d7 tunknown
  
  5 U5 B* d1 s- C3 b. N3 P
• 
  6 p6 j8 d7 c: _5 p, w+ |
  bench:
  
  ) m) E. |! c8 V, W
• 
  
  utime=0.391s stime=0.000s rtime=0.228s
  
  8 E, n  y7 b# c+ c
• 
  
  bench:
  
  
• 
  ! K3 b6 L9 Z2 D& ]- c
  5 ]$ c; B5 f# S$ Zmaxrss=20316kB
  
  
  7 k1 I  y& M# Q% U: D

% T; ]9 f) x% E) G9 M3 t

4.  FFmpeg产生实时视频流

FFmpeg可以支持实时视频流的发送和接收，从而可以把OKA40i-C开发板上的视频实时发送到PC上，由PC上的软件实时接收并显示。我们可以使用下面的命令将OKA40i-C开发板上的一个MP4转换为RTP码流发送的PC上：

• 
  

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234

使用Wireshark可以看到在PC机的1234端口收到大量来自OKA40i-C开发板的H.264视频流。

6 a  V1 a0 D% q& U
) `$ E  p5 x, H# v. w- h5 n

如果想在PC上显示视频流，需要建立一个SDP文件，它描述视频流中的端口和编码信息。

SDP是来自SIP标准中定义，目前VLC、Apple QuickTime和ffplay等很多软件都可以打开SDP文件，并按照SDP中的描述显示视频流。SDP文件并不需要手工编写，在ffmpeg运行时它会显示命令行所对应的SDP定义，如下图所示。

也可以用重定向将输出写入一个SDP文件，如：

• 
  

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234 > rtp.sdp
/ u7 W0 v. i  L, l; x. W

下面就是使用VLC显示的接收到的视频流。

5 [! U( Y9 I- R% E6 n) m
$ g  ?5 A, T# ?" b* L) R* ~

5.  FFmpeg转发USB摄像头的视频流

前面演示了将MP4文件转换为视频流，我们也可以将USB摄像头采集的内容实时转发到PC上，使用下面的命令行即可。

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 -f rtprtp://192.168.0.105:1234 > usb.sdp

somethingabc

步骤很详细，小白式操作