天下武功，唯快不破——超快成像技术

邵教授专栏

( n4 j. }) C4 V7 T: W' |0 n9 u

“天下武功，唯快不破！”说着，火云邪神淡定地伸手夹住射过来的弹头，一脸的轻蔑，突然使出了一招“大风起兮”，顿时乌云密布，田伯光慌忙躲闪，只是蹭破了点皮，汗还是下来了。

6 U3 _9 U( |) P5 H, K7 [& p+ u7 H' D鳌拜研究员在韦小宝部长的帮助下，联合了国内多个竞争对手申请了一个重大基金项目“非正常人类在紧急避险情况下的极限生理反应”，他一直在琢磨：“火云邪神是不是真的能抓住子弹？研究出来他是怎么做到的，这个项目就可以顺利结题了！”这时，神龙教主道：“鳌教授，你试一试我们研究院新研制的霹雳三号高速相机吧，这台相机全画幅满帧频达到了10000Hz，拍这个是小菜一碟啊。”

7 Y1 ~* s) i0 H
鳌拜顿时领悟：“来来来，火云邪神，再试一次，我们用高速相机拍一次，看看你的反应如何！预备，开始……”只听“砰”的一声，火云邪神应声倒地，血流了一地……完了，被试品“非正常人类”出事了！“怎么回事？”海大富教授慌忙去检查装置。“糟了，弹药多加了一点，天幕靶计时仪上显示的子弹速度由原先的300m/s变成了384m/s，超过了被试品火云邪神的反应极限，牺牲了！”鳌拜面无表情，冷静地说：“这个项目可以结题了，反应极限数据真实可靠，还可以报大奖啊！厚葬火云邪神吧……”这时，一股阴冷的声音像是从地缝里传出一般：“你这算什么！你有本事拍出光子啊！”
啊，是东方不败……
' C% {8 ]; n' [
# A* Q; A' y) |$ I1 u& t) n* O

一、什么是超快成像（高速摄影）？

    我们来看一看什么是超快成像。我们知道时间是光场函数中最重要的一个参数，成像本质上是某时间段内光场函数的积分，即：

越小，就意味着成像的时间分辨率越高。

1 V+ p. @* C$ ]

那么时间分辨率能有多高呢？我们大家瞬间就能够反应出一些时间单位：年、月、日、时、分、秒、毫秒（1ms=10-3s）、微秒（1μs=10-6s）、纳秒（1nm=10-9s）、皮秒（1ps=10-12s）、飞秒（1fs=10-15s）、阿秒（1as=10-18s）……注意，我们这里使用了“瞬间”这个词，它跟我们常说的“刹那”一样，也是时间单位。古代印度梵典《僧祗律》(又有资料是《倡祗律》) 有这样的记载：一刹那者为一念，二十念为一瞬，二十瞬为一弹指，二十弹指为一罗预，二十罗预为一须臾，一日一昼为三十臾。一“刹那”却只有0.018秒。


. ]# \$ W" d( L& ~; X! R9 ^: W


从字面上来看，这些冷冰冰的数字好像很难说明什么。那我们来看几个数据：光在1秒可以走3×108 m，也就30万公里，1纳秒可以走0.3 m，1皮秒可以走0.3 mm，1飞秒可以走300 nm，也就是约为紫外光的一个波长；而在1阿秒可以走0.3 nm，也就是说，即使是光刻机所用的极紫外光（波长35 nm）也远远走不到一个波长！这也就是说，阿秒是我们目前能够触及到的最小的时间单位。
0 p) y9 X1 R) w
( T' Z9 ^! Z2 G+ t7 f


/ u& A2 h" D  A' G% A6 N
那我们来看看什么是超快成像？超快成像本质上是光电成像在时间维度上高分辨率投影的体现，也就是说超快成像能够在时间维度上给出光电成像更精细颗粒度的影像表征。通常，我们会用帧频（fps或Hz）来描述超快成像的时间分辨率，帧频越高，时间分辨率就越精细。由于人眼的视觉暂留时间只有0.1-0.4秒，每秒播放25-30帧连续静态图片，人眼看起来就是“动”起来的视频，这就是电影的原理。对于高速运动的物体和瞬间变换的超快现象，人眼就无能为力了；此时，利用高速摄影技术就能依照时间顺序捕捉记录下时空变化的影像信息，能够在时间维度上精细观测图像的变化。


  m; h2 _: H- k
  _+ p$ k3 r1 l2 U+ m9 b

3 J: l# J) J' N魔术表演经常用的一种“手快”大于“眼疾”的遮眼法，比如，变扑克牌时，魔术师的手法相当快，快到用人眼观测时只会惊叹“这是怎么做到的”，而当用高速相机拍摄时，就能轻松瞧出端倪。




, G! z! O4 Y; c6 J

2 X- M( t1 O; U2 G5 `
如今，光电成像芯片的发展速度很快，连手机摄像头都换上了240 Hz以上的高速CMOS，轻松完成“慢动作”拍摄，实现你细微观察一滴乳液落进乳汁里产生优美涟漪的梦想！
$ ]0 u" R6 r8 j7 u. T

% v' ^! ~( s/ C1 f9 R8 i6 d( T- p4 h+ S
: R/ z# ?" f3 @; L. C+ ~
5 T" B* V' w% e9 x! j  x) r4 c+ y+ s对于什么样的拍摄速度才能称其为超快成像并没有严格的规定，在应用上， 帧频为1000以上的成像就可以称之为高速摄影了，而百万帧以上的就是超高速摄影。科学家挑战成像的时间极限从未停止过，万亿帧频为单位的极高速摄影已不再新鲜。接下来，我们看看超快成像的历史。
9 ~3 G, k  i, ~7 X8 d! }9 B

- A/ l& x1 C8 B) |( X$ g' Y光的折射与反射过程

7 v+ q8 z$ [" U; W4 B# n

# G% y/ {' T: N# z% A

二、超快成像的发展历程

1851年，英国化学家、语言学家及摄影先驱Henry Talbot将《伦敦时报》的一小块版面贴在一个轮子上，当轮子在暗室中快速旋转时，利用莱顿瓶1/2000秒的闪光，拍摄了几平方厘米的原版面，最终获得了清晰的图像。这是最早的高速摄影的记载，其原理是利用极短的曝光时间在胶片上记录下影像。时间到了1887年，E. Muybridge利用多个相机拍摄了马快速奔跑的过程，拍摄过程中，每个相机的快门被一些横在跑道上的线拴着，这些线在马跑过的时候就会触发对应的相机，完成拍摄。Muybridge的拍摄方式为高速摄影提供了一种直接的解决方案，即分幅相机。每幅图像均在极短的时间曝光，幅与幅之间有一定的时序关系，分幅相机的特点是能够直接成二维像。
( T: F7 e" Z9 {. b, @1 U1 q; b


# w1 F7 Z4 c' o  S: n( d3 L1 mMuybridge拍摄的马奔跑的照片


早期的分幅相机采用感光胶片作为底片，拍摄时，胶片在输片装置的作用下做间歇运动，这种相机被称作间歇式高速相机。由于曝光时需要保持像与胶片相对静止，在一定程度上限制了高速相机的拍摄速度，其拍摄频率约为102 fps。针对间歇式高速相机的缺点，研究人员引入了补偿装置进行改进，如图所示。拍摄时，胶片与反射镜固定在转鼓上，以相同的角速度旋转，反射镜将像反射到胶片上，像与胶片保持相对静止。这种相机被称为补偿式高速相机，可以将拍摄频率提高到104~105 fps。

$ U, ^" f7 m0 k# ?
) ]9 v& t. g3 w6 S  l/ ~
3 ]; M! p. \0 n/ W# e高速相机的补偿装置
5 H1 N7 o* \, F
& }- h2 V/ ?! ~7 z: `% e1 x
+ f0 }0 B; }9 d5 `8 d$ x0 ~以上分幅相机的设计思路都采用了快速移动底片的方式，对底片的机械强度和成像装置的稳定性都有很高的要求，在一定程度上限制了拍摄频率。分幅相机的另一种设计思路即转镜式高速相机，如图所示。拍摄时，底片固定不动，拍摄目标通过物镜成像在视场光阑上，再通过场镜成像到反射镜附近，得到中间像，中间像被反射后经排透镜成像到底片上。反射镜旋转时，反射光相继扫过一系列排透镜，底片上得到与排透镜数目相等的照片。该装置中，每一个排透镜及其对应的底片组成一架照相机，相互之间以一定的时间间隔依次进行曝光，由于反射镜高速旋转，使得拍摄目标的像在排透镜上一闪而过，起到了高速光学快门的作用。转镜式高速相机的成像质量较高，拍摄频率可达106~107 fps。
" B9 l4 o- g, ~" V0 `4 J


转镜式高速相机

$ _& _' H' ~/ s  ]
" c5 S; d0 C' Z  B  l$ ~中国科学院西安光学精密机械研究所——为记录核爆而诞生的研究所，研制的ZDF-20型转镜式高速相机为我国第一次原子弹试验提供了瞬变过程的重要图像资料。为了使转镜达到足够的速度，科学家采用了炸药爆炸驱动方法，在原子弹爆炸的瞬间引爆炸药，带动转镜飞转，拍下原子弹爆炸瞬间的36幅照片，速度达到20万帧/秒，成为了经典。



首次核试验使用的ZDF-20型高速摄影机及其拍摄的核爆瞬间系列火球

" n- H" f- k9 K6 T0 V; K我国首次原子弹爆炸形成的蘑菇状烟云


  C3 P# {& y' I$ \. d. o. T随着光电子技术的发展，CCD、CMOS等图像传感器逐渐替代了感光胶片，超快成像技术有了进一步的发展。近年来，随着材料的发展和半导体工艺的提升，高速芯片的发展速度也在加快，1024×1024像素@20000 fps的高速相机已经成熟量产多年，开窗后的最高帧频可达200万帧（106 fps量级），曝光时间为微秒量级，这是因为高速相机的速度受到读出数据流带宽的限制。现在还有纳秒量级的超高速相机，帧频更高。这种相机应用更加方便，只是存储是个比较大的问题，因为数据量太大，256 GB内存只能记录12秒的原始格式数据。


7 |) r6 j1 F1 I: O( C0 E为了进一步提高拍摄速度，采用分幅式设计，于是就出现了超快速分幅相机（Ultrafast Framing Camera, UFC）。
8 r3 Y/ w5 l; B$ z, |: u

. \6 V3 l- _& f- X) ~1 b基于图像传感器的分幅相机设计思路较为简单，通常利用棱镜将入射光分束，并分别成像到图像传感器上，根据设定好的时序依次抓取图像，实现分幅功能，如图所示，拍摄频率可以达到108 fps，甚至更高。由于分束器只能将入射光分为有限束，图像传感器每次依时序抓取的图像数量也是有限的，从而限制了UFC的帧率。另一方面，传感器读出图像时，需要极为精确地控制其开始的时刻和持续的时间，即CCD的时间门（timegate），以捕获瞬态事件的连续时间片段，这一过程对控制信号的质量要求很高，进一步限制了UFC的帧率。另外，它的成像速度也受电子器件的影响。这时候，条纹相机诞生了。
# j6 p3 r# |! v+ k8 ^


超快速分幅相机
" z. Y: ?  Y1 _5 D$ Q  n
2 v2 k5 S. F1 k/ g
超快速分幅相机拍摄时，需要精确操作控制图像传感器的“时间门”，每个“时间门”控制一次拍摄。连续拍摄时，需要多次操作控制信号，使“时间门”按照设定的时序排列，增加了信号处理的难度，大大限制了相机的拍摄频率。于是，为了追求极致的拍摄速度，科学家发明了条纹相机。它只需操作一次“时间门”就可以把整个动态过程都记录下来，因此拍摄频率极快，可以达到1013 fps。

# o+ T3 D; r& Q: S- A) R

( B2 U9 o9 T) e8 GCCD的时间门
% E. v: t) O$ Q8 X) F

条纹相机工作原理如图所示，光信息首先进入条纹相机最前面的狭缝，然后打到光电阴极上，产生电子，电子被加速进入到扫描板。拍摄时，时间门打开，条纹管中加载横向（上下方向）的扫描电压，该电压随时间线性变化，不同时刻，电子受到的横向电场力不同，使不同时刻的电子打在探测器屏上的位置不同，光的时间信息转换为了探测器屏上的位置信息。条纹相机采用时变电场偏转电子的方法记录光的时间信息，时间门只起到触发信号的作用，对拍摄频率无影响。条纹相机只能拍一维信息，如果拍摄二维图像，会产生空间叠加混合现象，因此条纹相机在最前端会设置狭缝。
, \. p5 u! U) [0 l0 r
) q  i' O5 U/ S. n# F* n2 j6 _
) D3 M+ N5 k9 x; E" \条纹相机的工作原理

! h* V; M% d- E9 S6 u+ q
2 |2 t$ p8 \* L4 U西安光机所是国内最早研究条纹相机的单位，目前国内做条纹相机的研究人员多与西安光机所有关。
8 U+ K9 g" v8 n) f! k
6 v0 _5 O: c) t/ Q- ?( f
为了从条纹相机获得二维图像，Lihong V. Wang（汪立宏）团队发明了压缩超快成像技术（Compressed Ultrafast Photography, CUP）。CUP原理如图所示，使用条纹相机时，把条纹相机的狭缝完全打开，对物体成二维图像。CUP拍摄场景时，先用镜头等光学器件把物体成像在DMD上，对物体的像进行编码。编码的像被DMD反射后进入条纹相机，条纹相机根据不同的时刻对编码的像做相应的偏移，最后偏移的所有图像会叠加在条纹相机的外置CCD探测器上，叠加在一起的图像通过压缩感知（Compressed Sensing, CS）理论还原出来。CUP的数学基础是CS重构算法，其基本思想是：在信号本身是稀疏的或者可以稀疏表示的前提下，设计一种观测矩阵，可以将稀疏表示的高维信号，投影到一个相对低维的空间，以便在采样的同时实现压缩。最后通过对低维空间里少数观测值求解一个非线性的最优化问题，就能以较高的概率重建出原始信息。
8 [; F3 f! C  v* h) I1 }4 r0 w( s
) Q4 r8 p/ N* D$ ^4 f4 ]. f
! A$ k! P: W+ C# c# l& S压缩超快成像的工作原理


. m4 C* P, n/ q9 ], Q压缩感知的本质是解线性方程组，针对一维信号的处理，是对悲观的奈奎斯特采样的一种挑战，是一种乐观的采样模式，能够最大概率地恢复原信号，但要求满足有限等距性质（Restricted Isometry Property, RIP）约束。图像是二维信号，这个不怕，把矩阵“拉直”变成向量；RIP的约束条件经常比较苛刻，这个嘛，也不怕，反正是看的图像，更多是视觉因素，况且人眼看有噪声甚至隐含式的图像（如测色盲的图案），有天生的“增强”模式，噪声严重一点算什么，所以，不满足RIP约束照样能恢复信号；所以，所以……我们要客观地看待压缩感知，它有用，适用条件是什么，怎么扩展应用，局限性在哪里，搞清楚最好。
. n# r$ f2 o$ K
9 s' ^# }+ n* B& }3 Q
上面所列的这些其实都属于接收式超快成像，不需要特定照明光，可以拍摄自然光照明的场景。当然，超快成像还有其他的方式，下面我们就来进一步论述超快成像的分类问题。
, t1 S: O1 g' ]/ I/ U

1 ]  P& E/ [: \. A0 [) q2 q% h

三、超快成像分类

% E: F! ^  r0 F

• 按照明方式分类
  
  : S, Z$ Y, \5 q0 q" z

从照明的角度分，超快成像技术可以分为两类：主动式照明超快成像和接收式超快成像。
7 |" Y$ n  c) [* R4 {3 f2 {( ]: \
, E: B' V+ W& l/ g6 _$ e8 Z
接收式成像不需要特定的照明光，只要动态过程发光就可以被记录，对于不发光的过程采用自然光进行照明也可以成像记录，这类成像技术需要对携带动态过程的光信息进行特殊操作来反演时间信息。上一节已经介绍，不再赘述。


# A7 L' N/ `5 t+ C, ?! }  I, e主动式照明超快成像需要特定的照明光源，这类成像技术一般是把照明光的空间、频谱或者相位信息通过计算转换为时间信息，用照明光的时间信息反演动态过程。这一类超快成像技术主要有飞秒时间分辨光学偏振测量技术（Femtosecond Time-resolved Optical Polarimetry）、全息记录光子飞行技术（Light-In-Flight by Digital Holography）、频域层析成像（Frequency Domain Tomography）和时序全光映像摄影术（Sequentially Timed All-Optical Mapping Photography）等，这些方法典型特点是利用照明光的物理特性，甚至是光与物质相互作用特性，将时间信息映射到其他物理维度。随着超快激光技术和光学材料的发展，相信科学家会发掘出越来越多类型的时间到其他物理量的映射关系方法，产生更多的主动式照明超快成像技术。不过，这种技术需要主动照明，而且受限于物理特性，应用场景受限，多在近距离场合应用。

$ G* _1 h9 Q! T7 Z& _/ H+ X

主动式照明超快成像
, ?/ {- d8 G% I- N& J
  l4 R1 E( `0 p7 j- a$ t, r1 B

• 按帧频分类
  + Q7 E8 V: v/ A4 n+ M2 M2 h
  

超快成像似乎按帧频分类更合适，但这只是一个一厢情愿的想法而已。在《东邪西毒》这部电影中，盲武士说：“听说刀快的话，能听到流血的声音。没想到，我竟然听到的是自己的血流动的声音……”那么，什么是快？

2 q' i& Q+ Y5 q1 L, G8 l( g9 E2 j5 H
) D7 U# v) R* V& c8 G3 s( w) a在超快成像中，一般1000 fps以上的帧频就认为是高速摄影了，在这个速度下，我们能够捕捉到弹丸的飞行轨迹；可是要拍摄爆炸、尤其是核爆，那就需要几十到数百万帧以上的超高速摄影技术；而要拍照到微观的急速变化，如光的传播、化学反应、光合作用等等，那就需要万亿帧频级别的极限摄影技术了。


: x  n  e4 P- a: ~& c( g& n9 W
极限摄影需求

& k; u- j6 K1 |& H* o  h
这种说法其实很牵强，更简单的是按照曝光时间来分类：毫秒量级对应的是千帧，微秒对应的是百万帧，纳秒量级对应的是十亿帧，皮秒量级对应的是万亿帧，飞秒量级的……哦，对不起，到现在还没有出现！
' C2 b9 x/ w  ^/ g5 E$ g
' L: @1 b. O/ \3 O2 @. t: _

四、超快成像存在的问题和未来

超快成像技术可以说是集材料、物理、数学、控制、机械和信息等多学科发展之大成，从材料到探测器，从光的物理特征到时间映射，从数据记录到信号恢复……这需要多学科的支撑。
7 k* c; E* [! p$ d3 C7 ?3 e& ]

, L/ W6 o  ^& [+ m  a$ G' F  J发展中的事物必然存在问题，这很正常。
5 f# j$ U- ~# J9 D: D
. |+ I; s3 a' v8 g首先，数据量“巨大”毫无疑问是超快成像要面对的一个重要问题，尽管存储器件已经很廉价了，但是数据的检索和处理依然是大问题。线阵CCD可以实现高速电荷转移，动辄几百上千K的高帧频似乎就应该用在高速摄影上，于是就出现了“立靶”这样的东东，在靶场上测量弹丸的飞行姿态，可惜，弹丸经过时只能拍摄到“一帧”静态的图像，因为是运动物体的扫描成像，于是留下了“巨”量的无效数据，处理起来非常麻烦，查找数据就是大海捞针。你知道吗，这样的装备现在还在使用！
) e. ?; k3 K" K3 h( i2 C
' ?7 A5 f/ }- A/ b  [  g

( r+ q$ ^5 L2 n0 L0 f- |靶场测量弹丸的飞行姿态
  T2 [% d. |& {& D! ^) @3 v

$ D& s7 J. e$ y  U6 l你别笑！高速相机也面临着比这更严重的问题，由于数据量“巨大”，只能采用内存储的方法，大多相机只能存储几秒到几十秒的数据，而且这些数据大部分都是冗余，有效数据寥寥无几，数据处理起来需要几个小时甚至几天，实时处理是妄想。但，光电成像装备有个好处是“观察效果直观”，百“X”不如一见嘛，所以还有很大的市场。

其次是探测器的发展问题。超快成像需要探测器具有极高的灵敏度、极快的快门控制和电荷的高速转移的性能，需要20 μm×20 μm以上尺寸的大像元，需要高速的读出电路和时序控制电路。近年来，单光子探测器发展很快，阵列型的单光子探测器也步入了应用阶段，尽管还存在很多技术难题，但是，它的高灵敏度为曝光时间、为皮秒量级甚至更高的极限速度成像提供了有效途径，也许，我们能看到飞秒量级的成像结果，超快成像将进入一个全新的阶段，我们有更多的手段去观察更细微、更高时间分辨率的变化场景，这些将有助于研究化学键的断裂、神经元信号传递、光入射到介质表面发生的变化等更加细致入微的美妙场景，揭示光与物质相互作用、脑电传导和意识形成、化学过程等现象的本质。
5 A. d/ c- \$ ]: P' M- t0 S
/ D7 i2 F& p4 F' X8 F- i/ v" t! u/ @1 ?
单光子阵列探测器
1 t/ _/ {, G+ W* @/ X4 g0 S, Q" P

最后是新的超快成像机制问题。随着新材料、新工艺和量子探测技术的发展，也随着光与物质相互作用性质的新发现，会有更多的将时间转换为其他可测物理量的方法，形成更多类型的超快成像方法；另外，随着计算成像基础理论和光场映射技术的发展，新的超快成像机制也会应运而生，这些都非常值得期待。
1 z1 ]/ u: i- g( ~5 J- X" S9 y

大科学家都有“作死”的劲头，平庸的人说那是执着。


! G3 W# S% T8 A7 E: \汪立宏教授说：“当信号通过神经元传播时，我们希望看到神经纤维有微小的扩张。如果我们有神经元网络，也许我们可以实时看到它们的通讯。”此外，他说，由于已知温度会改变相位，因此该系统“可以成像火焰前沿如何在燃烧室中扩散”。
) _' ~/ L0 r' Y
; X+ c7 x) ]( e1 ]9 @( @
9 B! Z* f# i7 I# [
! z- P1 j- ?0 N9 e( u0 U
2 U; r# v# G. _超快相机最早应用在靶场中，用于记录弹丸的爆破和飞行轨迹；随着微电子和微纳技术的发展，越来越多需要超快成像技术去发现，比如MEMS和NEMS中的微纳米结构,利用运动和内部结构及缺陷的超快成像，非常值得研究。

1 K8 I- o& ?; X9 m) r
8 n2 P, b$ l3 t9 ]' M5 k超快成像技术作为时空的显微镜，能够精准地捕捉时空奇点，揭示宇宙的奥秘，不仅可以在靶场、工业应用中广泛应用，而且在物理、生物、医学、化学、仿生等领域中都会大放光彩。
- f" u# c9 u9 h! R1 f

五、尾声

+ \, Z; g% Z0 I$ w1 C天下武功，唯快不破！其实，科研何尝不是？！有人说，现在是人工智能的天下，可是深度学习的结果给人的感觉还是幼儿园孩子的智力水平，似乎大数据也实现不了他们升到小学三四年级的水平，这意味着什么？也行，神经元传递信息和运算的模式还得依靠“超快摄影”这个利器。
/ w- u$ Y+ E* i! r( a% S. M




& V7 Q4 z4 N% @$ ~( D3 |$ }$ o东方不败最近走了霉运，被韦小宝使计囚禁在了西湖梅庄。
% ~/ f( d/ V- M4 l* e% ]  W

  I  f3 C9 _0 q$ y( g' ?“东方教主，你尽管使出葵花宝典功夫吧，我给你拍成慢动作，看看你到底厉害在哪里！林平之这小子的招式已经被我们的超快相机破解了，这小子的功夫其实只需要1000 Hz就搞定了，你这顶级高手，10000 Hz应该够了吧，不行的话，来个200万帧的……”韦小宝自从有了超快相机这个宝贝，似乎天下的绝学武功已不再神秘了。据说，他最近迷上了植物的光合作用，用CUP超快相机拍了很多数据，带了几个女弟子做大数据深度学习，准备冲诺奖呢……
& Z  s, Q: X8 t) U* ?. g( d

2 U9 |9 q) _. y0 K( o5 s! V
植物的光合作用
( A. \: K% x* t; g# M


本文为作者原创，如需转载，请留言！
- x" Q5 K. f6 N% T) X2 o

2 R7 [6 v8 n. W+ j8 j. V6 p1 x
$ U- M% ]8 M' y$ w5 T
- l1 R$ Z9 U! @" M2 Q* E7 H

hfiwioq

超快成像本质上是光电成像在时间维度上高分辨率投影的体现。