计算光学成像

邵教授专栏

/ U) c) {5 C3 `8 B' H! X前言
$ ]! d( F; e% ^2 y7 ~1 i/ E  o' f7 ?计算光学成像是下一代光电成像技术，是光电成像技术步入信息时代的必然产物，其本质是光场信息的获取和解译，是在几何光学成像的基础上有机引入物理光学信息，以信息传递为准则，通过信息获取更高维度的信息。计算光学可以理解为信息编码的光学成像方法。


  w6 D# ]: Y4 n" |" k3 RPART  1
: C, s! I7 ?, v& W" K什么是计算光学成像
, C' g! J' C% @

光电成像的本质是光场信息的获取与解译，这里的光场是指光的强度、偏振、光谱、相位等物理量在空间中的分布，与光场相机描述的那个光场不同，那是一个纯几何光学描述的强度分布信息。

传统光电成像是建立在几何光学的基础上，光场信息的获取是记录了二维的空间面上光强度分布，与人眼视觉相似，所见即所得，一般没有光场解译的过程。但是，我们应该能意识到，进入到成像系统的信息实际上多于我们所见的图像，这也就意味着有部分信息其实是可以进行解译的。

光电成像的本质是光场信息的获取与解译，这里的光场是指光的强度、偏振、光谱、相位等物理量在空间中的分布，与光场相机描述的那个光场不同，那是一个纯几何光学描述的强度分布信息。

传统光电成像是建立在几何光学的基础上，光场信息的获取是记录了二维的空间面上光强度分布，与人眼视觉相似，所见即所得，一般没有光场解译的过程。但是，我们应该能意识到，进入到成像系统的信息实际上多于我们所见的图像，这也就意味着有部分信息其实是可以进行解译的。

为什么叫计算成像？计算光学成像最早的叫法是“Computational Photography”，是由Computer Science的学者命名的，中文多翻译为“计算摄影”，包括“光场相机”，都不是光学专家提的。在这里，我们要感谢计算机信息领域的学者，他们走在光学的学者前面。随着压缩感知和计算成像技术的快速发展，更多的光学专家也开始关注在传统的光电成像中加入光学编码，然后进行解码，从而获得景深等信息，他们认为成像就是“Imaging”，所以，更多人开始接受以“Computational Imaging”替代“Computational Photography”。实际上，这是一回事。逐渐地，越来越多不同领域的科学家开始从不同的视角去看计算成像，于是，从事计算成像的人越来越多，成为了研究热点。

特别要注意，“计算成像”这个词是由Computer Science的研究人员最先提出来的，这里的“计算”不仅仅是信号处理的计算，其实我们应该理解为“编解码”（Coding/Decoding），光学的编码有很多种方式：孔径编码、波前编码、探测器编码等等，所以，计算光学成像可以理解为信息编码的光学成像方法。
, d8 s( F; O8 `5 B4 x) x

我们通常指的计算成像，其实就是计算光学成像。

PART  2

为何要发展计算成像

几何光学给我们带来了很大的便利，系统简单易用，工业化体系完备；但是，我们也看到了几何光学存在的物理限制，在测距、视觉测量等方面受限因素颇多，一般能达到的精度为10^-2至10^-3数量级，难以实现10^-5到10^-6这样数量级精度的跨越。我们知道，激光测距可以达到10^-6这样数量级的精度，原因就是在模型中进入了相位测量，属于典型的物理光学应用。

那么，如果能将物理光学引入到成像模型中，通过信息编码/解译获得超越几何光学成像的极限，这便是计算成像。我们期望计算成像技术能够突破传统光电成像的极限，通过信息赋能方式，步入信息时代。

我在很多次报告和文章中提到，光学成像朝着“更高、更远、更广、更小、更强”发展，即更高的分辨率、更远的作用距离、更广的视场、更小的光学成像体系、更强的环境适应性。具体的，可以查阅“计算成像技术与应用最新进展”和“计算成像内涵与体系”等论文，在此不赘述。

光学成像普遍存在“看不远”、“看不清”，受环境影响严重等问题；看清楚了视场又不够，要“看得远、看得清”，光学系统的体积就会变得很庞大。如何解决这些矛盾，传统成像已陷入了困境，于是，计算成像就成了21世纪光学成像领域的“那一片乌云”。

PART  3

计算成像发展过程中面临哪些问题

计算成像的初衷很好，就是将物理光学能够有机地融入到几何光学成像中，但是，随着研究的深入，我们发现：现代成像光学的理论大多是建立在线性模型的基础上，傅里叶光学、光学系统设计、傍轴光学等等无一例外都是线性模型，成像探测器是平面的，量化和采样遵循奈奎斯特定律。当我们习惯了线性模型的时候，大多数时候会认为线性模型是天经地义的，似乎不存在非线性模型这一说法。

熟悉图像处理的人都有过这样的经历，设计一种算法的时候都会用Lena、CameraMan等标准图像去实验，对比其他算法。但是，我们会发现，当把这些方法运用到实拍图像时却效果一般，甚至很差。于是，很多人都回避这样的问题，只展现出“最好”的那一组结果，证明算法的有效性。其实，导致这一结果的原因是这些标准图像都是在很大幅面的图像中选取了线性度最好的一部分，于是，这些算法应用到线性度很好的图像确实会有很好的结果，但是，应用到实拍的整幅图像中效果不佳，恰恰告诉我们：线性是一种美好的愿望，假设而已。

其实，这样的例子很多，比如在透过散射介质成像中非常有名的“光学记忆效应”，其实也是一种线性近似。

于是我们发现，我们赖以“干活”的工具原来都是线性的，也就是说现代光电成像的理论模型都是线性的，只适用于线性条件。当我们对成像提出更高要求时，线性模型无能为力了，我们干不了活了。

那么，计算光学成像在发展过程中到底面临哪些问题？

首先是计算成像的理论模型问题，其次是信息在成像过程中的传递以及对信息的度量问题，然后是光场在成像全链路中的变化过程，直至全光场信息经由探测器投影后信息如何重建。

! L! L9 y$ z9 E% N+ d; d6 G8 v

PART  4

计算成像有哪些种

维基百科对计算成像的描述是：凡是在成像过程中引入计算的都属于计算成像，从这个描述可以看出，几乎所有的光电成像都可以纳入到计算成像的范畴，甚至图像处理在广义上也可以认为是计算成像。

我们可以从很多维度上对计算成像技术进行分类，之前我在“计算成像内涵与体系”一文中对计算成像的体系做了详细的分析，从应用和成像链路两个维度做了分类。

首先，在应用维度上，我们可以从“更高、更远、更广、更小、更强”进行分类，这种分法有助于对计算成像的应用进行推广。

然后，在学术维度上，可行的方法是在光电成像的链路上进行分类：计算照明、计算介质、计算光学系统、计算探测器和计算信号处理。在这个维度上，我们很容易地从成像全链路上分析全光场发生变化的情况，从而做全局的最优化设计；也比较容易地从局部引入物理光学相关信息，突破几何光学的限制。

举一个“计算光学系统”的例子，传统光学系统是建立在几何光学的基础上的，像差和调制传递函数是约束光学系统设计的主要因素，我们所见到的高级镜头多是又重又大又贵，想缩小体积是很难的。手机摄影的发展促使着光学系统必须要做小，但传统的方法很难实现。近几年，出现了很多基于超表面、微纳光学技术的新型光学系统，超薄、超小、超轻是它们的标签，但光谱窄、透过率低、成像质量差也是它们的特点。其实，我们可以从光场信息的传递上来分析这些问题，也可以在传统光学的基础上加上新的技术进行平衡设计，达到更优化的结果。

5 X$ q* V, G5 x& `

PART  5

计算成像发展的现状怎么样

计算成像的发展很快，热度很高，新技术也层出不穷。我在“计算成像技术与应用最新进展”一文中对计算成像的发展有一些描述，具体可以参阅。

    扫码阅读“计算成像技术及应用最新进展”

从“计算成像技术与应用研讨会”和“国际计算成像技术”两个会议参会人员来看，参会的人数很多，涉及的领域也很多：散射成像、超分辨率成像、生物医学成像、光谱成像、光学系统设计、微纳光学等等。

* S  t; \  f5 G: S

那么，我们思考一下：为什么参与计算成像研究的人那么多？正如前面所述，光电成像的应用在很多领域已难以满足我们的需要了，比如：透过车窗户如何看清坐在里面的人？手机屏幕能不能因为前置摄像头的存在去掉“刘海”？手机的镜头能不能不凸出？雾霾天能不能还能看清楚？宽谱的光学合成孔径如何实现？光学成像能否像科幻电影里一样可以无限放大图像？被动成像能否高精度获得深度信息？……这些问题一直困扰着研究人员，也是促进计算成像发展的动力。于是，不同领域的研究人员就使出了“八仙过海”的神通，在各自的领域中开拓发展计算成像技术，紧接着，百花齐放的景象就出现了。这对计算成像的发展无疑是很好的促进，但是，我们也应该看到，重复研究、局限于局部视角看问题、甚至想单一技术解决所有问题的想法都已出现，因此，在这个时候需要提出计算成像的体系建设问题。“计算成像内涵与体系”一文重点讲的就是这个内容，希望能够从全局的观点看问题、以计算成像基础理论作为牵引，发展计算成像技术。

. o- d1 w' }& c; ~7 i! w

     扫码阅读“计算成像内涵与体系”

: @5 N0 B1 F! ~

PART 6

计算成像的未来是什么

那么，计算成像的未来是什么？给我们会带来哪些新的变化？

正如文首所言，计算成像是下一代的光电成像技术，是光学成像步入信息时代的必然产物，其结果是颠覆传统光电成像，突破现有成像技术的局限，实现“更高、更远、更广、更小、更强”，解决上一节提出的诸类问题。

计算光学成像本质上是下一代光电成像技术，是光电成像技术在信息时代发展的必然。我们可以做如下定义：计算光学成像在传统几何光学的基础上，有机融入了物理光学的信息，如偏振、相位、轨道角动量等物理量，以信息传递为准则，多维度获取光场信息，并结合数学和信号处理知识，深度挖掘光场信息，通过物理过程解译获取更高维度的信息。

未来，我们的光电成像将以全新的方式出现，在以传统几何光学为基础的成像中，引入了物理光学的元素，被动的光电成像系统中也将会有距离信息、方位信息，离焦、运动模糊等现象将不复存在，宽谱非相干的合成孔径成为现实，多个相机的排列可以合成大口径实现高分辨率成像，单个相机的凝视成像也能超分辨率，光电成像可以由计算实现自适应环境，抵御恶劣环境对成像的影响。同时，计算成像也是革命性的，传统成像是建立在稳定约束条件下的，而计算成像则引入了非稳态元素，这将引起传统光学制造、检测工业的革命，评价方法、测量方法、计量手段都发生了新的变化。

举个例子，超大口径的天文望远镜是非常复杂的系统工程，不仅表面面型要稳定控制，而且镜面的精度要求也非常高；加工和检测的要求极高，加工周期和成本与口径大小呈指数关系。可以想象，加工超过10m口径的望远镜，难度极高。但计算光学技术的引入，将改变这一现状，不仅对面型放松了要求，而且加工精度也放松了很多，甚至引入编码技术，可以降低对焦难度，获取更大的景深，甚至能够获得光谱的信息。

另外一个例子是手机，多种光学合成孔径技术的应用可以使得相机“越看越清楚”，克服雾霾也指日可待。偏振成像技术应用到手机中，可以直接获得“立体”视觉，可以作为“全息成像”的视频源；手机摄像也可以用于日常的光学测量，例如买房测实用面积、物体尺寸的测量等等。

我想，这应该算是在光电成像中的一次信息革命吧。

4 c; J! t8 o2 G0 B. g2 T$ ?1 G4 P
本文为作者原创，如需转载，请直接留言。
, T7 x6 y) Q8 F9 o# d1 g5 N0 v

: z3 N$ e9 ?* b; o! G. [
: G4 i$ a+ ?/ @' G

Sleep_xz

光成像在科学发展中也起到很重要的作用