光学系统设计，何去何从？

邵教授专栏

生活在信息时代的我们，有一天突然发现：原来中世纪（公元5世纪到15世纪中期）时，人类就开始磨镜片了，现在的光学系统设计理论也有100多年的历史了。不知不觉间，智能手机盛行、视频监控普及、基于机器视觉的无人化装配广泛应用、自动驾驶日趋成熟，成像中最重要的那个镜头，也就是光学系统，将会变成什么样？电子芯片早就进入摩尔时代，光学系统却依然缺少集成化设计的理论，光学系统设计将何去何从？
7 r9 G) s3 D. ~% ?' f/ K

1

1.熟悉的光学镜头

镜头作为成像中最重要的光学系统，扮演着汇聚能量、决定视场的角色。镜头的形态有很多种：透射式、反射式、折反混合式；有玻璃的、塑料的，还有金属的。在成像中我们都称之为光学系统，既然是系统，其构成就一定不简单。

8 G1 w  D) U1 i; m" k0 f9 t

   

先看看最普通的摄影镜头。一般人首先关注镜头的焦距、光圈，然后摸摸口袋，发现银子不足，好的镜头太贵了！我们从专业的角度来看，焦距决定成像的视场，光圈决定景深和通光量，也决定价格，因为我们发现，这种镜头中往往会使用消色差玻璃，甚至有昂贵的萤石。当然，专业的摄影师还会看MTF曲线，那种一直平平的MTF曲线都是拿银子堆起来的，对摄影来讲，虽然性价比很低，但有人喜欢。摄影镜头通常由几片透镜组成，自动对焦的镜头又加上了电动马达，使得镜头又重又笨。慢慢地，我们发现，更多人喜欢用手机拍照——简单、方便、处理快、美颜效果好，甚至很多半专业的摄影爱好者开始喜欢用手机。这很残酷、很现实、也很悲哀（对那些沉寂的相机而言）。   
2 C8 g( I+ C3 W' d   
1 H" p8 a/ @* {# E3 j: v8 I$ Q
4 ^# k+ \+ g: R, M" H# T8 _; t为何手机摄影这样流行？手机摄影能不能比拟经典的单反相机？光学系统发生的变化有哪些？


   

$ y4 P+ m+ S+ x' _1 |3 w# }
! {% }0 w) V: x2 {% s& ?4 ]% l手机摄像头是用树脂压制而成，成像质量与玻璃相比存在一定的差距，但手机战胜了数码相机，尤其是消费数码相机，以前流行的口袋机几乎灭绝了。看苹果、华为、小米、OPPO等产品发布会便知，现在的智能手机全部是计算光学成像的。
# ]" R% {- C& ]% V$ E
  @9 n3 y3 D5 ^
   
! q' F, U- i& _- ^+ a
" U' ~7 }* b) n4 \' z" z( a
手机制造商也有烦恼——手机前置“刘海”、后置的“浴霸”，无穷无尽的奢华要求——超越或比拟单反、更长的焦距去拍月亮。我们知道，单反相机与手机比，成像质量胜在“大底”、大像元的探测器和高品质的光学镜头。手机的像元尺寸只有1 μm左右，且树脂压制的光学镜头品质上难敌玻璃镜头。但是，这些丝毫不影响在手机上做计算光学成像，而计算光学成像恰恰是手机摄影胜过单反的原因之一。目前，几乎所有手机摄像头的CMOS探测器尺寸都在1英寸以下，甚至有1/3英寸规格的，像元尺寸小，噪点严重，光线好的时候拍照效果还好，一旦光线不足，像质就会变差。这时，就需要大尺寸的CMOS芯片，随之而来的问题是：原先潜望式的手机镜头可以将小尺寸CMOS垂直手机面板放置，从而解决长焦距镜头尺寸大的问题；现在1英寸的探测器无法垂直放置，如果与手机平板平行放置，则光学系统无法做小，除非采用可伸缩的方式，但可伸缩方式会带来制造困难和可靠性下降的问题。该怎么办？


            
    潜望式手机镜头


再看超大光学“镜头”——天文望远镜。超高的成像分辨率、庞大的体积、昂贵的成本、太长太长的加工周期以及受外界干扰影响大，这都是它的特点。中科院长春光机所已做出最大口径为4 m的单体反射镜，“为了保证成像质量，光学系统对反射镜的面型精度有着苛刻的要求：优于20 nm。”长光所张学军副所长比喻，“就像对北京市的土地进行平整，要求平整度误差小于1 mm。”可想而知，这个难度有多大！传统的大口径望远镜在制造成本、加工周期等方面都与口径尺寸成指数关系。我们还可以从另外一个例子来看这个问题，就是著名的James Webb太空望远镜项目，用一个6.5 m口径的拼接可展开望远镜替代哈勃望远镜。项目于1996年启动，当时的预算是5亿美元，计划2007年发射。结果想必大家都知道，这个著名的“鸽王”项目 从1996年开始研发至2021年12月25日发射，历时25年，预算追加到了97亿美元。

) L, T6 [- ^) \' p0 J. R9 _; o* a
  
& n* q4 u8 L; Q! W9 {: ?: z& g/ {
; S9 |# q5 V, G0 q
那么，我们到底能否制造出50 m甚至100 m、200 m口径的望远镜？传统光学是不是走到了瓶颈？逆流而上，才是科学家的追求！

2

2.球面、非球面、自由曲面到超透镜

目前，传统光学系统仍然源于中世纪的玻璃透镜，除了加工精度提升之外，并没有本质的改变，也就是物理基础没有变。所以，我们至今没有办法大幅缩小光学相机、显微镜、望远镜和其他光学设备中使用的镜头的尺寸。
光学系统设计的核心理论是费马原理：光沿着极值光程的路径传播。理想的光学系统能够把光线会聚成一个与物共轭的像。我们知道，透镜材料的折射率是波长的函数，导致产生色差；而实际光线（非近轴光线）会产生球差、慧差、像散、场曲和畸变。其实，这就告诉我们：成像本身是一个非线性的过程。为了减小像差，可以组合多片不同折射率的透镜，以降低成像视场中不同波长的光波在各个位置的光程误差。然而，这种办法使透镜变得很复杂。 光学系统设计问题在数学上可以这样理解：一个镜子的每个面各自可以用一个解析式和几个参数描述，光学系统设计其实是一个解方程组的过程。当方程组中自变量个数较少时，往往得到比较差的结果，意味着像差比较明显。最好的解决办法是引入更多的自变量，即添加镜片或增加参数个数，再做最优化处理。   



- N6 h+ |7 C! V9 {
最常见的光学系统多为球面的，因为球面镜头在加工和检测工艺方面都很成熟，很容易进行品质控制。但是，球面在数学上函数形式过于简单，在进行像差控制时，往往会增加更多镜片，使得系统过于复杂、重量和体积难以控制。于是，就出现了非球面光学系统设计，一般分为二次非球面和高次非球面两大类。非球面透镜的优势是曲率半径随着中心轴而变化，用以改进光学品质，减少光学元件，降低设计成本。

  t3 M# _, o: k3 s% t' F1 S                 
0 c! G# ?  Q" o- t1 g           自由曲面镜头在手机上的应用

再后来，科学家发现自由曲面会给光学系统设计带来更大的设计自由度，能进一步减少光学元件的数量，减小体积和重量，降低成本。此处声明一下：自由曲面当然也属于非球面，但其在加工和检测方面的难度比一般非球面大很多，经常存在能设计、可是无法加工和检测的问题。 我们能够很清晰地看到，无论是球面还是非球面、自由曲面，其实都是在现代光学系统设计的这座大厦上做了非常好的完善，有力地支撑传统光学成像在各行各业的应用。生活上的贪婪和欲望，也许使人陷入不拔深渊，而在科学研究方面的“贪婪和欲望”，却能促使新技术革命，带来广阔的新天地。当人们不满足传统光学“大而笨”的现状时，科学家们便拉开了“轻薄”透镜时代的帷幕。“轻薄”光学系统设计主要有两条路线：衍射光学元件（DOE）和超透镜
6 s4 ~- n: J  ?$ X+ f1 K（Metalens），都避不开光的光谱和相干特性。   

   
6 I+ d" M0 j+ `% m3 Q
光学成像与雷达成像两点很大的不同是宽谱和非相干，大多数情况下的光学成像是宽谱的非相干光，而雷达多为相干的窄带电磁波。无论衍射光学元件还是基于微纳光学的超透镜，窄带光谱特性决定了色差是一道很难过的坎。从衍射光学元件讲起。DOE多用于非成像光学，可以通过DOE进行激光整形，将高斯光束变为平顶光束，也可以产生更为复杂的光分布。DOE具有的平面化、轻薄、轴外像差小等特性，有望实现平面成像系统设计，但由于衍射元件内在的强色差特性，一直以来被认为难以应用于全光谱成像。尽管近年来研究者们实现了消色差衍射元件，但尚未认知到什么样的衍射光学元件光学传递函数最适合计算成像系统，所以，设计的衍射成像系统的性能难以达到最优，算法恢复后的图像仍存在明显鬼影和细节模糊的现象。2020年，这个问题有了新进展，美国斯坦福大学计算实验室与同济大学的顿雄博士等人首次实现了端到端设计、大口径、多消色差波长的全光谱计算成像用衍射光学元件，并得到了较好的实际成像结果。再来讲超透镜的发展。超表面（MetasuRFace）是一种厚度小于波长的超薄人工结构，可实现对电磁波偏振、振幅、相位、传播模式等特性的灵活有效调控，是一种基于超表面的衍射型透镜。自然界里不存在这种超构材料。      
" E3 s. P  r0 R6 q; D4 e, S; C' C
                                                                  
Capasso团队设计的超透镜及成像结果

2016年，美国哈佛大学Federico Capasso教授经过多年的努力，展示了首个在可见光范围内有效工作的超透镜，覆盖了从红色到蓝色的整个光谱。这是第一个可聚焦整个可见光光谱的透镜，因为它是平面、超薄的，所以一般不会产生色差。但因为超表面也属于衍射型透镜，宽光谱的问题是避免不了的。时间到了2021年年底，美国普林斯顿大学Heide等人使用人工智能算法设计超表面实现在微纳透镜成像系统的设计，该相机拥有全色（400-700 nm）覆盖、40°宽视场成像，以及F2.0光圈。同时，它是世界上第一个实现高质量、宽视场彩色成像的超表面光学成像器。可以说，是它带来了新的曙光。     
' X+ F) p  X; S$ [
% n' \- z0 B* l' V                                 
0 l$ w' p2 ]2 z    普林斯顿大学Heide等设计的微纳透镜及成像结果

我们总结一下超透镜。首先成本是一个主要挑战，其次是在厘米级芯片上精确对准纳米级元件的制造难度很高，超透镜还面临着衍射光学元件的技术挑战，不能像传统透镜那样高效地传输光，这是全彩色成像等应用的一个重要缺陷。超透镜尺寸一般是微米级的，无法捕捉大量光线，透光效率比较低，这就意味着，距离能够生成高质量图像的超透镜还有很长的路要走。尽管存在不少挑战，但超透镜的发展势头不可小觑，成本和尺寸都是短暂的问题，性能提升、更小尺寸和重量，有可能成为潜在的“游戏规则改变者”。我们也应该看到，这种技术将来很有可能集成在探测器上，使得光学成像系统越来越小，越来越强。

3

3.极简光学系统设计

单透镜的成像质量很差，在实际成像应用中几乎到不到单透镜的踪影。尽管研究单透镜成像的人很多，但效果都不好。直到2021年7月，南京理工大学、苏州市立医院、浙江大学、苏州大学和中科院长春光机所的研究人员提出了一种基于智能手机的便携式相衬显微成像方法。通过光学设计和深度学习设计了单透镜物镜的深度学习便携式智能手机显微成像装置。

这里，我们思考一下，为何那么多人研究单透镜成像而效果不显著呢？其实，细想一下，大多数研究单透镜成像的方法还是依赖于点扩散函数（PSF），而PSF是建立在线性模型的基础上的。深度学习则不然，它给出了一个非线性的隐式的模型，只是这个模型是个“黑匣子”。这再次验证了非线性模型才是计算光学成像的根本。

4 W- y" ]& ~$ M; \8 v

      

继续开拓思路，看一个极端的例子：一堵墙可不可以像光学镜头一样成像？答案现在很清楚了，可以。典型的是主动照明的非视域成像，最早DARPA支持的REVEAL项目。其实被动模式也是可以的，2018年我们实验室里就做出了被动散射成像的结果，其本质就是获取光场、解译光场的过程。这些都给了我们很多启示：可以利用光场做很多事情，那么，在光学系统里做光场调制，就很容易理解了。

     

3 B- u$ b. P  ?& n) s
我在2018年就开始考虑光学的SWaP（Size, Weight and Power）成像,先后在中电53所、南开大学等做过多次报告。2019年第三次“计算成像技术与应用”研讨会上，我做了“极简光学成像初探”的报告。这期间，时任西安电子科技大学党委书记、校长的郑晓静院士也提出了“觅音”计划，就是寻找earth mate——我们向往的那个宜居星球，其中最关键的就是要实现200 m以上超大口径的望远镜，当然可以用合成孔径的办法，但依然很难，后续的文章里我会详细论述。   这前前后后我做了很多次报告，与我的学生苏云也讨论了很多。我把这些报告总结出以下几点：1、传统的点扩散函数描述的线性成像模型已不适用，需要建立计算光学成像的非线性模型；2、极简光学系统设计实际上是在单透镜（单体反射镜）的基础上，降低光学的精度约束，甚至可以将非理想的镜面作为成像的编码，获取光场信息后通过光场解译的方式重建出高品质的图像；3、设计计算探测器，一个能够接收多维度物理量光场的探测器。这其实一直是计算光学的核心内容，就是多物理量光场的非线性分布、获取和解译，光学系统设计的本质其实就是获取我们需要的光场信息。
8 [  y& x% e* m% H. A

4

4.计算光学系统设计

首先，我们定义一下计算光学系统：一个以信息为传递的光学系统，除了要汇聚能量之外，还要以光场调制的方式保障足够的信息通量，是一个非线性的传递模型。这也意味着调制传递函数（MTF）等此类线性模型已不再适用于计算光学系统，需要建立新的评价体系。
* |9 ]5 M  O3 D6 X那么，计算光学系统设计与传统光学系统设计二者之间是什么关系？很显然，传统光学系统设计是线性模型，可以认为是计算光学系统设计的降维结果。前面已经讲过，传统的光学系统设计实际上是在近轴光线传播的基础上建立的，本身就是一种线性近似。这其实很“人性”，因为我们的人眼就是这样的一个系统，所以评价体系也是以人眼视觉为标准制定的，很直接，很好用，但到了信息时代，就像你翻看老照片一样，尽管很珍贵，但图像很不清晰。同时，我们更应该看到，传统光学系统设计所成的像都是“平”的，因为我们的探测器都是平面的。这对于工业化生产很有帮助，品控和效率都能大幅提高。但“平面”投影对光场而言，是否为最佳光场获取模式，还需要进一步讨论。我们再看衍射元件和超透镜成像，它们本身就是对光场的调制，是一个非线性的过程，在深度学习出来之前重建的效果都不好，而用了深度学习这个工具，其实就是引入了一个隐性的非线性模型，就能够得到比较满意的结果。
6 c( g. S5 b0 s% z! [: t当然，还有新的光学系统还有很多，比如液体透镜、透镜阵列等，这里不做展开。  


4 L8 V5 o% z5 {/ y) Q3 m. Y! i  

最后，我总结一下：光学系统作为成像最重要的一部分，承担着光场调制与信息收集的功能，目前正处于一个十字路口，传统的已非常成熟，新的还在路上，未来还有一段很长的路要走，但有一点是明确的，传统的光学系统不会退出历史舞台，因为它太“人性”了，摄影、视觉领域都离不开它。计算光学系统则处于更高维度，以解决线性世界难以克服的问题而生，尽管它很年轻，但具有顽强的生命力和巨大的潜力，它是我们通往高维度世界的桥梁。

% h7 g: h/ h& T8 ]

本文为作者原创，如需转载，请直接留言。

6 q. C4 b& @3 r" [

) v2 U6 U! _$ F. Z
' ~' h6 d3 R$ [: }9 Y

oewqe

手机上的照相跟相机还是有着很大区别的
& {' b6 g9 P$ B, C$ F4 N