图像传感器的视觉演变与创新

视觉演变——从寒武纪到现在

闭上眼睛，想象一下，没有视力的世界会是怎样。

数百万年前，地球上的生物便生活在一个没有视觉的世界里。大约 5.4 亿年前，动物首先进化出视力，这彻底改变了动物躲避天敌、获取食物和穿越各种地形的方式¹。视力的出现导致了寒武纪大爆炸这一地质事件，使动物种群数量从 3 个大幅增加至 38 个。

时至当代，21 世纪 00 年代后期智能手机的迅猛发展造就了类似的视觉创新。突然之间，世界各地的人们都配备了可以放在口袋或手掌大小的高性能相机。摄影不再是摄影师的专利，轻松传递视觉信息变得十分普遍。

今年，随着新冠肺炎疫情的爆发，视频会议和在线课堂成为我们日常生活的一部分，人类社会再次加速向无接触数字时代转变。

1. Andrew Parker, “In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution”, (2003) (URL)

“摄像头回眸”： CIS技术开发, 智能手机摄像机的时代

图 1. CIS 的结构

摄像头的设计类似由各个部分组成的人眼。

智能手机相机由镜头、红外滤光片²、自动对焦执行器³以及 CMOS 图像传感器 (CIS)⁴ 等各个部件组成。其中 CIS 是一大重要部件，作用相当于人眼的视网膜，可检测光线并将光线转换为电信号。如图 1 所示，它包括可将光线转换为电子的光电二极管、仅限特定波长的光线可以穿透的滤色片、将电子转换为数字信号的模拟/数字电路以及负责校正和图像处理的图像信号处理器 (Image Signal Processor，简称 ISP)。

由于分辨率、灵敏度和信噪比 (Signal-to-Noise Ratio, 简称 SNR)⁵ 均由 CIS 的性能决定，因此可以说，智能手机相机的图像质量取决于 CIS。如今，智能手机相机的 CIS 图像质量已经超过紧凑型相机的水平，与数码单反相机的差距也在不断缩小。⁶

在性能方面，CIS 一直朝着增加像素数量以及增强功能的方向发展。增加像素数量可以获得更细腻、更清晰的图像质量，因此在智能手机相机的发展初期出现了像素数量竞赛。此外，随着背面照明 (Back Slide Illumination，简称 BSI)⁷和深槽隔离 (Deep Trench Isolation，简称 DTI)⁸等半导体微处理创新技术的问世，相同大小的面积内集成了更多像素，因此就连普通智能手机也可以轻松拍摄出数千万像素的图像。

2. 红外滤光片：一种光集中到光电二极管中心的设备

3. 执行器：用于自动对焦的镜头驱动装置，采用一款小巧的电机

4. CIS：一种可以检测光并将其转换为电信号的设备，其结构是由不同MOS集成电路组成的“互补金属氧化物半导体（CMOS）”。在低速，低功耗的智能手机和相机等电子设备中充当电子膜。

5. SNR (信噪比)：被定义为 20 log (信号/噪声)

6. David Cardinal, “Smartphones vs Cameras: Closing the gap on image quality”, DXO Mark. (2020) (URL)

7. BSI (背面照明)：该技术通过接收来自传感器背面的光线来增加光电二极管所接收的光线量。当光线从传感器正面进入时，会因金属布线的散射而发生光线损失。

8. DTI (深槽隔离)：这一制程技术可在硅片内部相邻光电二极管之间的物理像素之间设置屏障以防止像素之间的信号干扰

CIS的最新技术趋势是功能，而不是像素（Pixel）

然而，CIS 像素数量竞赛这一发展趋势预计很快会面临技术难题，围绕 ISP 的高级功能创新也将全面展开。

这背后的原因是衍射极限⁹所导致的 CIS 像素微型化限制。CIS 是一个复杂的部件，将微透镜等光学技术与设备和电路等半导体技术融于一体。当前的半导体技术可将电路的线宽缩减至几纳米；然而，由于接收的光线量随着像素尺寸的减小而减少，灵敏度和信号强度会不断减小，进而导致 SNR 降低、图像质量下降。

图 2. 艾里斑¹⁰衍射成像

相机的光学系统也存在物理极限，其性能受衍射效应¹¹限制，即使采用单点光源¹²，通过透镜在 CIS 上形成的图像也会散开，如图 2 所示。这被称作艾里斑；在给定波长 (λ)、焦距 (f)和透镜直径 (d) 的情况下，可以通过以下公式 [3] 来确定两点之间的距离 (x)¹³ ：

例如，对于 400nm 的蓝点光源而言，即使使用 F (=f/d) 值为 1.4 的高性能透镜，隔开两点的距离也是 0.68μm。换言之，想要辨别出两个蓝点光源，它们之间的距离至少应为 0.68μm。因此，即使 CIS 像素大小比这一数值还要小，分辨率也难以大幅提高。由于商用 CIS 像素大小已经达到 0.7 – 0.8μm，因此必须开发一种新的光学技术来减小 F 值或开发一种可以捆绑多个精细像素的全新应用软件。

9. 衍射极限：两个物体之间距离太近的极限点，令人难以用光学透镜来进行区分

10. 艾里斑：当一个点光源通过透镜凝聚在 CIS 上时图像散开的现象。

11. 衍射效应：遇到障碍物时，光线以弯曲路径而非直线路径前进的现象

12. 点光源：足够小，因而可以被视为点的光源

13. Wikipedia, Airy disk(https://en.wikipedia.org/wiki/Airy_disk)

堆栈传感器技术的出现是这项创新得以实现的另一个原因。因为传统传感器的结构是在同一基板上实现像素和电路，所以必须减小无光区域的面积以实现 CIS 的微型化。但这仅实现了模拟/数字电路的基本功能，而且用于附加功能的附加电路非常有限。

图 3. 左：一般传感器的结构 / 右：堆栈传感器的结构

相反，堆栈传感器的结构是像素和电路在单独的基板上实现的(如图 3 所示)，然后两个基板通过硅通孔 (Through Silicon Via，简称 TSV)¹⁴ 或混合键合技术（Hybrid bonding）¹⁵完成电气连接。像素和电路堆叠在一起时，下基板上的电路使用面积可以与上基板上的像素所占面积一样多，因而这部分面积的使用可以更加自由。

例如，像素大小为 1μm 的 4800 万像素 (8,000 x 6,000) 传感器在上基板上所占面积为 48mm2 或以上。如果下基板上的这部分面积可用于实现数字逻辑，则可以利用足够大的空间来集成大量高性能微处理器。¹⁶

另外，堆栈传感器具有以下优点：可以对上基板上的像素和下基板上的电路运用独立的制程。如果将超精细逻辑制程¹⁷应用于下基板电路，就连复杂的 ISP 算法也可以通过低功耗、高集成度的数字电路来实现。换言之，尽管由于电路面积的限制，传统传感器的 ISP 仅支持镜头校正和缺陷校正等简单的功能，但是堆栈传感器的 ISP 可以利用超精细逻辑制程来实现创新的算法，例如图像处理，计算机视觉以及人工智能 (Artificial Intelligence, 简称 AI) 等等。

14. TSV (硅通孔)：一种互连技术，可通过贯穿整个硅晶圆厚度的柱状路径来传递数据、命令和电流

15. 混合键合技术：一种制程技术，可将两个晶圆的金属电极粘合在一起并将其连接起来，而非通过贯穿硅晶圆的电极来连接。该技术可以减小尺寸，同时提升性能。

16. 微处理器：一种将处理单元和中央处理单元的控制功能集成到一个芯片中的设备。

17. 超精细逻辑制程: 一种制造数字元件的芯片工程,它能处理像AND、OR、NOT一样的逻辑运算.

SK海力士CIS的各种功能

目前，SK 海力士的 CIS 具备相位检测自动对焦 (Phase Detection Auto Focus，简称 PDAF)、四像素处理和高动态范围 (High Dynamic Range，简称 HDR) 处理等内置图像处理功能，而且还在不断地加入新功能。

图 4. 左：半遮蔽 PDAF 结构 / 右：成对 PDAF 结构

PDAF 功能运用了人眼的原理来预测与对象之间的距离。也就是说，对于 CIS 的某些像素而言，此方法通过覆盖左右两侧 (如图 4 左侧所示) 或通过将左右两侧的像素置于一个大的微型透镜下 (如图 4 的右侧所示) 来产生相位差。通过这种方法，ISP 算法可以计算左右图像的相位差（Phase Difference）¹⁸，并将其换算为与对象之间的距离，从而快速准确地进行对焦。

18. 相位差：两次振动之间的相位差（波长）。 相位是指特定点处的振动（波长）的相对位置

图 5. 左：一般传感器的输出 / 右：Quad 传感器的输出

Quad 传感器具备将四个相同颜色滤色片置于彼此相邻的位置并一起处理的功能。在暗处，四个像素被结合处理以接收更多的光线；而在亮处，单个像素由 ISP 算法单独处理以提高分辨率。图 5 显示了分别用 SK 海力士的 4800 万像素 Quad 传感器和一般传感器拍摄的两幅图像。这表明，与使用一般传感器相比，使用Quad 传感器即使在光线昏暗的地方也可以获得没有噪点的明亮图像。

图 6. 左：一般传感器的输出 / 右：HDR 传感器的输出

HDR 传感器支持一项功能，该功能通过合成感光度和曝光时间不同的多个像素来使图像的明暗部分之间形成鲜明对比。特别是在 SK 海力士的 CIS 上，图像处理由内置的 ISP 执行，因而即使移动的物体也可以实现实时处理和呈现清晰的图像质量。图 6 显示了使用和未使用 HDR 的 SK 海力士 CIS 输出图像。与未使用 HDR 的图像相比，使用 HDR 的图像可以清晰地呈现背景，同时保持整个视图的亮度不变。

目前，SK 海力士的 CIS (主要是 Black Pearl 产品系列) 已广泛应用于智能手机相机，而且应用领域有望扩大到生物、安保以及自动驾驶车辆等各个领域。

尤其是自动驾驶车辆领域，这类车辆至少使用 10 个相机¹⁹来检测周围环境。为了提高精度，必须满足各种要求，例如用于区分对象距离的高分辨率支持、即使在黑暗环境中也能识别对象的 HDR 支持以及减少处理器计算量的 ISP 预处理等等。

安保领域所需的功能是在 CIS 内置 ISP 中压缩和加密图像信号并将其传输至外部处理器。如果将未加密的图像信号原样发送到外界，则会增加安全漏洞和信息泄漏的可能性。因此，CIS 内部的加密功能至关重要。

19. Peter Brown, “Breaking Down the Sensors Used in Self-Driving Cars”, Electronics 360. (2018) (URL)

CIS的未来：支持高性能信息传感器

未来，CIS 有望发展成为一种支持高级附加功能的信息传感器，而不仅限于提升图像质量²⁰。凭借超精细制程，SK 海力士堆栈传感器现已能够将简单的人工智能硬件引擎嵌入到下基板上的 ISP 内部。基于这一技术，SK 海力士目前正在开发基于机器学习的新技术，例如超级分辨率²¹、色彩还原、面部识别以及对象识别等等。

由于在使用基于机器学习的 ISP 技术时可以从输入图像中提取各种特征并将其分类，CIS 将成为组成信息传感器的重要部件，收集例如图像信息、位置信息、距离信息以及生物特征信息等各种信息。

尤其是，想要将 CIS 用作信息传感器，必须从不同的角度采取新的方法。这是因为 CIS 的质量目标现在是“实现针对机器算法而优化的图像质量”，而此前的目标是“实现针对人眼而优化的图像质量”。

图 7. 左：噪点较少但被误识别为聚光灯 / 右：噪点较多但被准确识别为浓咖啡

20. Sungjoo Hong, “Smart Cloud and Information Sensor”, Smart Cloud Show. (2018) (URL)

21. 将低分辨率图像转换成高分辨率图像的技术。 机器运行技术有助于恢复图像的细节,因此可以获得清晰的图像

根据斯坦福大学的研究结果，即使通过复杂的图像处理制作出人眼看上去感觉不错的图像，也并不一定意味着这幅图像在应用计算机视觉算法时能够得出很好的结果。例如，当对图 7 中的咖啡杯图像应用场景识别算法时，噪点较少的左侧图像被错误地识别为聚光灯，而噪点较多的右侧图像则被准确地识别为浓咖啡。这表明，未来 CIS 的关键功能是提供针对所用计算机算法而优化的图像质量。²²

22. Diamond, V. Sitzmann, S. Boyd, G. Wetzstein, F. Heide ‘Dirty Pixels: Optimizing Image Classification Architectures for RawSensor Data’, arXiv preprint arXiv:1701.06487.

如本文所述，SK 海力士通过不断开发设备和制程技术来提高 CIS 像素的集成度，借助 ISP 技术的发展来支持各种应用领域。 为了开辟新的技术领域，SK 海力士已经在日本和美国建立并运营海外研究机构，通过产学合作，公司正在与国内外大学积极开展各类研究。未来，SK 海力士的 CIS 有望用于包括智能手机相机在内的各个应用领域，为创造经济和社会价值做出贡献，在未来成为信息传感器的重要组成部件。