解释镜头的畸变Distortion问题

本文完整的总结了镜头在图像传感器上成像的畸变问题，该问题产生的原因以及后期在ISP上进行校正的工作原理和流程。

镜头畸变问题简介

光线通过镜头在传感器上成像时产生的畸变（Distortion）问题，是镜头的光学系统因为物理设计的限制而导致的几何形变。

通常意义上常见的镜头畸变主要分为两种类型：桶形畸变和枕行畸变。

• • 桶形畸变（Barrel Distortion）：图像的中心向外膨胀，边缘向内收缩，常见于广角镜头（如焦距＜24mm的全画幅镜头），因此在监控和消费类摄像头产品中常用的短焦距大FOV的镜头，很容易出现桶形畸变的问题。当拍摄方形网格时，边缘线条呈弧形弯曲，类似“桶状”。
• • 枕形畸变（Pincushion Distortion）：图像中心向内凹陷，边缘向外扩张，多出现在长焦镜头或者变焦镜头的长焦端（如焦距＞100mm）。方形网格的边线会向中心收缩，形成“枕头”形状。

具体如下图所示：

除了以上的桶形畸变和枕形畸变以外，还有一种更为复杂且罕见的胡子畸变，实际上是桶形畸变和枕形畸变的混合体，通常出现在广角变焦镜头中：

镜头畸变的量化和测量

对于镜头和整个成像系统的畸变状况评估，主要有光学畸变和TV畸变两种评估类型。

光学畸变

光学畸变指标用于评估的是镜头成像的失真程度，相当于是对镜头自身的评估参数，与图像传感器无关，其描述的是镜头实际光线成像位置与理想光学模型位置的偏差。

光学畸变指标的计算说明如下图所示。理想状态下图像中心与右上角之间的距离为yi，真实畸变状态下成像图像中心与右上角的距离为ya，计算其光学畸变指标。

可以看到，在桶形畸变状态下，yayi，所以其光学畸变为正值。

TV畸变

TV畸变的概念与光学畸变有一些微妙的差异。光学畸变用于评估的是镜头成像的失真程度，相当于是镜头自身的评估参数，与图像传感器无关；而TV畸变的评估目标和对象则是拍摄的图像，用于评估光学系统拍摄图像中几何形状的变形程度，因为成像的结果要依赖于图像传感器，所以TV畸变的评估是整个光学成像系统。

TV畸变的计算方式如下图所示。

总的来说，对于镜头本身的设计和选型而言，重点关注光学畸变指标；而对于整个成像系统的验收，以及评估输入ISP的畸变校正数据，则需要关注的是TV畸变指标。而无论是光学畸变还是TV畸变，在计算上都是评估图像边缘相对的畸变程度，以百分比为单位，这个指标对应的百分比越大表示其边缘的变形越严重。

镜头畸变的成因总结

无论是桶形畸变还是枕形畸变，其发生的本质原因，都是因为镜头中心区域与边缘区域的放大率不一致引起的，只不过两者失衡的方向是相反的。

• • 对于广角镜头而言，镜头中心区域的放大率大于边缘区域的放大率，因此边缘区域的实际像高小于理想状态下的理论计算像高，导致的现象就是像点向中心收缩，也就是桶形畸变。
• • 而对于长焦镜头而言，其中心区域的放大率小于边缘区域的放大率，因此边缘区域的实际像高大于理想状态下的理论计算像高，导致的现象就是像点向外膨胀，也就是枕形畸变。

桶形畸变通过镜头的成像过程如下图所示：

因此，总的来说，图像系统所出现的畸变问题基本上都是因为镜头光学成像系统本身的缺陷所导致，尽管在镜头的镜片系统设计中有一些缓解畸变现象的设计对策，但是往往受限于镜头本身的焦距、视场角以及成本的要求，很难从根本上解决问题。因此，对于图像系统的设计和实现而言，首先要在各种图像参数以及成本限制等前提条件的约束下，选择更高质量、畸变更小的镜头，此外就是要借助于ISP的Lens Distortion Correction模块在进行图像ISP处理的过程中对畸变状况进行校正，当然一般情况下这个校正的过程会损失一部分视场角。

参考资料

• • What is Lens Distortion? Exploring its Types, Critical Factors, and Correction Methods - e-con Systems
• • Lens Distortion | ISO 17850 | Image Quality Factors | Image Engineering
• • Distortion | Edmund Optics
• • 光学镜头的重要参数——畸变

尝试从底层原理的角度去理解和解释技术问题：音视频/摄像头/智能家居/蓝牙/WiFi/无线通信/AI。