化腐朽为神奇！揭开ISP图像处理的神秘面纱，基于瑞芯微RK3568J工业平台！

Tronlong123

. ]' A/ |( ^/ a' w

ISP图像处理前后图像对比

化腐朽为神奇！经过ISP图像处理的图片前后对比是如此惊人！从下图中可以观察到，未经处理的原始图像偏绿且暗淡，而经ISP图像处理的图像能够清晰地还原现场真实的颜色细节！

图1 原始图像显示效果

) h6 l1 C9 k0 q  w0 E/ m1 @8 A# H

图2 经ISP图像处理后显示效果

& ]1 G" ~1 E0 s, D; v" |
) U; p! v$ z  {1 H+ f0 E# ^: J, j

ISP说明

ISP简介

ISP(Image Signal Processor)，即图像信号处理，主要作用是处理前端图像传感器输出的信号，主要功能有线性纠正、噪声消除、自动白平衡、自动曝光控制等，能在不同的光学条件下很好地还原现场细节。

ISP优势

由于不同传感器的差异以及拍摄环境的多样性，传感器输出的原始数据和人们预期的图像有一定差距，因此ISP就起到了相当重要的作用。例如：夜间光照不足、大雾、沙尘等，均会使采集的图像造成影响，存在成像模糊、噪声污染及曝光不均等问题，而经ISP图像处理的图像会有明显的优化。

, D3 @* E  k3 t- w

RK3568J ISP功能介绍

RK3568J的ISP21模块支持标准的Sensor图像数据处理，包括自动白平衡，自动曝光，Demosaic，坏点矫正及镜头阴影矫正等基本功能，也支持HDR、去雾、降噪等高级处理功能。ISP21功能框图如下图所示。

图3 ISP21功能框图

RK3568J的ISP图像处理基于RKISP2.x Tuner工具对摄像头采集的图像进行标定得到IQ参数文件，通过IQ参数文件将摄像头采集的图像进行优化处理后发送至显示设备。

RKISP2.x Tuner提供了一套便于用户调试ISP参数的工具，用户可以在RKISP2.x Tuner中对所有ISP模块开展标定(Calibration)、调试(Tuning)等工作。

  \9 |6 ^$ e6 X9 ^! x. K0 Y) }

图4 RKISP2.x Tuner工具界面

用户可以使用RKISP2.x Tuner提供的抓图工具(Capture Tool)来拍摄RAW图，在标定工具(Calibration Tool)中完成基础模块的标定工作，在RKISP2.x Tuner中连接设备，在线进行ISP参数调试。

/ L- X' _& ~1 S) \+ y1 H0 K5 I

图5 RKISP2.x Tuner调试流程图

' ~7 r* i% s/ B: F$ M

RK3568J工业平台典型应用领域

图6 RK3568J工业平台典型应用领域

ISP图像处理开发案例

本章节主要介绍瑞芯微RK3568J的ISP图像处理开发案例，使用的硬件平台为：创龙科技TL3568-EVM工业评估板。
为了简化描述，正文仅摘录方案功能描述与测试结果，详细产品资料请扫描文末二维码下载。
4 m8 G- p, C  m9 G; }. }

功能说明

本案例基于RKISP2.x Tuner工具对摄像头采集的图像进行标定得到IQ参数文件，通过IQ参数文件将摄像头采集的图像进行优化处理后发送至显示设备。

硬件连接

评估板默认已支持HDMI OUT显示，请将评估板HDMI OUT接口连接至HDMI显示屏，使用FFC软排线将MIPI摄像头模块（型号为MCAM400）连接至评估板CAMERA接口，通过网线将评估板千兆网口ETH0 RGMII连接至路由器。硬件连接如下图所示。

图7

原始图像显示演示

评估板上电启动，执行如下命令将摄像头采集的图像实时显示至HDMI显示屏，该画面是未经过ISP图像处理的原始画面，如下图所示。按"Ctrl + C"可退出程序。
Target#/rockchip-test/camera/camera_rkisp_test.sh
1 K8 j& ]- A2 Q+ a3 \2 }

图8

' C1 {9 q. d, x. h6 L) y

图9 原始图像显示效果

可以观察到，HDMI显示屏实时显示摄像头采集的原始图像偏绿色且暗淡。

RKISP2.x Tuner工具调试演示

以下主要介绍使用RKISP2.x Tuner工具进行标定处理。

打开RKISP2.x Tuner工具，导入原始图像后，进入CCM标定界面，然后设置饱和度，点击"Calibrate"开始标定。

图10

标定完成后，点击"Result"页面，可查看结果。

图11

可点击"Save"将新标定数据保存至IQ参数文件ov4689_RK-CMK-8M-2-v1_CK8401.json中。

备注：如需了解通过RKISP2.x Tuner工具创建及配置IQ参数文件的详细步骤，请参考我司提供的用户手册。

ISP图像处理效果演示

评估板上电启动，请将IQ参数文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷贝至评估板文件系统"/etc/iqfiles/"目录下，然后重新启动评估板。

: X: K) @2 ~& A* b  T3 E

图12

[

进入评估板文件系统，执行如下命令，将摄像头采集的图像实时显示至HDMI显示屏，该画面是经ISP图像处理的显示效果，如下图所示。按"Ctrl + C"可退出程序。

Target#/rockchip-test/camera/camera_rkisp_test.sh

  J/ l+ T  }3 z4 y$ r

图13

图14 经ISP图像处理后显示效果

3 G5 j+ j: J0 P7 f7 N8 C0 Y

可以观察到，摄像头实时采集的图像经过ISP图像处理后，显示效果相比原始图像有明显的优化。显示效果跟实际测试环境以及IQ参数文件配置有关，测试结果仅供参考。

0 n$ F) y9 ^+ O# r: H6 U* s3 M6 b& i