浙江大学学报(工学版), 2025, 59(3): 557-565 doi: 10.3785/j.issn.1008-973X.2025.03.013

计算机技术

基于光源感知的跨相机颜色一致性算法

杨敏航,, 徐海松,, 黄益铭, 叶正男, 张云涛, 胡兵

浙江大学 光电科学与工程学院,极端光学技术与仪器全国重点实验室,浙江 杭州 310027

Illumination-aware color consistency algorithm for cross-camera applications

YANG Minhang,, XU Haisong,, HUANG Yiming, YE Zhengnan, ZHANG Yuntao, HU Bin

State Key Laboratory of Extreme Photonics and Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou 310027, China

通讯作者: 徐海松,男,教授. orcid.org/0000-0001-6257-098X. E-mail: chsxu@zju.edu.cn

收稿日期: 2023-12-28  

基金资助: 中央高校基本科研业务费专项资金资助项目(S20220156).

Received: 2023-12-28  

Fund supported: 中央高校基本科研业务费专项资金资助项目(S20220156).

作者简介 About authors

杨敏航(1999—),女,硕士生,从事颜色一致性与颜色再现研究.orcid.org/0009-0005-7620-6747.E-mail:yangmh011899@163.com , E-mail:yangmh011899@163.com

摘要

针对相机传感器光谱灵敏度和内置图像信号处理(ISP)模块差异导致的图像间颜色不一致的问题,提出2种基于光源感知的跨相机颜色一致性算法,即色温(CCT)感知的自适应分区映射算法和类别感知的自适应分类映射算法,用于将 RAW 图像从待处理相机的颜色空间转换到目标相机的颜色空间. 通过在不同色温和类型的典型光源下得到的训练算子来推导目标场景最终的映射算子,为不同照明场景建立特定的映射关系,进而实现跨相机图像的转换. 在实验中采用颜色差异指标来对算法进行客观评估,结果表明所提出的2种算法在色差和视觉效果方面均比现有经典方法展现出更好的性能,能够有效适应照明条件的多样性和复杂性,具有广泛的应用潜力.

关键词: 图像处理 ; 颜色一致性 ; 跨相机应用 ; RAW图像 ; 光源感知

Abstract

The issue of color inconsistency between images was caused by the differences in camera sensor spectral sensitivities and built-in image signal processing (ISP) modules. Two illumination-aware color consistency algorithms for cross-camera applications, namely the correlated-color-temperatures (CCT)-aware adaptive partitioning mapping algorithm and the category-aware adaptive classification mapping algorithm, were proposed to convert the RAW image from the color space of the source camera to that of the target camera. Specifically, by deriving the final mapping operator for the target scene based on the training operators obtained under typical light sources of different CCTs and types, specific mapping relationships were established for different lighting scenarios, thereby achieving the cross-camera image conversion. The performance of the algorithms was objectively evaluated using color difference metrics in the experiments. Results illustrated that both of the proposed algorithms could achieve better performance in terms of color difference and visual effect compared to the existing classical methods, effectively adapting to the diversity and complexity of lighting conditions, thereby exhibiting their potential for wide applications.

Keywords: image processing ; color consistency ; cross-camera applications ; RAW image ; illumination awareness

PDF (2302KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

杨敏航, 徐海松, 黄益铭, 叶正男, 张云涛, 胡兵. 基于光源感知的跨相机颜色一致性算法. 浙江大学学报(工学版)[J], 2025, 59(3): 557-565 doi:10.3785/j.issn.1008-973X.2025.03.013

YANG Minhang, XU Haisong, HUANG Yiming, YE Zhengnan, ZHANG Yuntao, HU Bin. Illumination-aware color consistency algorithm for cross-camera applications. Journal of Zhejiang University(Engineering Science)[J], 2025, 59(3): 557-565 doi:10.3785/j.issn.1008-973X.2025.03.013

随着成像技术的不断发展,多种先进成像设备应运而生,并在诸多领域得到了广泛应用. 尽管现代数码相机在图像质量方面已取得显著的进步,但跨相机颜色不一致的问题仍然是一个亟待解决的挑战. 特别是在颜色恒常性领域的数据增强和多相机系统的多视角图像融合应用中,不同相机之间颜色保持一致显得至关重要. 由于相机采用的光学镜头、传感器光谱灵敏度[1]以及内置图像信号处理 (image signal processing, ISP) 模块[2-3]存在差异,使用不同相机拍摄的相同场景图像会呈现出不同的原始响应值,从而导致不一致的图像颜色外观.

现有的颜色一致性算法通过采用不同的技术来减少跨相机应用中的颜色差异. 根据所处理图像的格式,颜色一致性算法大致可以分为2类:一类是基于sRGB特定颜色空间的算法[4-17],另一类则侧重于RAW数据的处理[18-22]. 前者的经典算法之一是颜色传递方法,其中部分方法还进一步融合了亮度补偿或颜色分割技术,旨在使图像之间的颜色外观保持一致[4-8]. 然而,这类方法在处理复杂内容图像时,往往会产生不自然的结果. 此外,基于图像对重叠区域计算映射函数的直方图匹配方法也得到了广泛研究[9-10]. 还有一系列方法聚焦于利用图像之间的对应特征点集合[11-15]或者代表性色块样本[16-17],以建立与图像内容紧密相关的自适应颜色映射机制,从而提高图像间的颜色映射精度. 该类方法的效果通常依赖于所选择的特征点对或色块样本的有效性以及颜色映射策略的设计合理性. 对于基于RAW数据的算法,一些研究建立了色度特征化模型,但其计算过程较为复杂[18-20]. 为了实现相机之间的直接映射,Nguyen等[21]提出白平衡辅助的两阶段线性变换,利用全局映射和光照特定映射来处理跨相机图像之间的颜色不一致性. Afifi等[22]设计半监督的RAW到RAW映射方法,借助一个轻量级深度学习网络来学习不同相机之间的映射关系,尽管该方法在低光极端场景下有其局限性.

针对RAW图像提出2种基于光源感知的颜色一致性算法,以增强由不同相机拍摄的同一场景图像之间的颜色一致性. 所提出的算法综合考虑了包括相关色温和光源类型在内的场景照明信息以及相机特性,充分融合了场景照明特性对被摄物体感知颜色的影响.

1. 光源感知的颜色一致性算法

RAW图像未经过相机ISP的复杂处理,保留了更丰富的原始信息,能够更准确地反映被摄场景的线性感光特性. 因此,RAW格式的图像对于改善不同相机图像之间的颜色一致性具有显著的优势. 同时,基于RAW图像进行颜色一致性校正在实际应用中具有重要意义,如实现多摄系统中ISP的共享和图像融合. 鉴于此,在RAW域中探究2种基于光源感知的图像颜色一致性算法.

1.1. 色温感知的自适应分区映射算法

受到改进的色度映射过程启发[23],提出色温感知的自适应分区映射(correlated-color-temperatures-aware adaptive partitioning mapping, CCT-AAPM)算法. 相关色温作为照明光源的重要参数之一,对人眼视觉所观察到的照明颜色特性起着决定性作用. CCT-AAPM算法的核心在于采用了精细化的相关色温范围分割策略,充分考虑了不同色温光源对色彩感知的重要影响. 通过将相关色温范围进行细致划分,并为特定的色温节点设计专门的色彩映射算子,本算法实现了场景特定的RAW至RAW的精确映射,从而显著提高了在各种光照条件下的颜色一致性. 传统方法,如Nguyen等[21]描述的全局方法,通常仅依赖于一个单一的、适用于所有现实世界场景的转换机制,因此在改善颜色一致性方面存在局限. 相较之下,CCT-AAPM算法通过其独到的光源感知分区映射策略,能够动态适应多种不同的照明环境. 如图1所示,该算法的总体框架包括训练和实施2个阶段. 在多种可控照明条件下,采用3台相机对X-Rite ColorChecker Digital SG色卡进行拍摄,分别针对关键色温分段点构建相应的颜色一致性映射算子. 通过这些在不同照明条件下获得的色卡图像,能够确保推导出的颜色一致性映射算子的鲁棒性和普适性,从而显著提升CCT-AAPM算法的整体性能. 将最大限度地降低2台相机在RAW域RGB响应值的色度残差设定为优化目标,以达到近似推导出最佳映射算子的目的,表达式如下:

图 1

图 1   CCT-AAPM算法的框架图

Fig.1   Framework of CCT-AAPM algorithm


$ {{\boldsymbol{M}}_{\rm{opt}}} = \mathop {\arg {\text{ }}\min }\limits_{\boldsymbol{M}} \sum {{{\left\| {{\boldsymbol{Q}} - {\boldsymbol{MP}}} \right\|}^2}} , $

$ \boldsymbol{P}=\left[\begin{array}{lll}R_1^{{\rm{C}}_1} &\cdots & R_n^{{\rm{C}}_1} \\G_1^{{\rm{C}}_1} & \cdots & G_n^{{\rm{C}}_1} \\B_1^{{\rm{C}}_1} &\cdots & B_n^{{\rm{C}}_1}\end{array}\right], \quad \boldsymbol{Q}=\left[\begin{array}{lll}R_1^{{\rm{C}}_2} &\cdots & R_n^{{\rm{C}}_2} \\G_1^{{\rm{C}}_2} & \cdots & G_n^{{\rm{C}}_2} \\B_1^{{\rm{C}}_2} &\cdots & B_n^{{\rm{C}}_2}\end{array}\right] . $

式中:PQ分别表示相机C1和相机C2在RAW域的RGB响应值,下标n为训练色块样本数量,MMopt分别表示优化对象和通过优化得到的最佳映射算子,$\left\| \cdot \right\|$表示 L2范数.

在实施阶段,通过白点[24-25]估算被摄场景中的照明色温,然后选择相应的由训练得到的成对映射算子,以推导出最终的光源感知的映射算子,具体表达如下:

$ {{\boldsymbol{M}}_{\rm{scene}}} = \omega {{\boldsymbol{M}}_{1}}+\left( {1 - \omega } \right){{\boldsymbol{M}}_{2}}. $

式中:Mscene为被摄场景的最终映射算子,M1M2分别表示2个不同色温下的映射算子,ω$1 - \omega $分别表示它们在复合映射算子中的贡献权重.

$ \omega = \frac{{{\mathrm{CCT}}_{\rm{scene}}^{ - 1} - {\mathrm{CCT}}_2^{ - 1}}}{{{\mathrm{CCT}}_1^{ - 1} - {\mathrm{CCT}}_2^{ - 1}}}. $

式中:CCTscene表示被摄场景中估计的照明色温,CCT1和CCT2为CCTscene所在色温区间的2个端点. 通过引入加权组合策略,可以有效平衡复合映射算子中每个算子的贡献比率. 对于场景色温低于CCT1或者高于CCT2的情况,Mscene相应地设置为在CCT1或CCT2下训练得到的映射算子.

1.2. 类别感知的自适应分类映射算法

色温感知的自适应分区映射算法虽然表现卓越,但由于未充分考虑光源类型的影响,可能在实际应用中遭遇同色异谱现象的挑战. 这一现象可能导致该算法在不同照明条件下采用同一映射算子,从而限制其在复杂实际场景中的适用性,尤其是对颜色一致性要求极高的场景中. 传统的光源类型判定方法通常依赖于光谱辐射计或分光光度计来测量光源的光谱功率分布 (spectral power distribution, SPD),但该方法因其设备成本高昂且操作复杂,而在实际应用中受到限制. 事实上,随着现代传感器技术的不断革新与进步,新型传感器已经能够实时估算所处照明环境的光源类型,以其操作简便、识别快速的优势,提升光源判别的效率和准确性,为颜色一致性的研究和实践提供强有力的技术支撑.

本研究引入类别感知的自适应分类映射(category-aware adaptive classification mapping, CA-ACM)算法,旨在有效应对同色异谱现象带来的挑战. 该算法基于不同光源的发光机制及其对应的光谱功率分布,对光源类别进行了细致的划分. 具体而言,依据光源的光强波动频率、光谱属性以及显色特征,主要研究LED、日光、荧光灯和钨丝灯4种主流照明类型. 与CCT-AAPM算法的训练过程相似,CA-ACM算法同样为各类光源定制了专门的色彩映射算子,以实现更加精确和针对性的颜色转换过程. 对于任意一种光源,均满足以下关系:

$ {{\boldsymbol{Q}}_{\rm{illu}}} = {{\boldsymbol{M}}_{\rm{illu}}}{{\boldsymbol{P}}_{\rm{illu}}}, $

$ {{\boldsymbol{M}}_{\rm{illu}}} = {{\boldsymbol{Q}}_{\rm{illu}}} \cdot {\mathrm{pinv}}({{\boldsymbol{P}}_{\rm{illu}}}) = {{\boldsymbol{Q}}_{\rm{illu}}}{\boldsymbol{P}}_{\rm{illu}}^{{\mathrm{T}}}{({{\boldsymbol{P}}_{\rm{illu}}}{\boldsymbol{P}}_{\rm{illu}}^{{\mathrm{T}}})^{ - 1}}. $

式中:QilluPillu分别对应于2个相机在某特定光源类型下的原始响应值,Millu为对应于该光源类型的待求解的颜色映射算子,${\mathrm{pinv}}( \cdot )$为伪逆运算符号. 通过伪逆法精确计算此映射算子,能够根据不同光源特性自适应地调整颜色转换过程,以确保在不同照明条件下提高跨相机图像的颜色一致性.

在实施阶段,通过内置光谱重构技术的环境光传感器准确识别出场景中的照明类别,并据此确定相应的映射算子. 利用该算子,实现了2台相机原始颜色空间之间进行图像的转换. CA-ACM算法通过采取类别感知策略,将颜色转换过程与特定光源类型相结合,有效缓解了CCT-AAPM算法在复杂照明条件下的局限性. 如图2所示详细展示了CA-ACM算法的完整流程,包括光源的分类、映射算子的构建与选择以及最终图像的转换等关键步骤.

图 2

图 2   CA-ACM算法的流程图

Fig.2   Procedure of CA-ACM algorithm


2. 实验与讨论

2.1. 实验设置

为了构建一个场景及设备多样化的RAW图像数据集,在实验中使用了3种不同的相机设备,分别为尼康D3x数码单反相机、某款智能手机的主摄像头和超广角副摄像头. 每台相机分别拍摄151组不同的场景(总计151×3=453组场景),其中12组用于训练,其余139组则用于测试. 如图3所示为部分实验场景,其中图3(a)、(b)的第1、2行分别表示RAW图像和经相机内部各模块处理后的最终输出图像. 在训练集中,图像包含X-Rite ColorChecker Digital SG专业色卡,并将该色卡放置于45°看样台上. 同时,相机设备被固定在距离看样台60 cm处的三角架上. 这些图像是在多光源标准灯箱和多通道可调谐LED照明系统[26]提供的典型照明条件下拍摄的,具体的照明光源相关参数详见表1. 表中,E为照度,CCT为色温. 其中,LED1~LED6为LED照明类型,D65表示日光,CWF、TL84和U30属于荧光灯类别,而A和H则代表钨丝灯类型. 照度的非均匀性误差不超过5.2%,而色温的相对波动不超过2.9%. 使用柯尼卡-美能达CS-2000远摄型光谱辐射计 (tele-spectroradiometer, TSR) 对这些照明条件下的光谱功率分布进行测量. 如图4所示展示了训练集中所包含的光源光谱功率分布,共计12种不同的照明条件. 为了校正光照不均匀性,在所有照明条件下均拍摄了位于色卡相同位置处的灰卡图像. 为了确保训练样本的有效性与代表性,在训练阶段,位于色卡最外围的中性色块因其与中间部分重复而被剔除. 因此,训练样本总共包括了12×96 = 1152个色块. 而测试集的图像则是来自多种不同场景,其中不仅包含了训练阶段所采用的标准灯箱与LED平台,还包括了常见的室内及室外环境. 所有的测试场景均使用X-Rite ColorChecker Classic色卡作为验证标签. 值得注意的是,测试集相比于训练集涵盖了更广泛的照明条件,包括办公照明、楼道照明之类的室内照明环境以及晴天、阴天之类的室外自然照明环境.

图 3

图 3   数据集中部分示例图像

Fig.3   Example images from dataset


表 1   算法训练中照明光源的具体参数情况

Tab.1  Specific parameters of lighting sources during training phase of algorithm

照明设备光源E/luxCCT/K
多光源
标准灯箱
A15792826
CWF15414078
D6517216525
H15822347
TL8415404028
U3014962912
LED照明系统LED14632525
LED24743507
LED34774488
LED44705513
LED54746391
LED64757307

新窗口打开| 下载CSV


图 4

图 4   训练集所包含光源的光谱功率分布

Fig.4   Spectral power distributions of lighting conditions for training set


本研究所提出的算法具备兼容性,可扩展至其他相机. 为此,须在相关典型照明环境下使用新的相机设备采集训练图像集,其中包括A、D65、LED以及荧光灯等照明光源. 同时,还须在不同照明条件下拍摄测试图像集,其中应包含标准色卡,以便有效地进行颜色一致性映射算子的训练及其性能进行验证.

关于CCT-AAPM算法中关键色温分段点的确定,首先将不同照明条件下的样本图像从RGB三维空间精确投射至二维色品平面. 然后,对这些投射后的图像进行深入而全面的统计分析,不仅包括色域范围分布,也综合考虑了色品特征的多维度信息. 因此,将整个相关色温范围细致地分割为4个不同的区间:2800 K以下、2800~4500 K、4500~6500 K和6500 K以上. 针对280045006500 K这3个关键色温点,分别构建了相应的颜色一致性映射算子,进而推导出适用于实际目标场景的映射算子.

2.2. 实验结果分析与讨论

为了使RAW图像之间的颜色差异更接近人眼的视觉感知,白平衡校正是不可或缺的一步. 鉴于本研究的主要关注点不在于颜色恒常性算法,使用X-Rite ColorChecker Classic色卡的第21个中性灰色块作为参考白点. 算法性能评估主要基于3个客观指标,包括CIELAB色差${\Delta E}_{{{ab}}}^* $[27]、不包含明度差的色差$ \Delta E_{ab,{\text{ }}{w \mathord{\left/ {\vphantom {w {o{\text{ }}\Delta {L^*}}}} \right. } {o{\text{ }}\Delta {L^*}}}}^* $以及彩度差${\Delta C}_{{{ab}}}^* $. 采用后2个指标是因为本研究主要着重于提高不同相机之间色度的一致性. 其中,不含明度差的色差的具体定义为

$ \Delta E_{ab,{\text{ }}{w \mathord{\left/ {\vphantom {w {o{\text{ }}\Delta {L^*}}}} \right. } {o{\text{ }}\Delta {L^*}}}}^* = \left[{{{(\Delta {a^*})}^2}+{{(\Delta {b^*})}^2}}\right]^{1/2} . $

式中:$\Delta {a^*}$$\Delta {b^*}$为CIELAB颜色空间中色品分量的差异.

在进行客观评价之前,首先须将图像从RGB色彩空间转换到CIE XYZ色彩空间[28],然后再采用第19个色块作为峰值白点转换到CIELAB色彩空间. 为了在后续章节中公平比较不同方法的性能,式 (1) 中的M算子采用了3×3的线性变换形式. 然而,值得强调的是,尽管线性变换算子为比较分析提供了一个基准,但本研究所采用的映射算子并不局限于此种简单形式. 实际上,M算子可能包括多种复杂的变换形式,如多项式模型和根多项式模型,这些不同的算子表现形式会对颜色一致性算法的性能产生影响.

以2台相机未应用颜色一致性算法时图像间色卡区域的颜色差异作为基准,对本研究所提算法、文献[4]所提方法、文献[16]所提方法、文献[21]所提方法以及全局方法[21]进行比较. 如表2所示显示了3台相机在4种照明类别下的颜色一致性评价结果,其中,粗体和下划线表示最优结果和次优结果. 结果表明,本研究所提的2种算法均表现出较优的性能. 文献[21]所提方法由于依赖于2个变换函数,存在增加累积转换误差的风险,因此其性能较差且不稳定. 而传统的全局方法也有其局限性,难以兼顾与适应所有任意照明条件下的场景,因为它使用了基于组合所有光源的通用矩阵. 文献[16]所提方法由于对颜色的亮度和色度采取了较为简单的线性匹配策略,而在某些场景下表现不佳,故而对于场景的多样性和复杂性缺乏良好的适应性. 如图5所示展示了所有照明条件下的平均颜色差异情况. 可以看出,所提算法在总体上表现更佳. 平均不含明度差的色差和平均彩度差均低于平均色差,反映了它们更多关注于色品成分的差异. 在平均彩度差方面,与基准相比,所提算法能够将智能手机主副摄之间的平均$\Delta C_{ab}^*$降至小于1.35,也能将尼康相机和手机主摄之间的平均$\Delta C_{ab}^*$降至小于1.60. 此外,可以推断出相较于CA-ACM算法,CCT-AAPM算法的潜在优势在于其适用性好,通过感知照明条件的色温以适用于任意照明场景,而无须识别光源类型. 这能够提供更灵活的颜色映射机制,尤其是应用于光源类型难以准确预测的场景时.

表 2   4种照明条件下3台相机之间的颜色一致性实验结果

Tab.2  Color consistency results of four illumination conditions for mapping among three cameras

算法LED日光荧光灯钨丝灯
$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$
智能手机超广角副摄像
头 → 智能手机主摄像头
基准4.783.682.666.914.724.184.763.182.254.603.332.44
文献[21]3.612.581.835.052.772.263.271.711.173.412.241.58
文献[16]6.525.753.315.713.481.984.573.251.856.655.743.17
文献[4]4.173.062.004.422.571.573.362.021.333.221.971.28
全局方法[21]3.652.561.744.642.311.623.421.801.193.512.231.53
CCT-AAPM3.262.221.474.282.041.323.261.621.073.001.801.14
CA-ACM3.332.251.494.051.901.173.341.701.152.971.771.12
智能手机主摄像头 →
尼康D3x 数码单反相机
基准5.594.073.244.042.662.137.885.825.619.317.416.91
文献[21]5.374.093.195.054.033.515.182.411.966.794.893.84
文献[16]6.905.463.496.004.812.9811.3910.036.3611.7610.126.36
文献[4]5.263.472.363.432.081.675.902.862.285.923.332.53
全局方法[21]4.322.741.893.352.041.655.202.542.105.593.382.57
CCT-AAPM3.952.511.652.741.551.144.922.051.495.082.671.67
CA-ACM4.022.541.702.731.531.144.912.021.555.042.601.60

新窗口打开| 下载CSV


图 5

图 5   3台相机间所有测试图像的平均颜色差异结果

Fig.5   Average color differences for all testing images among three cameras


图6所示为部分可视化实验结果示例,使用热力图直观地展现了不同相机图像中色卡区域的彩度差异. 图中,红色表示较大的彩度差,蓝色表示较小的彩度差. 图6(a)为智能手机副摄捕获的输入图像;图6(b)为参考图像,来自智能手机主摄,并作为比较图像在视觉效果上颜色一致性的参照;图6(c)~(h)展示了经过不同颜色一致性算法处理后的彩度差热力图结果. 结果表明,所提算法在跨相机图像颜色一致性的处理上表现更出色,能够更大程度地减小图像间的颜色差异,特别是在包含如红色和品红等高饱和度色彩的场景中. 这得益于所提算法有效利用了场景照明信息,使其能够灵活适应复杂的光照条件.

图 6

图 6   5幅示例图像的可视化结果

Fig.6   Visualization results of five example images


事实上,色彩校正的性能与所采用的矩阵模型密切相关. 因此,对颜色映射算子进行改进,以解决颜色一致性算法中算子变换形式准确性的限制. 具体地,在CCT-AAPM算法中引入不同形式的映射算子,并评估了它们的性能,结果如表3所示. 考察4种典型的变换形式:线性变换、多项式回归、根多项式回归和单应性变换,其中单应性变换基于3D域中平面颜色具有单应性的假设. 与未应用颜色一致性算法时的基准相比,根多项式回归形式在减少平均颜色差异方面更为有效. 这可能是因为它包含了对曝光稳定的高阶色彩项,能更精确地拟合映射算子. 相比之下,单应性变换表现相对较差,这可能是因为它通常更适用于几何校正和图像拼接. 因此,建议在转换不同相机之间的RAW图像时选择合适的算子模型,以最大化改善色彩不一致性.

表 3   不同变换形式的映射算子对CCT-AAPM算法性能的影响

Tab.3  Effect of mapping operators with different transformation forms on performance of CCT-AAPM algorithm

变换形式智能手机副摄 → 智能手机主摄智能手机主摄 → 尼康D3x相机
$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$
基准5.043.682.776.144.513.89
线性3×33.332.001.314.012.261.52
多项式6×33.191.941.273.992.241.49
根多项式6×33.221.911.263.892.131.44
单应性变换3.852.541.774.832.922.01

新窗口打开| 下载CSV


鉴于LED光源能够提供广泛的色温范围,研究将CCT-AAPM算法与CA-ACM算法结合并应用于LED照明场景. 训练和实施阶段与第1.1节所述类似,但训练样本仅限于在各种LED照明条件下拍摄的X-Rite ColorChecker Digital SG色卡. 如图7所示展示了一些典型测试场景,用以评估组合方法的有效性. 选择这些测试场景的主要依据是CCT-AAPM算法与CA-ACM算法中的一种在这些场景中表现相对更优. 如表4所示列出了图7中所示场景的测试结果,结果显示相较于单独使用CCT-AAPM算法或CA-ACM算法,组合这2种算法有助于进一步提高颜色一致性. 例如,在“书桌2”场景中,$\Delta E_{ab}^*$分别从2.10和2.21降至1.95,$\Delta E_{ab,{\text{ }}{w \mathord{\left/ {\vphantom {w {o{\text{ }}\Delta {L^*}}}} \right. } {o{\text{ }}\Delta {L^*}}}}^*$分别从1.51和1.53降至1.31,$\Delta C_{ab}^*$分别从0.87和1.06降至0.77. 这主要得益于组合算法通过综合2种算法的优点,融合了CCT-AAPM算法的场景色温感知能力和CA-ACM算法的场景光源类型识别能力,从而实现了对色温及光源类型信息的充分利用,专门为每个场景设计了特定的颜色映射算子. 因此,组合算法在多种照明条件下表现出了更好的准确性和鲁棒性,有效确保了颜色一致性的进一步改善. 虽然在“门”、“书桌1”场景图像中,采用组合算法后颜色一致性得到了一定程度的改善,但可能是由于对应的RAW图像信噪比相对较低,存在较大的噪声干扰,故而导致了色差相对较大的结果. 总体而言,以上实验结果表明,在某些情况下,CCT-AAPM算法和CA-ACM算法的协同作用可能会提供更稳健的颜色一致性解决方案.

图 7

图 7   用于组合算法性能评估的典型场景

Fig.7   Typical scenarios for evaluation of combination algorithm


表 4   CCT-AAPM、CA-ACM及其组合算法的颜色一致性测试结果

Tab.4  Color consistency results of CCT-AAPM, CA-ACM and their combination algorithm

典型场景$\Delta E_{ab}^*$$\Delta E_{ab,{\text{ }}w/o{\text{ }}\Delta {L^*}}^*$$\Delta C_{ab}^*$
CCT-AAPMCA-ACM组合算法CCT-AAPMCA-ACM组合算法CCT-AAPMCA-ACM组合算法
图像(a)4.254.393.963.533.553.252.692.762.44
图像(b)3.073.232.992.732.812.651.741.881.69
图像(c)2.322.422.212.052.061.791.091.130.92
图像(d)2.102.211.951.511.531.310.871.060.77
图像(e)2.702.842.561.241.321.150.910.990.84
图像(f)1.281.451.240.911.050.810.640.780.57
图像(g)2.072.161.981.291.311.110.860.860.74
图像(h)2.922.832.702.242.091.981.641.491.40
图像(i)3.193.072.912.272.202.051.711.681.47
图像(j)2.922.822.751.851.761.651.130.990.92
图像(k)3.263.123.102.572.442.341.491.321.27

新窗口打开| 下载CSV


3. 结 语

为了减少跨相机应用中图像之间的颜色差异,提出2种基于光源感知的颜色一致性算法,它们分别以场景照明的相关色温和光源类型为依据. 本研究在一个光照条件多样化、场景类别广泛的RAW图像数据集上测试2种算法,并与4种现有算法进行比较. 结果表明,所提出的2种算法均表现出卓越的性能,均能有效改善由不同相机捕获的同一场景图像之间的颜色一致性. 同时,还探讨了不同变换形式的映射算子对颜色一致性算法性能的影响. 结果指出,采用复杂变换形式,如根多项式回归变换,能更有效地减少色彩差异. 此外,发现结合这2种算法可能会进一步提升颜色一致性,带来更好的鲁棒性和准确性. 本研究算法具有重要的应用价值,能为解决多相机系统中长期存在的颜色不一致问题提供有效的理论参考和实践借鉴. 尤其新颖的应用前景之一是它们在智能手机和其他多相机系统中有助于推动不同相机之间共享ISP模块,优化资源配置,并减少对内存和计算能力的需求,同时确保实现不同相机之间的一致色彩感知. 在未来的研究工作中,将利用图像内容、拍摄参数和其他更多有用信息,以进一步提升跨相机颜色一致性算法的性能.

参考文献

JIANG J, LIU D, GU J, et al. What is the space of spectral sensitivity functions for digital color cameras? [C]// IEEE Workshop on Applications of Computer Vision . Clearwater Beach: 2013: 168–179.

[本文引用: 1]

RAMANATH R, SNYDER W E, YOO Y, et al

Color image processing pipeline

[J]. IEEE Signal Processing Magazine, 2005, 22 (1): 34- 43

DOI:10.1109/MSP.2005.1407713      [本文引用: 1]

KARAIMER H C, BROWN M S. A software platform for manipulating the camera imaging pipeline [C]// Computer Vision–ECCV 2016: 14th European Conference . Amsterdam: Springer, 2016: 429–444.

[本文引用: 1]

GONG H, FINLAYSON G D, FISHER R B, et al

3D color homography model for photo-realistic color transfer re-coding

[J]. The Visual Computer, 2019, 35 (3): 323- 333

DOI:10.1007/s00371-017-1462-x      [本文引用: 5]

ANIRUDTH N, PRASAD B P, JAIN A, et al. Robust photometric alignment for asymmetric camera system [C]// IEEE International Conference on Consumer Electronics . Las Vegas: IEEE, 2018: 1–4.

OLIVEIRA M, SAPPA A D, SANTOS V. Unsupervised local color correction for coarsely registered images [C]// IEEE Conference on Computer Vision and Pattern Recognition . Colorado Springs: IEEE, 2011: 201–208.

WANG H, DAI L, ZHANG X. Consistent segmentation based color correction for coarsely registered images [C]// 2nd IAPR Asian Conference on Pattern Recognition . Naha: IEEE, 2013: 319–324.

CHISTOV E, ALUTIS N, VATOLIN D, et al. Color mismatches in stereoscopic video: real-world dataset and deep correction method [EB/OL]. (2023-06-15)[2024-2-22]. https://arxiv.org/abs/2303.06657.

[本文引用: 1]

TIAN Q C, COHEN L D. Color correction in image stitching using histogram specification and global mapping [C]// 6th International Conference on Image Processing Theory, Tools and Applications . Oulu: IEEE, 2016: 1–6.

[本文引用: 1]

DING C Q, MA Z

Multi-camera color correction via hybrid histogram matching

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31 (9): 3327- 3337

DOI:10.1109/TCSVT.2020.3038484      [本文引用: 1]

HWANG Y, LEE J Y, KWEON I S, et al

Probabilistic moving least squares with spatial constraints for nonlinear color transfer between images

[J]. Computer Vision and Image Understanding, 2019, 180: 1- 12

DOI:10.1016/j.cviu.2018.11.001      [本文引用: 1]

LI Y, YIN H, YAO J, et al

A unified probabilistic framework of robust and efficient color consistency correction for multiple images

[J]. Journal of Photogrammetry and Remote Sensing, 2022, 190: 1- 24

DOI:10.1016/j.isprsjprs.2022.05.009     

THANH O V, CANHAM T, VAZQUEZ-CORRAL J, et al. Color stabilization for multi-camera light-field imaging [C]// 2020 IEEE International Conference on Acoustics, Speech and Signal Processing . Barcelona: IEEE, 2020: 2148–2152.

GIL RODRÍGUEZ R, VAZQUEZ-CORRAL J, BERTALMÍO M

Color matching images with unknown non-linear encodings

[J]. IEEE Transactions on Image Processing, 2020, 29: 4435- 4444

DOI:10.1109/TIP.2020.2968766     

OSKARSSON M. Robust image-to-image color transfer using optimal inlier maximization [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville: IEEE, 2021: 786–795.

[本文引用: 1]

ZHAO Y F, FERGUSON S, ZHOU H Y, et al

Color alignment for relative color constancy via non-standard references

[J]. IEEE Transactions on Image Processing, 2022, 31: 6591- 6604

DOI:10.1109/TIP.2022.3214107      [本文引用: 5]

BARBERO-ÁLVAREZ M A, MENÉNDEZ J M, RODRIGO J A

An adaptive colour calibration for crowdsourced images in heritage preservation science

[J]. IEEE Access, 2020, 8: 185093- 185111

DOI:10.1109/ACCESS.2020.3017390      [本文引用: 2]

FANG F, GONG H, MACKIEWICZ M, et al. Colour correction toolbox [C]// Proceedings of 13th AIC Congress . Jeju: Korea Society of Color Studies, 2017: 13–18.

[本文引用: 2]

ZHAO S, LIU L, FENG Z, et al

Colorimetric characterization of color imaging system based on kernel partial least squares

[J]. Sensors, 2023, 23 (12): 5706

DOI:10.3390/s23125706     

GONG R, WANG Q, SHAO X P, et al

A color calibration method between different digital cameras

[J]. Optik, 2016, 127 (6): 3281- 3285

DOI:10.1016/j.ijleo.2015.12.003      [本文引用: 1]

NGUYEN H M R, PRASAD D K, BROWN M S. Raw-to-raw: mapping between image sensor color responses [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Columbus: IEEE, 2014: 3398–3405.

[本文引用: 9]

AFIFI M, ABUOLAIM A. Semi-supervised raw-to-raw mapping [EB/OL]. (2021-09-06)[2023-12-20]. https://arxiv.org/abs/2106.13883.

[本文引用: 2]

KARAIMER H C, BROWN M S. Improving color reproduction accuracy on cameras [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Salt Lake City: IEEE, 2018: 6440–6449.

[本文引用: 1]

ROBERTSON A R

Computation of correlated color temperature and distribution temperature

[J]. Journal of the Optical Society of America, 1968, 58 (11): 1528- 1535

DOI:10.1364/JOSA.58.001528      [本文引用: 1]

BAXTER D, ROYER M, SMET K

Modifications of the Robertson method for calculating correlated color temperature to improve accuracy and speed

[J]. Leukos, 2024, 20 (1): 55- 66

DOI:10.1080/15502724.2023.2166060      [本文引用: 1]

ZHANG F Z, XU H S, WANG Z H

Spectral design methods for multi-channel LED light sources based on differential evolution

[J]. Applied optics, 2016, 55 (28): 7771- 7781

DOI:10.1364/AO.55.007771      [本文引用: 1]

ROBERTSON A R

The CIE 1976 color-difference formulae

[J]. Color Research and Application, 1977, 2 (1): 7- 11

DOI:10.1002/j.1520-6378.1977.tb00104.x      [本文引用: 1]

International Electrotechnical Commission. Multimedia systems and equipment-Color measurement and management-Part 2-1[S]. Color management-Default RGB color space-sRGB, 1999.

[本文引用: 1]

/