浙江大学学报(工学版)

浙江大学学报(工学版), 2022, 56(11): 2224-2231 doi: 10.3785/j.issn.1008-973X.2022.11.013

计算机技术

基于直方图与图像分块融合的阶调映射算法

蒋昊,, 徐海松,

浙江大学 光电科学与工程学院, 现代光学仪器国家重点实验室，浙江 杭州 310027

Histogram based tone mapping algorithm using image segmentation and fusion

JIANG Hao,, XU Hai-song,

State Key Laboratory of Modern Optical Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou 310027, China

通讯作者: 徐海松，男，教授. orcid.org/0000-0001-6257-098X. E-mail: chsxu@zju.edu.cn

收稿日期: 2022-02-8  

Received: 2022-02-8  

作者简介 About authors

蒋昊（1997—），男，硕士生，从事阶调映射算法研究.orcid.org/0000-0001-5701-6319.E-mail：zjujhh@163.com , E-mail：zjujhh@163.com

摘要

阶调映射算法（TMO）旨在将高动态范围（HDR）图像以最符合人眼感知的形式复现于低动态范围显示设备上. 为此基于图像分块与融合，提出一种直方图调整的阶调映射算法. 高动态范围图像被分为若干非重合的长方形区域，在每一块区域中阶调映射问题被视为基于直方图的K均值聚类问题并且建立相应的求解目标函数. 各区域中解得的映射函数根据该区域的均匀性进行调整，以避免对比度增强过度，从而减少伪影. 最后，提出一种双边滤波形式的图像融合策略以保证区域边界的平滑性，兼顾位置及亮度差，进而提升映射结果的自然性. 在实验中，采用阶调映射图像质量指标来对算法进行客观评估，结果表明所提算法相对于经典的阶调映射方法有更好的阶调映射效果，在细节增强与全局外貌保留间达到平衡，并在局部阶调映射算法中具有较好的运算效率.

关键词： 图像处理 ; 阶调映射 ; 高动态范围图像 ; 直方图调整 ; 图像融合 ; K均值聚类

Abstract

The tone mapping operators (TMO) aims at reproducing the visual perception of high dynamic range (HDR) images on the low dynamic range media. A histogram based tone mapping algorithm was proposed to use image segmentation and fusion. The HDR images were segmented into non-overlapping rectangle blocks. In each block, the tone mapping problem was regarded as the K-means clustering problem based on the image histogram with a proposed loss function. The derived mapping function was adaptively adjusted considering the uniformity of the block. The detail-enhancing effect of the mapping function was then restrained by the block uniformity for less arising artefacts. An image fusion scheme was presented to deal with the artefacts on the segmentation boundaries. With the form of a bilateral filter, the fusion scheme took into account both the difference of position and luminance, ensuring the naturalness of the tone-mapped results. The proposed algorithm was evaluated to use the tone-mapped image quality index and the results illustrated a better image quality compared with the typical tone mapping methods. A balance between the detail enhancement and the global appearance preserving has also been achieved with an impressed execution efficiency among local TMOs.

Keywords： image processing ; tone mapping ; high dynamic range image ; histogram adjustment ; image fusion ; K-means clustering

PDF (5565KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

蒋昊, 徐海松. 基于直方图与图像分块融合的阶调映射算法. 浙江大学学报(工学版)[J], 2022, 56(11): 2224-2231 doi:10.3785/j.issn.1008-973X.2022.11.013

JIANG Hao, XU Hai-song. Histogram based tone mapping algorithm using image segmentation and fusion. Journal of Zhejiang University(Engineering Science)[J], 2022, 56(11): 2224-2231 doi:10.3785/j.issn.1008-973X.2022.11.013

高动态范围（high dynamic range, HDR）图像具有动态范围大、色域广和细节丰富的优点，在消费电子和机器视觉等领域中逐渐得到广泛的应用[1]. HDR图像不仅展现更真实生动的图像外观，还作为机器视觉中识别和分析任务的对象. 尽管HDR显示设备很受消费者欢迎，但不具备显示HDR图像能力的低动态范围（low dynamic range, LDR）显示设备仍然占据目前大部分的市场份额. 因此，需要通过阶调映射（tone mapping）技术对HDR图像的动态范围进行压缩并调制颜色，使得可以适用于传统LDR显示设备，提供与真实场景相近的视觉感知[2].

现有的阶调映射算法大体可以分为全局阶调映射和局部阶调映射2类. 全局阶调映射采用特定的单调曲线对图像全局进行映射，如线性[3]、对数[4]、指数[5]及S型（sigmoid）[6]曲线等，运算较为快速但在压缩动态范围的同时也会导致局部对比度的下降. 近年来的研究一方面基于客观评估指标或人眼视觉系统（human visual system，HVS）特性对全局曲线的映射效果进行优化[7-8]；一方面利用硬件设备提升运算效率[9]. 局部阶调映射对于某个像素的映射方式与其邻域特征有关，具有更好的细节再现特征但往往会引入伪影. 该类方法逐渐成为阶调映射算法的主流，其中一部分基于HVS特性模拟感光细胞的动态范围压缩过程[10]，另一部分采用边缘保留的平滑算子提取图像的基础层与细节层并分别处理[11]. 还有研究将阶调映射建模为对比度增强问题从而求解该优化问题[12-13]. 阶调映射算法中还包括一类基于直方图的方法[8,14-16]，建立于图像的统计信息之上，往往运用直方图的均衡化或参考人眼对于亮度的感知特性，可以较好地保留图像的对比度. 在图像直方图分布较为密集或稀疏的亮度区间，仍可能会出现对比度过度增强或压缩的情况，导致图像质量的下降.

不同于以往基于直方图的算法，将基于直方图的K均值聚类问题应用于阶调映射中，并建立对应的求解目标函数，从而求得映射曲线. 为了避免对比度的过度增强或压缩，提出根据图像的均匀性对曲线进行调制. 考虑到全局与局部阶调映射的优缺点，采用折中方式将图像划分为若干矩形区域，在子图像中进行处理以提升局部对比度，之后进行图像融合以期达到图像外貌复现与细节保留之间的平衡.

1. K均值聚类于阶调映射的应用

对于一幅HDR亮度图像I，将等分为N个亮度等级（u1, u2$ ,\cdots , $ uN），并且假设映射后的亮度图像为 $ \widehat{{\boldsymbol{I}}} $，其有M个亮度等级（c1, c2$,\cdots , $ cM），那么该亮度图像的阶调映射问题便可以归结为一维K均值聚类问题且目标函数为

$ \mathop {\min }\limits_{{c_1},{c_2},\cdots ,{c_M}} {\mkern 1mu} \left\| {{\boldsymbol{I}} - \hat {\boldsymbol{I}}} \right\| . $

式中： $ \left\|\cdot \right\| $ 为L1范数. 将HDR亮度图像I的图像直方图记为h(i) (i=1, 2 $,\cdots, $ N)，即

$ \mathop {\min }\limits_{{c_1},{c_2},\cdots ,{c_M}} \sum\limits_{i = 0}^N {h(i)d({u_i},{c_1},{c_2}, \cdots ,{c_M})} . $

由于动态范围压缩过程中不可避免地导致细节损失，具体为HDR图像的亮度等级数目N大于映射后的数目M，因此d为不同亮度等级的映射所带来的损失：

$ d({u_i},{c_1},{c_2},\cdots ,{c_M}) = \mathop {\min }\limits_l \;\left| {{u_i} - {c_l}} \right| . $

式中：l为ui所属的类别. K均值聚类问题大体上被认为是一个非确定性多项式难题（NP-hard），但对于一维情形，可采用Wang等[17]提出的动态规划方法求得全局最优解，故映射函数为

$ F(u):\{ {u_1},{u_2}, \cdots ,{u_N}\} \to \{ {c_1},{c_2}, \cdots ,{c_M}\} . $

式中：{c1, c2$,\cdots ,$ cM}为求解出的聚类中心. 在映射过程中，HDR像素值被映射至最接近的聚类中心. 由于LDR图像位深为8位，因此M取值256，以保证每个类对应于一个LDR像素值. 为了保证映射函数的精度，N取值为1024.

2. 阶调映射流程

采用图像分块与融合，提出一种基于直方图的阶调映射算法，具体流程如图1所示. 对于输入的HDR图像，首先进行亮点提取与图像分块，再求解K均值聚类问题获得细节增强的映射曲线并生成对数映射曲线，之后根据子图像的均匀性对2条曲线进行加权调制，并进行双边滤波形式的图像融合，最后对颜色通道进行处理后输出LDR图像.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   基于直方图与图像分块融合的阶调映射算法的流程图

Fig.1   Flowchart of histogram based tone mapping algorithm using image segmentation and fusion


2.1. 亮度提取与图像分块

如今的HDR标准均采用BT.2020规定的白点及色域，所以HDR图像的红、绿、蓝3个通道与CIE1931 XYZ标准色度系统的三刺激值之间存在着线性关系[18]，而Y通道对应于人眼的亮度感知[19]. 因此，对于一幅待处理的HDR图像，亮度图像I根据BT.2020标准提取为

$ I = 0.262\;7R+0.678\;0G+0.059\;3B . $

式中：R、G、B为HDR图像的红、绿、蓝3个通道. 在亮度通道上进行动态范围压缩可以有效地保留图像的颜色信息. 亮度图像在提取后被划分为若干非重叠的长方形区域，在每个区域中将自适应生成映射曲线. 长方形区域的边长根据图像大小选定，以保证每个区域约占据250×250像素数. 如后续实验中采用的图像大小为3930×2941并被划分为16×12块，边长约为245像素. 图像划分得到的长方形区域大小适中，一方面满足K聚类算法的计算需求，保证曲线的平滑，另一方面各区域的映射曲线可有效提升局部对比度.

2.2. 映射曲线生成

在每个长方形区域中，首先由基于直方图的K均值聚类问题求解出初始的映射曲线，根据韦伯-费希纳定理，人眼感知的明度与辐射亮度的对数呈线性关系，因此在以往的研究中对数域的亮度通道被广泛用于动态范围的调制[4]. 为了抑制对比度的过度增强，本研究相似地引入对数形式的映射关系为

$ G(u):\{ {u_1},{u_2}, \cdots ,{u_N}\} \to \{ {l_1},{l_2}, \cdots ,{l_M}\} . $

式中：G(u)为 HDR像素值至其最接近的li的映射关系.

$ {l_i} = \exp \left( \ln \;({u_1}) + i\frac{{\ln \;({u_N}) - \ln\; ({u_1})}}{{M+1}}\right) ,\; i=(1,2,\cdots ,M) .$

理想的映射曲线既要较好地保留细节，又要避免对比度的过度增强，故须合理地结合上述2条曲线. 对于较为均匀的区域，直方图分布更为集中，更易出现对比度过度增强的情形，需更多保留G(u)的成分；而对于亮度跨度大且直方图分布相对均匀的区域，细节保留的需求更重要，应更多保留F(u)的成分. 为此提出均匀指标β以调节2条曲线的融合比例，所得新映射曲线为

$ H(u):\{ {u_1},{u_2}, \cdots ,{u_N}\} \to \{ {v_1},{v_2}, \cdots ,{v_M}\} . $

式中：vi (i=1, 2 $, \cdots , $ M) 为融合所得的映射参考点.

$ {v_i} = (1 - \beta ){c_i}+\beta {l_i} . $

式中：β为均匀指标.

值得注意的是，正如F(u)及G(u)的映射方式，H(u)在映射时HDR像素值被映射至最接近的vi，之后还需被映射至对应的LDR像素值. 考虑到M取值256，一个vi便对应着0~255内的一个像素值. 为了说明G(u)对于过度增强的抑制效果，同一区域应用不同映射曲线的映射结果如图2所示. 图中区域为均匀的一角天空，其直方图分布非常集中，因此F(u)的结果表现出明显的过度增强，放大天空中的采集噪声而导致大面积的伪影. 而G(u)的映射结果表现出自然的外貌，经调制后H(u)的映射结果得到极大的改善，伪影几乎不可见且相比G(u)具有更好的局部对比度.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   相同区域应用不同映射曲线的结果

Fig.2   Tone mapped results of different curves for same block


在计算某区域的均匀指标β时，需将直方图的组数设为20并统计直方图，则

$ \beta =\left\{ \begin{array}{*{20}{l}}0.5(1-\mathrm{exp}\;(a-\eta ))\text{，}& a < \eta\; \text{；}\\ 0\text{，}& a \geqslant \eta .\end{array} \right.$

式中：a为大于频率均值的组数，η为控制曲线形状的常数. a越小，表明该区域的直方图分布越集中、图像更为均匀，相应地β就越大，从而抑制对比度过度增强. 实验结果表明，当η=13时效果最好.

2.3. 图像融合

由于上述各区域的映射曲线是分别计算的，不可避免地会导致区域边界有明显的界线，因此提出双边滤波形式的图像融合策略，即某个区域的HDR像素值将应用其邻近B个区域（含自身，为5×5的方格）的映射曲线，并采用距离及亮度相关的高斯函数进行加权，计算出最终的LDR值. 对于位于坐标(x, y)的HDR像素值I(x, y)，映射后的LDR值p(x, y)为

$ p(x,y) = \frac{{\displaystyle \sum\limits_{i = 1}^B {{H_i}(I(x,y)) \cdot {w_{\text{d}}}(i) \cdot {w_{\text{s}}}(i)} }}{{\displaystyle \sum\limits_{i = 1}^B {{w_{\text{d}}}(i) \cdot {w_{\text{s}}}(i)} }} . $

式中：wd为距离权重因子，ws为亮度权重因子.

$ {w_{\text{d}}}(i) = \exp \;( - {d_i}/{\sigma _{\text{d}}}) \text{，} $

$ {w_{\text{s}}}(i) = \exp \left( - \frac{{\left| {\ln \;(I(x,y)+1) - \ln \;({I_i}+1)} \right|}}{{\ln \;({I_{\max }}+1) \cdot {\sigma _{\text{s}}}}}\right) . $

式中：di为当前像素点与Hi对应区域中心点的欧几里得距离，σd为距离衰减因子，Ii为Hi对应区域的平均亮度，Imax为整幅图像的最大亮度，σs为亮度衰减因子.

对于某幅图像，定义其特征距离为

$ {D_0}{\text{ = (}}{W_0}+{H_0}{\text{)/2}} . $

式中：H0为子区域的高度，W0为子区域的宽度. 为了确定σd的最佳取值，固定其它参数，令σd分别为D0/4、D0、4D0，结果示例如图3所示.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   不同距离衰减因子取值的融合效果示例

Fig.3   Fusion results corresponding to different σd values


由图3可见，(a)中σd较小，则结果受目标区域本身映射曲线主导，更易出现过度增强的结果，如扶手的最前端对应区域的地砖与周围出现明显的亮度差，这是由于过度增强导致扶手上的高光更亮而地砖更暗；(c)中σd较大，则相邻区域的映射曲线对结果的影响更为平均，因此在区域边界会出现亮度的突然变化，表现为明显横向和纵向的伪影；而(b)中σd取值适中，并未出现明显的伪影，取得良好的融合效果.

定义图像的特征亮度差σ0为各区域平均对数亮度间的标准差，令σs分别取值σ0/2、σ0及σ0×2，融合效果示例如图4所示. 可见，对于(a)和(b)中的非均匀区域，(b)中较小的σs取值使窗框过于受相近亮度的室外场景影响，导致局部对比度的损失，而(a)中的细节得到更好的保留；而对于(c)和(d)中的均匀区域，分割所致的纵向伪影在(c)中得到了更有效的抑制. 上述对比表明，σs特征亮度差的取值达到细节增强与伪影抑制间的平衡.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   不同亮度衰减因子取值的融合效果示例

Fig.4   Fusion results corresponding to different σs values


特征距离及特征亮度差的定义使距离及亮度衰减因子能够适应于不同大小及内容的图像，提升本研究算法的普适性. 最后，在完成亮度通道的映射与融合后，LDR图像的3个通道c(x, y) (c=R, G, B)计算公式为

$ c(x,y) = \frac{{C_{\rm{h}}(x,y)}}{{I(x,y)}}\times p(x,y) . $

式中：Ch(x, y)为HDR图像的对应通道.

3. 实验结果分析

实验选取LVZ-HDR数据库[20]中具有代表性的9 张图为例，这些图像兼顾了室内外的场景. 为了客观地评价映射效果，采用广泛使用的阶调映射图像指标（TMQI）[21]来比较各算法的表现. 计算公式为

$ Q = a{S^\alpha }+(1 - a){N^\beta } . $

式中：S、N和Q为图像结构保真性、自然性及TMQI分数；a为平衡结构保真性及自然性的权重因子，a=0.801 2；α和β为结构保真性及自然性的敏感程度，α=0.304 5，β=0.708 8. 上述参数的采用基于视觉实验相关性确定的数值. S，N和Q均取值为0~1.0，数值越大代表图像对应属性越好. 结构保真性指标采用多尺度的局部标准差及协方差衡量结构相近程度，而自然性指标依据数据库建立局部均值与标准差的分布函数，以此评价映射结果的数据分布是否符合人眼喜好.

3.1. 图像分块与否的映射性能测试

为了说明图像分块对于本研究算法性能的提升效果，将已经提过的K均值聚类阶调映射方法作为对照方法进行测试. 对照方法不进行图像分块，而依据均匀性调制曲线以及彩色通道计算的方式则与本研究算法相同，测试所得TMQI分数见表1. 从表1可见，图像分块使图像整体质量得到显著改善，平均TMQI分数提升比例达到了34.3%. 图5给出一部分图像分块与否的映射结果，可见本研究算法相比对照算法更好地呈现细节，说明图像分块使各区域的映射曲线根据内容调整而更具有针对性，从而明显提升图像的局部对比度.

表 1   图像分块与否的TMQI分数

Tab.1  TMQI scores of proposed algorithm with and without image segmentation

图像序号 Q
k均值聚类方法 本研究算法
1 0.67 0.88
2 0.53 0.82
3 0.65 0.87
4 0.65 0.87
5 0.76 0.98
6 0.70 0.90
7 0.76 0.95
8 0.75 0.97
9 0.59 0.84
均值 0.67 0.90

新窗口打开| 下载CSV


图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   图像分块与否的映射结果

Fig.5   Tone mapped results of proposed algorithm with and without image segmentation


3.2. 算法性能测试

以Drago等[4,22-25]提出的典型算法与近年Li等[8,11,26]提出的算法为对照，对本研究算法进行测试，结果见表2~4. 上述参考算法采用相关作者主页或Banterle等[27]提供的代码实现.

表 2   不同算法的TMQI分数

Tab.2  TMQI scores of different algorithms

图像 Q
Drago et al. [4] Kimet al. [22] Reinhard et al. [23] Khan et al. [8] Krawcyzk et al. [24] Shan et al. [25] Liang et al. [11] Liet al. [26] 本研究算法
1 0.76 0.72 0.72 0.81 0.73 0.73 0.81 0.91 0.88
2 0.70 0.68 0.65 0.79 0.68 0.60 0.75 0.89 0.82
3 0.77 0.78 0.73 0.88 0.74 0.75 0.82 0.87 0.87
4 0.76 0.78 0.73 0.85 0.71 0.74 0.80 0.85 0.87
5 0.88 0.84 0.79 0.88 0.85 0.88 0.86 0.73 0.98
6 0.85 0.84 0.73 0.88 0.77 0.76 0.86 0.81 0.90
7 0.91 0.88 0.79 0.83 0.88 0.87 0.84 0.71 0.95
8 0.86 0.87 0.78 0.87 0.82 0.84 0.85 0.72 0.97
9 0.72 0.82 0.71 0.79 0.70 0.72 0.83 0.80 0.84
均值 0.80 0.80 0.74 0.84 0.76 0.77 0.82 0.81 0.90

新窗口打开| 下载CSV


表 3   不同算法的结构保真性分数

Tab.3  Structure-fidelity scores of different algorithms

图像 S
Drago et al. [4] Kimet al. [22] Reinhard et al. [23] Khan et al. [8] Krawcyzk et al. [24] Shan et al. [25] Liang et al. [11] Liet al. [26] 本研究算法
1 0.78 0.70 0.69 0.70 0.73 0.72 0.66 0.73 0.87
2 0.61 0.55 0.49 0.70 0.55 0.37 0.57 0.68 0.74
3 0.79 0.81 0.73 0.75 0.74 0.77 0.64 0.72 0.83
4 0.77 0.79 0.71 0.69 0.64 0.74 0.62 0.71 0.82
5 0.87 0.88 0.85 0.73 0.90 0.88 0.70 0.69 0.93
6 0.70 0.71 0.65 0.73 0.64 0.67 0.59 0.67 0.78
7 0.87 0.87 0.86 0.73 0.88 0.88 0.67 0.66 0.89
8 0.86 0.87 0.84 0.75 0.87 0.87 0.69 0.70 0.92
9 0.63 0.74 0.61 0.66 0.50 0.63 0.56 0.61 0.74
均值 0.76 0.77 0.72 0.72 0.72 0.73 0.63 0.69 0.83

新窗口打开| 下载CSV


表 4   不同算法的自然性分数

Tab.4  Naturalness scores of different algorithms

图像 N
Drago et al. [4] Kimet al. [22] Reinhard et al. [23] Khan et al. [8] Krawcyzk et al. [24] Shan et al. [25] Liang et al. [11] Liet al. [26] 本研究算法
1 0.05 0.01 0.00 0.33 0.01 0.01 0.41 0.85 0.44
2 0.01 0.01 0.00 0.22 0.02 0.00 0.26 0.86 0.33
3 0.05 0.08 0.01 0.62 0.00 0.01 0.48 0.64 0.45
4 0.04 0.07 0.00 0.56 0.02 0.01 0.45 0.52 0.44
5 0.46 0.23 0.06 0.66 0.24 0.41 0.60 0.03 0.97
6 0.55 0.45 0.05 0.72 0.22 0.15 0.84 0.38 0.74
7 0.61 0.44 0.06 0.36 0.41 0.38 0.52 0.00 0.85
8 0.36 0.38 0.05 0.60 0.17 0.25 0.57 0.01 0.93
9 0.04 0.34 0.03 0.30 0.13 0.06 0.74 0.45 0.45
均值 0.24 0.22 0.03 0.49 0.14 0.14 0.54 0.42 0.62

新窗口打开| 下载CSV


由表2可知，在阶调映射图像指标上的均值取得最高分，相对于其它算法平均提升了13.9%，表明在图像整体质量上有较为显著的改善. 而表3表明，在结构保真性上本研究算法均取得最高分，总体而言相对于其它算法平均提升了15.2%，说明本研究算法在映射中的细节保留更为有效. 从表4可见，本研究算法在自然性上相对其它算法提升显著，相对其它算法的分数平均提升了0.34，表明本研究算法图像分布更符合人的观感喜好. 这3个指标从不同角度验证本研究算法明显提升HDR图像的阶调映射效果.

图6中给出2幅代表性图像的映射结果. 对于左侧的图像，其它算法或在室内的对比度不足，或损失室外的场景细节与自然性，如Liang等[11]及Li等[26]的算法结果在室内保留充足的细节，但是室外对比度不佳且整体色彩偏暗淡. 本研究算法结果在室内外均展现良好的整体对比度与细节丰富度，与本研究算法采用的图像分块与融合息息相关，图像分块使得各区域的局部对比度均能得到有效的保留与提升，而同时双边滤波形式的图像融合算法消除边界伪影的影响. 对于右侧的图像，在树木的纹理结构保留上，本研究算法展现更好的效果，具体表现为右上方的树叶细节更为清晰可见，而作为非均匀的区域，更多得益于K均值聚类算法的细节增强性能.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   阶调映射算法对比示例

Fig.6   Examples for comparison of tone mapping algorithms


为了评估各算法的运算效率，对平均运行时间进行测试，如表5所示. 其中前4行为全局算法而后几行为局部算法. 在测试中，输入HDR图像的分辨率约为4 000×3 000像素，采用装配8GB内存、Intel(R) Core(TM) i5-34703.20GHz CPU及64位Windows 10操作系统的ThinkStation计算机，平台为MATLAB 2021b. 由表5可见，全局阶调映射算法速度较快，在局部阶调映射算法中，本研究算法的运算效率尽管略低于基于亮度框架进行各区域整体映射的Krawczyk等[24]的算法，但明显高于Shan等[25]、Liang等[11]及Li等[26]的算法，这是因为本研究算法相对于基于邻域的局部算法，生成映射曲线的子区域数目较少，并且采用动态规划法求解映射曲线，具有较低的时间复杂度. 总体而言，虽然不及全局阶调映射算法，但是本研究算法作为局部阶调映射算法具有优良的运算速度.

表 5   对比算法的平均运行时间

Tab.5  Average operation time of compared algorithms

算法 平均运行时间/s
Drago et al. [4] 5.61
Kimet al. [22] 2.08
Reinhard et al. [23] 2.73
Khan et al. [8] 8.95
Krawcyzk et al. [24] 11.90
Shan et al. [25] 169.01
Liang et al. [11] 68.07
Liet al. [26] 183.38
本研究算法 15.64

新窗口打开| 下载CSV


4. 结　语

本研究算法将阶调映射问题转化为一维K均值聚类问题，建立相应的求解目标函数，提出区域均匀性判据并依此调节映射曲线的细节增强性能. 同时，本研究算法启发性地采用图像分块与融合的方式，基于子图像直方图的映射曲线能有效保留局部对比度，而双边滤波形式的图像融合方法则兼顾距离与亮度差，消除边界伪影从而保证图像的整体观感.

实验表明，本研究算法阶调映射性能表现突出，具有最优的结构保真性、自然性以及TMQI平均分数，提升HDR图像的阶调映射效果. 由视觉评估中可知，本研究算法有效地压缩图像的动态范围，在提升局部对比度的同时保持图像的全局外貌.

本研究算法采用矩形区域划分图像，可以探索并结合亮度及语义信息图像进行划分. 文中的参数可以依据图像大小及亮度分布进行调整，具有一定普适性. 之后的研究中，可以结合FPGA或GPU等硬件设备进一步改善运算效率.

参考文献

REINHARD E, HEIDRICH W, DEBEVEC P, et al. High dynamic range imaging: acquisition, display, and image-based lighting [M]. Morgan: Kaufmann, 2010: 1-18.

[本文引用: 1]

方竞宇. 高动态范围彩色图像捕获与显示方法及技术研究[D]. 杭州: 浙江大学, 2016: 78-80.

[本文引用: 1]

FANG Jing-yu. Study on methodology and technology of acquisition and rendering for high dynamic range color images [D]. Hangzhou: Zhejiang University, 2016: 78-80.

[本文引用: 1]

WARD G

A contrast-based scale factor for luminance display

[J]. Graphics Gems, 1994, 4: 415- 421

[本文引用: 1]

DRAGO F, MYSZKOWSKI K, ANNEN T, et al. Adaptive logarithmic mapping for displaying high contrast scenes [C]// Computer Graphics Forum. Oxford, UK: Blackwell Publishing, Inc, 2003: 419-426.

[本文引用: 7]

TUMBLIN J, RUSHMEIER H

Tone reproduction for realistic images

[J]. IEEE Computer Graphics and Applications, 1993, 13 (6): 42- 48

DOI:10.1109/38.252554      [本文引用: 1]

SCHLICK C. Quantization techniques for visualization of high dynamic range pictures, photorealistic rendering techniques [M]. Berlin, Heidelberg: Springer, 1995: 7-20.

[本文引用: 1]

MA K, YEGANEH H, ZENG K, et al

High dynamic range image compression by optimizing tone mapped image quality index

[J]. IEEE Transactions on Image Processing, 2015, 24 (10): 3086- 3097

DOI:10.1109/TIP.2015.2436340      [本文引用: 1]

KHAN I R, AZIZ W, SHIM S O

Tone-mapping using perceptual-quantizer and image histogram

[J]. IEEE Access, 2020, 8: 31350- 31358

DOI:10.1109/ACCESS.2020.2973273      [本文引用: 7]

AMBALATHANKANDY P, IKEBE M, YOSHIDA T, et al

An adaptive global and local tone mapping algorithm implemented on FPGA

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30 (9): 3015- 3028

[本文引用: 1]

ZHANG X S, YANG K F, ZHOU J, et al

Retina inspired tone mapping method for high dynamic range images

[J]. Optics Express, 2020, 28 (5): 5953- 5964

DOI:10.1364/OE.380555      [本文引用: 1]

LIANG Z, XU J, ZHANG D, et al. A hybrid l1-l0 layer decomposition model for tone mapping [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, 2018: 4758-4766.

[本文引用: 8]

FAHIM M A N I, JUNG H Y

Fast single-image HDR tone-mapping by avoiding base layer extraction

[J]. Multidisciplinary Digital Publishing Institute, 2020, 20 (16): 4378

[本文引用: 1]

NGUYEN N H, VAN V T, LEE C

Human visual system model-based optimized tone mapping of high dynamic range images

[J]. IEEE Access, 2021, 9: 127343- 127355

DOI:10.1109/ACCESS.2021.3112046      [本文引用: 1]

DUAN J, BRESSAN M, DANCE C, et al

Tone-mapping high dynamic range images by novel histogram adjustment

[J]. Pattern Recognition, 2010, 43 (5): 1847- 1862

DOI:10.1016/j.patcog.2009.12.006      [本文引用: 1]

OSKARSSON M

Temporally consistent tone mapping of images and video using optimal k-means clustering

[J]. Journal of Mathematical Imaging and Vision, 2017, 57 (2): 225- 238

DOI:10.1007/s10851-016-0677-1     

LARSON G W, RUSHMEIER H, PIATKO C

A visibility matching tone reproduction operator for high dynamic range scenes

[J]. IEEE Transactions on Visualization and Computer Graphics, 1997, 3 (4): 291- 306

DOI:10.1109/2945.646233      [本文引用: 1]

WANG H, SONG M

Ckmeans. 1d. dp: optimal k-means clustering in one dimension by dynamic programming

[J]. The R Journal, 2011, 3 (2): 29

DOI:10.32614/RJ-2011-015      [本文引用: 1]

石雅婷, 顾晓娟

人眼亮度感知特性在高动态范围影像中的应用

[J]. 现代电影技术, 2021, 9: 9- 16

DOI:10.3969/j.issn.1673-3215.2021.09.002      [本文引用: 1]

SHI Ya-ting, GU Xiao-juan

The application of human lightness perception in high dynamic range images

[J]. Advanced Motion Picture Technology, 2021, 9: 9- 16

DOI:10.3969/j.issn.1673-3215.2021.09.002      [本文引用: 1]

徐海松. 颜色信息工程第2版 [M]. 杭州: 浙江大学出版社, 2015: 50-54.

[本文引用: 1]

XU Hai-song. Color information engineering and the second edition [M]. Hangzhou: Zhejiang University Press, 2015: 50-54.

[本文引用: 1]

PANETTA K, KEZEBOU L, OLUDARE V, et al

TMO-Net: a parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale HDR dataset

[J]. IEEE Access, 2021, 9: 39500- 39517

DOI:10.1109/ACCESS.2021.3064295      [本文引用: 1]

YEGANEH H, WANG Z

Objective quality assessment of tone-mapped images

[J]. IEEE Transactions on Image Processing, 2012, 22 (2): 657- 667

[本文引用: 1]

KIM M H, KAUTZ J. Consistent tone reproduction [C]// Proceedings of the Tenth IASTED International Conference on Computer Graphics and Imaging. ACTA Press Anaheim, 2008: 152-159.

[本文引用: 5]

REINHARD E, STARK M, SHIRLEY P, et al. Photographic tone reproduction for digital images [C]// Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques. San Antonio Texas, 2002: 267-276.

[本文引用: 4]

KRAWCZYK G, MYSZKOWSKI K, SEIDEL H P. Lightness perception in tone reproduction for high dynamic range images [C]// Computer Graphics Forum. North Holland, 2005: 635-646.

[本文引用: 5]

SHAN Q, JIA J, BROWN M S

Globally optimized linear windowed tone mapping

[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 16 (4): 663- 675

[本文引用: 6]

LI H, JIA X, ZHANG L

Clustering based content and color adaptive tone mapping

[J]. Computer Vision and Image Understanding, 2018, 168: 37- 49

DOI:10.1016/j.cviu.2017.11.001      [本文引用: 7]

BANTERLE F, ARTUSI A, DEBATTISTA K, et al. Advanced high dynamic range imaging [M]. AK Peters/CRC Press, Massachusetts, 2017: 271-276.

[本文引用: 1]

/

〈 〉