Please wait a minute...
浙江大学学报(工学版)
浙江大学学报(工学版)  2022, Vol. 56 Issue (7): 1285-1293, 1319    DOI: 10.3785/j.issn.1008-973X.2022.07.003
计算机技术、信息技术     
H.266/VVC分步全零块判决快速算法
牛伟宏1(),黄晓峰1,3,祁伟1,殷海兵1,*(),颜成钢2
1. 杭州电子科技大学 通信工程学院，浙江 杭州 310018
2. 杭州电子科技大学 自动化学院，浙江 杭州 310018
3. 北京大学信息技术高等研究院，浙江 杭州 311215
Fast stepwise all zero block detection algorithm for H.266/VVC
Wei-hong NIU1(),Xiao-feng HUANG1,3,Wei QI1,Hai-bing YIN1,*(),Cheng-gang YAN2
1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China
2. College of Automation, Hangzhou Dianzi University, Hangzhou 310018, China
3. Advanced Institute of Information Technology, Peking University, Hangzhou 311215, China
 全文: PDF(1177 KB)   HTML
摘要：

为了减少编码计算复杂度，提出分步全零块判决快速算法. 基于硬决策量化公式推导固定阈值，判决出真全零块. 通过与变换块尺寸和量化参数（QP）相关的自适应阈值，判决出伪全零块. 通过提取出8个与量化结果密切相关的特征，基于全连接神经网络（FCNN）对剩余未判决的块进行最后判决. 实验结果表明，提出的分步全零块判决快速算法在Low Delay B和Random Access配置下，在性能平均损失分别仅为0.458%和0.575%的情况下，分别平均减少了7.382%和7.237%的编码复杂度.
关键词： 全零块;  硬决策量化;  量化参数;  全连接神经网络(FCNN)    
Abstract:

A fast algorithm for all zero block detection was proposed in order to reduce the computational complexity. A fixed threshold was derived based on the hard decision quantization formula in order to detect genuine all zero blocks. Pseudo all zero blocks were further detected by the adaptive threshold related to the transform block size and quantization parameter (QP). The decision was made based on the fully connected neural network (FCNN) for the remaining blocks by extracting eight features that were closely related to the result of quantization. The experimental results showed that the proposed fast algorithm achieved up to 7.382% and 7.237% coding complexity saving under Low Delay B and Random Access configurations with only 0.458% and 0.575% performance loss on average, respectively.
Key words: all zero block    hard decision quantization    quantization parameter    fully connected neural network (FCNN)
收稿日期: 2021-07-07 出版日期: 2022-07-26
CLC:  TP 391  
基金资助: 国家自然科学基金资助项目（61901150，61572449，61972123）；浙江省自然科学基金资助项目（LQ19F010011）
通讯作者: 殷海兵     E-mail: wh_niu@hdu.edu.cn;yhb@hdu.edu.cn
作者简介: 牛伟宏（1998—），男，硕士生，从事视频编解码的研究. orcid.org/0000-0002-7233-0768. E-mail： wh_niu@hdu.edu.cn
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
作者相关文章　　
牛伟宏
黄晓峰
祁伟
殷海兵
颜成钢

引用本文:

牛伟宏,黄晓峰,祁伟,殷海兵,颜成钢. H.266/VVC分步全零块判决快速算法[J]. 浙江大学学报(工学版), 2022, 56(7): 1285-1293, 1319.

Wei-hong NIU,Xiao-feng HUANG,Wei QI,Hai-bing YIN,Cheng-gang YAN. Fast stepwise all zero block detection algorithm for H.266/VVC. Journal of ZheJiang University (Engineering Science), 2022, 56(7): 1285-1293, 1319.

链接本文:

https://www.zjujournals.com/eng/CN/10.3785/j.issn.1008-973X.2022.07.003    或    https://www.zjujournals.com/eng/CN/Y2022/V56/I7/1285

图 1  分步全零块检测框架图
图 2  真全零块、伪全零块和非全零块的分布
M $ \varepsilon $/% $ \eta $/%
SVM FCNN
64 87.17 95.43 3.535
128 83.79 91.65 3.535
256 82.97 93.28 3.535
512 80.62 93.43 3.535
表 1  支持向量机与全连接神经网络算法的对比
图 3  全连接神经网络的结构
图 4  预量化系数的分布图
图 5  预量化系数占比的均值
图 6  变换系数的位置标注
图 7  低频区域能量占比的均值
图 8  语法元素（量化系数标识）的均值
量化块 M 系数级特征 TU级特征 上下文级特征
$ {n_0} $ $ {n_1} $ $ \;\beta $ SIG( $ {P_1} $) SIG( $ {P_2} $) SIG( $ {P_3} $) CSBF CBF
AZB 64 0.9258 0.0742 0.1537 0.3725 0.3323 0.3546 0.0789 0.2932
AZB 128 0.9383 0.0617 0.1051 0.3729 0.3516 0.3621 0.0826 0.3922
AZB 256 0.9488 0.0512 0.0677 0.3870 0.3586 0.3783 0.0939 0.4193
AZB 512 0.9530 0.0470 0.0426 0.3946 0.3622 0.3825 0.0948 0.4244
NAZB 64 0.8350 0.1337 0.2734 0.5499 0.4958 0.5371 0.1340 0.6625
NAZB 128 0.8602 0.1141 0.2046 0.5467 0.4944 0.5284 0.1267 0.6523
NAZB 256 0.8696 0.1088 0.1473 0.5334 0.4891 0.5209 0.1235 0.6200
NAZB 512 0.8725 0.1061 0.1006 0.5323 0.4879 0.5155 0.1200 0.5648
表 2  全零块和非全零块的不同特征比较
类别 文献[14]方法 文献[15]方法 文献[16]方法 本文算法
$ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/%
B 5.02 1.86 4.76 1.56 5.82 1.45 9.15 0.62
C 4.91 1.75 4.06 1.59 4.37 1.64 7.06 0.51
D 4.82 1.82 4.47 1.62 4.42 1.31 6.91 0.40
E 4.89 1.82 3.64 1.52 4.26 1.33 6.66 0.41
F 4.81 1.80 4.37 1.54 4.91 1.22 7.13 0.35
平均值 4.890 1.810 4.260 1.566 4.756 1.390 7.382 0.458
表 3  LDB配置下的编码性能对比
类别 文献[14]方法 文献[15]方法 文献[16]方法 本文算法
$ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/% $ \vartriangle {T_{{\text{Enc}}}} $/% BD-Rate/%
A1 5.92 1.98 6.18 1.34 6.90 1.37 8.90 0.59
A2 5.67 1.82 5.45 1.45 6.21 1.37 9.15 0.53
B 4.48 1.89 4.17 1.53 4.33 1.43 6.54 0.58
C 4.33 1.73 3.93 1.56 4.19 1.75 6.97 0.61
D 4.36 1.82 4.36 1.55 4.09 1.59 6.14 0.52
F 3.13 1.87 2.90 1.53 3.08 1.51 5.72 0.62
平均值 4.648 1.852 4.498 1.493 4.800 1.503 7.237 0.575
表 4  RA配置下的编码性能对比
类别 文献[14]方法 文献[15]方法 文献[16]方法 本文算法
FNR FPR FNR FPR FNR FPR FNR FPR
B 0.333 0.101 0.081 0.090 0.082 0.076 0.043 0.040
C 0.388 0.111 0.089 0.087 0.102 0.090 0.060 0.051
D 0.426 0.116 0.084 0.092 0.080 0.110 0.040 0.078
E 0.481 0.096 0.098 0.084 0.101 0.109 0.066 0.073
F 0.469 0.099 0.097 0.089 0.087 0.087 0.074 0.061
平均值 0.419 0.105 0.090 0.088 0.090 0.094 0.057 0.061
表 5  LDB配置下的检测精度对比
类别 文献[14]方法 文献[15]方法 文献[16]方法 本文算法
FNR FPR FNR FPR FNR FPR FNR FPR
A1 0.457 0.108 0.093 0.109 0.105 0.094 0.071 0.076
A2 0.355 0.105 0.096 0.110 0.098 0.104 0.074 0.078
B 0.508 0.115 0.107 0.100 0.087 0.089 0.053 0.071
C 0.456 0.124 0.108 0.103 0.086 0.077 0.067 0.052
D 0.536 0.099 0.090 0.105 0.083 0.086 0.048 0.063
F 0.655 0.105 0.088 0.087 0.095 0.097 0.057 0.067
平均值 0.495 0.109 0.097 0.102 0.092 0.091 0.062 0.068
表 6  RA配置下的检测精度对比
1 BROSS B, WANG Y K, YE Y, et al Overview of the versatile video coding (VVC) standard and its applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31 (10): 3736- 3764
doi: 10.1109/TCSVT.2021.3101953
2 SULLIVAN G J, OHM J R, HAN W J, et al Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22 (12): 1649- 1668
doi: 10.1109/TCSVT.2012.2221191
3 ZHANG Z B, ZHAO X, LI X, et al. Fast adaptive multiple transform for versatile video coding [C]// 2019 Data Compression Conference. Utah: IEEE, 2019: 63-72.
4 HONG Z, LIN J C, JIANG D, et al. Improve the efficiency of low frequency non-separable secondary transform based on implicit multiple transform selection [C]// 2019 International Conference on Artificial Intelligence and Advanced Manufacturing. Dublin: IEEE, 2019: 148-151.
5 CHEN J, YE Y, KIM S. Algorithm description for versatile video coding and test model 10 (VTM 10.0) [EB/OL]. (2020-10-10) [2021-07-03]. http://phenix.it-sudparis.eu/jvet/index.php/JVET-S2002.doc.
6 SULLIVAN G. Adaptive quantization encoding technique using an equal expected-value rule [EB/OL]. (2005-01-13) [2021-07-03]. https://www.itu.int/wftp3/av-arch/jvt-site/2005_01_HongKong/JVT-N011.doc.
7 WEN J T, LUTTRELL M, VILLASENOR J Trellis-based RD optimal quantization in H.263+[J]. IEEE Transactions on Image Processing, 2000, 9 (8): 1431- 1434
doi: 10.1109/83.855437
8 KARCZEWICZ M, YE Y, CHONG I. Rate distortion optimized quantization [EB/OL]. (2008-01-09) [2021-07-03]. https://www.itu.int/wftp3/av-arch/video-site/0801_Ant/VCEG-AH21.doc.
9 WANG M, WANG S Q, LI J R, et al Low complexity trellis-coded quantization in versatile video coding[J]. IEEE Transactions on Image Processing, 2021, 30: 2378- 2393
doi: 10.1109/TIP.2021.3051460
10 WIEGAND T, SULLIVAN G J, BJONTEGAARD G, et al Overview of the H. 264/AVC video coding standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13 (7): 560- 576
doi: 10.1109/TCSVT.2003.815165
11 WANG H L, KWONG S Prediction of zero quantized DCT coefficients in H. 264/AVC using Hadamard transformed information[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18 (4): 510- 515
doi: 10.1109/TCSVT.2008.918553
12 ZHAO Y, YUAN Y L. All-zero block detecting algorithm based on look-up threshold tables in H. 264 [C]// 6th International Conference on Digital Content, Multimedia Technology and its Applications. Seoul: IEEE, 2010: 183-187.
13 YANG E H, YU X Soft decision quantization for H. 264 with main profile compatibility[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 19 (1): 122- 127
14 LEE K, LEE H J, KIM J, et al A novel algorithm for zero block detection in high efficiency video coding[J]. IEEE Journal of Selected Topics in Signal Processing, 2013, 7 (6): 1124- 1134
doi: 10.1109/JSTSP.2013.2272772
15 CUI J, XIONG R Q, ZHANG X F, et al Hybrid all zero soft quantized block detection for HEVC[J]. IEEE Transactions on Image Processing, 2018, 27 (10): 4987- 5001
doi: 10.1109/TIP.2018.2837351
16 YIN H B, YANG H Y, HUANG X F, et al Multi-stage all-zero block detection for HEVC coding using machine learning[J]. Journal of Visual Communication and Image Representation, 2020, 73: 102945
doi: 10.1016/j.jvcir.2020.102945
17 QI Y, YU C, DAI X. Research on radar plot classification based on fully connected neural network [C]// 2019 3rd International Conference on Electronic Information Technology and Computer Engineering. Xiamen: IEEE, 2019: 698-703.
18 ZHANG Z. Improved adam optimizer for deep neural networks[C]// 2018 IEEE/ACM 26th International Symposium on Quality of Service. Arizona: IEEE, 2018: 1-2.
19 MARPE D, SCHWARZ H, WIEGAND T Context-based adaptive binary arithmetic coding in the H. 264/AVC video compression standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13 (7): 620- 636
doi: 10.1109/TCSVT.2003.815173
20 BOSSEN F, BOYCE J, SUEHRING K, et al. JVET common test conditions and software reference configurations for SDR video [EB/OL]. (2019-05-08) [2021-07-03]. http://phenix.it-sudparis.eu/jvet/index.php/JVET-N1010-v1.doc.
[1] 孙菲,厉小润,赵辽英,余绍奇. 基于FrFT变换和全变分正则化的异常检测算法[J]. 浙江大学学报(工学版), 2022, 56(7): 1276-1284.
[2] 张迅,李建胜,欧阳文,陈润泽,汲振,郑凯. 融合运动信息和跟踪评价的高效卷积算子[J]. 浙江大学学报(工学版), 2022, 56(6): 1135-1143, 1167.
[3] 周国华,卢剑伟,倪彤光,胡学龙. 层次型非线性子空间字典学习[J]. 浙江大学学报(工学版), 2022, 56(6): 1159-1167.
[4] 王友卫,童爽,凤丽洲,朱建明,李洋,陈福. 基于图卷积网络的归纳式微博谣言检测新方法[J]. 浙江大学学报(工学版), 2022, 56(5): 956-966.
[5] 徐小高,夏莹杰,朱思雨,邝砾. 基于强化学习的多路口可变车道协同控制方法[J]. 浙江大学学报(工学版), 2022, 56(5): 987-994, 1005.
[6] 何立,庞善民. 结合年龄监督和人脸先验的语音-人脸图像重建[J]. 浙江大学学报(工学版), 2022, 56(5): 1006-1016.
[7] 陈成,张皞,李永强,冯远静. 关系生成图注意力网络的知识图谱链接预测[J]. 浙江大学学报(工学版), 2022, 56(5): 1025-1034.
[8] 张雪芹,李天任. 基于Cycle-GAN和改进DPN网络的乳腺癌病理图像分类[J]. 浙江大学学报(工学版), 2022, 56(4): 727-735.
[9] 许萌,王丹,李致远,陈远方. IncepA-EEGNet: 融合Inception网络和注意力机制的P300信号检测方法[J]. 浙江大学学报(工学版), 2022, 56(4): 745-753, 782.
[10] 吴兰,王涵,李斌全,李崇阳,孔凡士. 基于自监督任务的多源无监督域适应法[J]. 浙江大学学报(工学版), 2022, 56(4): 754-763.
[11] 柳长源,何先平,毕晓君. 融合注意力机制的高效率网络车型识别[J]. 浙江大学学报(工学版), 2022, 56(4): 775-782.
[12] 张娜,戚旭磊,包晓安,吴彪,涂小妹,金瑜婷. 基于优化预测定位的单阶段目标检测算法[J]. 浙江大学学报(工学版), 2022, 56(4): 783-794.
[13] 王勇超,曹钰,杨玉辉,许端清. 基于知识迁移和双向异步序列的对话生成模型[J]. 浙江大学学报(工学版), 2022, 56(3): 520-530.
[14] 程若然,赵晓丽,周浩军,叶翰辰. 基于深度学习的中文字体风格转换研究综述[J]. 浙江大学学报(工学版), 2022, 56(3): 510-519, 530.
[15] 郑黄河,黄志球,李伟湋,喻垚慎,王永超. 基于自然近邻与协同过滤的API推荐方法[J]. 浙江大学学报(工学版), 2022, 56(3): 494-502.