哈希编码优化的IRON逆渲染模型：重建几何与材质

doi:10.3785/j.issn.1008-9497.2023.06.010

浙江大学学报（理学版）

2023, Vol. 50

Issue (6): 754-760 DOI: 10.3785/j.issn.1008-9497.2023.06.010

第26届全国计算机辅助设计与图形学学术会议专题

哈希编码优化的IRON逆渲染模型：重建几何与材质

张沛全,许威威(

)

浙江大学计算机科学与技术学院，浙江杭州 310058

Hash encoding empowered IRON for inverse rendering: Geometry and material reconstruction

Peiquan ZHANG,Weiwei XU(

)

College of Computer Science and Technology，Zhejiang University，Hangzhou 310058，China

全文: PDF(2773 KB)

HTML( 1 )

摘要：

将神经网络用于场景几何材质的高效表达，结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图，为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON（inverse rendering by optimizing neural SDFs and materials from photometric images）神经渲染模型基础上，通过引入多分辨率哈希编码，采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明，优化后的IRON逆渲染模型训练速度提升了约40%，且重建结果中包含更多细节。

关键词： 符号距离场; 神经渲染; 哈希编码

Abstract:

In recent years, the utilization of neural networks to represent 3D scenes for novel view synthesis has emerged as a new research focus in computer graphics, known as neural rendering. Neural networks can also be applied to efficiently represent the geometry and materials of scenes, enabling the reconstruction of high-quality meshes and texture maps under the supervision of 2D photometric images in inverse rendering, thus serving existing graphics pipelines. In this paper, we extend the latest inverse rendering by optimizing neural SDFs and materials from photometric images (IRON) neural rendering model by introducing a multiresolution hash encoding technique and employing strategies such as freezing parameters to enhance the training speed of the original model. Through comparative evaluations on multiple datasets, we achieve approximately 40% improvement in training speed compared to the original model, while producing reconstructions with more details.

Key words: signed distance fields neural rendering hash encoding

收稿日期: 2023-06-12 出版日期: 2023-11-30

CLC:

TP 391

基金资助: 国家自然科学基金重点项目(61732016)

通讯作者: 许威威 E-mail: xww@cad.zju.edu.cn

作者简介: 张沛全（2000—），ORCID： https：//orcid.org/0009-0001-8892-4683，男，本科生，主要从事计算机图形学研究.

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	张沛全
	许威威

引用本文:

张沛全,许威威. 哈希编码优化的IRON逆渲染模型：重建几何与材质[J]. 浙江大学学报（理学版）, 2023, 50(6): 754-760.

Peiquan ZHANG,Weiwei XU. Hash encoding empowered IRON for inverse rendering: Geometry and material reconstruction. Journal of Zhejiang University (Science Edition), 2023, 50(6): 754-760.

链接本文:

https://www.zjujournals.com/sci/CN/10.3785/j.issn.1008-9497.2023.06.010 或 https://www.zjujournals.com/sci/CN/Y2023/V50/I6/754

图1 边缘感知的表面渲染算法

图2 改进后的正向传播过程

表1 网络结构（宽度×深度）对比

图3 本文方法与小规模网络的重建结果对比

表2 不同模型网络结构的指标

图4 不同网络结构的渲染结果

表3 本文方法与IRON模型在不同数据集上的指标对比

图5 不同模型的渲染结果对比

图6 不同模型的几何重建结果对比

1	TEWARI A， FRIED O， THIES J， et al. State of the art on neural rendering［J］. Computer Graphic Forum， 2020， 39（2）： 701-727. DOI：10.1111/cgf.14022 doi: 10.1111/cgf.14022
2	XIE Y， TAKIKAWA T， SAITO S， et al. Neural fields in visual computing and beyond［J］. Computer Graphic Forum， 2022， 41（2）： 641-676. DOI：10. 1111/cgf.14505 doi: 10. 1111/cgf.14505
3	MILDENHALL B， SRINIVASAN P P， TANCIK M， et al. NeRF： Representing scenes as neural radiance fields for view synthesis［C］// Proceedings of the 2020 European Conference on Computer Vision. Glasgow： Springer， 2020： 405-501. DOI：10.1007/978-3-030-58452-8_24 doi: 10.1007/978-3-030-58452-8_24
4	WANG P， LIU L， LIU Y， et al. NeuS： Learning Neural Implicit Surfaces by Volume Rendering For Multi-View Reconstruction［Z］. （2021-06-20）. https：//arxiv.org/abs/2106.10689.
5	ZHANG K， LUAN F， LI Z， et al. IRON： Inverse rendering by optimizing neural SDFs and materials from photometric images［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， New Orleans： IEEE， 2022： 5555-5564. DOI：10.1109/CVPR52688.2022.00548 doi: 10.1109/CVPR52688.2022.00548
6	MÜLLER T， EVANS A， SCHIED C， et al. Instant neural graphics primitives with a multiresolution hash encoding［J］. ACM Transactions on Graphics， 2022， 41（4）： 102. DOI：10.1145/3528223.3530127 doi: 10.1145/3528223.3530127
7	MÜLLER T. Tiny-CUDA-NN［CP/OL］. （2021-01-07）. .
8	BARRON J T， MILDENHALL B， TANCIK M， et al. Mip-NeRF： A Multiscale Representation for Anti-Aliasing Neural Radiance Fields［Z］. （2021-03-24）. https：//arxiv.org/abs/2103.13415. doi:10.1109/iccv48922.2021.00580 doi: 10.1109/iccv48922.2021.00580
9	ZHANG K， RIEGLER G， SNAVELY N， et al. NeRF++： Analyzing and Improving Neural Radiance Fields［Z］. （2020-10-15）. https：//arxiv.org/abs/2010.07492v2.
10	SRINIVASAN P P， DENG B， ZHANG X， et al. NeRV： Neural reflectance and visibility fields for relighting and view synthesis［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville： IEEE， 2021： 7491-7500. DOI：10.1109/CVPR46437.2021.00741 doi: 10.1109/CVPR46437.2021.00741
11	NIEMEYER M， MESCHEDER L， OECHSLE M， et al. Differentiable volumetric rendering： Learning implicit 3D representations without 3D supervision［C］// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 3501-3512. DOI：10.1109/CVPR42600.2020.00356 doi: 10.1109/CVPR42600.2020.00356
12	YARIV L， KASTEN Y， MORAN D， et al. Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance［Z］. （2020-03-20）. https：//arxiv.org/abs/2003.09852.
13	GROPP A， YARIV L， HAIM N， et al. Implicit geometric regularization for learning shapes［C］// Proceedings of the 37th International Conference on Machine Learning. Vienna： ICML， 2020： 3569-3573.
14	MUNKBERG J， HASSELGREN J， SHEN T， et al. Extracting triangular 3D models， materials， and lighting from images［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans： IEEE， 2022： 8270-8280. DOI：10.1109/CVPR52688.2022.00810 doi: 10.1109/CVPR52688.2022.00810
15	SHEN T， GAO J， YIN K， et al. Deep Marching Tetrahedra： A Hybrid Representation for High-Resolution 3D Shape Synthesis［Z］. （2021-11-08）. https：//arxiv.org/abs/2111.04276v1.
16	MÜLLER T， ROUSSELLE F， NOVÁ K J， et al. Real-time neural radiance caching for path tracing［J］. ACM Transactions on Graphics， 2021， 40（4）： 1-16. DOI：10.1145/3450626.3459812 doi: 10.1145/3450626.3459812
17	LI Z， MÜLLER T， EVANS A， et al. Neuralangelo： High-fidelity neural surface reconstruction［C］// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver： IEEE， 2023： 8456-8465. DOI：10.1109/CVPR52729.2023. 00817 doi: 10.1109/CVPR52729.2023. 00817
18	MO S， CHO M， SHIN J. Freeze the Discriminator： A Simple Baseline for Fine-Tuning GANs［Z］. （2020-02-25）. https：//arxiv.org/abs/2002.10964v1.

[1]	程天琪,王雷,郭新萍,王钰帏,刘春香,李彬. LK-CAUNet：基于交叉注意的大内核多尺度可变形医学图像配准网络[J]. 浙江大学学报（理学版）, 2023, 50(6): 745-753.
[2]	窦丰,马会文,谢昕洋,杨万文,石雪,韩丽,林彬. 广义无监督函数映射学习的三维形状密集对应方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 736-744.
[3]	夏兆辉,刘健力,高百川,聂涛,余琛,陈龙,余金桂. 面向多尺度拓扑优化的渐进均匀化GPU并行算法研究[J]. 浙江大学学报（理学版）, 2023, 50(6): 722-735.
[4]	汪飞,李伟鸿,杨彧,姜大志,赵宝全,罗笑南. 动脉粥样硬化斑块生成的高效流固耦合不可压缩SPH模拟方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 711-721.
[5]	张泽初,彭伟龙,唐可可,余朝阳,Khan Asad,方美娥. 面向CBCT图像的金字塔微分同胚变形牙齿网格重建方法[J]. 浙江大学学报（理学版）, 2023, 50(6): 701-710.
[6]	毛涵杨,彭晨,李晨,王长波. 面向开放表面的神经移动立方体算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 692-700.
[7]	苏科华,刘百略,雷娜,李可涵,顾险峰. 基于最优质量传输的Focus+Context可视化[J]. 浙江大学学报（理学版）, 2023, 50(6): 681-691.
[8]	刘圣军,滕子,王海波,刘新儒. 基于函数映射的二维形状内蕴对称检测算法[J]. 浙江大学学报（理学版）, 2023, 50(6): 668-680.
[9]	刘泽润,尹宇飞,薛文灏,郭蕊,程乐超. 基于扩散模型的条件引导图像生成综述[J]. 浙江大学学报（理学版）, 2023, 50(6): 651-667.
[10]	谭晓东,赵奇,文明珠,王小超. 基于BEMD、DCT和SVD的混合图像水印算法[J]. 浙江大学学报（理学版）, 2023, 50(4): 442-454.
[11]	方于华,叶枫. MFDC-Net：一种融合多尺度特征和注意力机制的乳腺癌病理图像分类算法[J]. 浙江大学学报（理学版）, 2023, 50(4): 455-464.
[12]	孔翔,陈军. 一类带4个形状参数的同次三角曲面构造算法[J]. 浙江大学学报（理学版）, 2023, 50(2): 153-159.
[13]	张远鹏, 陈鸿韬, 王伟娜. 基于非凸非光滑变分模型的灰度图像泊松噪声移除算法[J]. 浙江大学学报（理学版）, 2023, 50(2): 160-166.
[14]	李军成,刘成志,罗志军,龙志文. 空间参数曲线的双目标能量极小化方法及其应用[J]. 浙江大学学报（理学版）, 2023, 50(1): 63-68.
[15]	全浩荣,刘成志,李军成,杨炼,胡丽娟. 张量积型Said-Ball曲面的预处理渐近迭代逼近法[J]. 浙江大学学报（理学版）, 2022, 49(6): 682-690.

Viewed

Full text

Abstract

Cited

Shared

Discussed