鱼类作为水产养殖中最重要的生物物种,对其进行监测有助于提高渔业的精细化管理水平。三维鱼体作为重要的量化指标,对预测鱼类生长状况[1 ] 、估计鱼群密度[2 ] 、分析鱼类种群结构[3 ] 具有重要意义。
近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能。水下三维建模主要分为主动式重建和被动式重建。主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] 。但这两种方法都无法实现对游动鱼类的三维重建。在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据。
基于真实三维注册数据的三维参数化建模已应用于多个领域,主要有人体参数化建模[9 -12 ] 、基于真实的人体扫描注册数据、统计分析人体体型分布空间、构建人体体型参数化表示模型、通过控制相关权参数生成丰富的三维人体模型等。
目前尚未见三维鱼体的参数化表示模型,为此,本文提出了一种三维鱼体参数化建模方法。主要贡献有:扫描仪采集真实三维鱼体数据,对其进行网格注册,构建拓扑结构一致的三维鱼体数据集,在此基础上,基于主成分分析法研究三维鱼体参数化建模方法,构建三维鱼体参数化表示模型,进而快速生成大量三维鱼体模型,解决了三维鱼体数据获取困难的问题。
1 相关工作
1.1 三维数据注册
对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型。其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形。BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册。ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册。AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果。LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升。
1.2 参数化建模
三维鱼类参数化建模方法多种多样. 涂晓媛等[17 ] 最早提出“人工鱼”模型,用生物力学方法建模人工鱼的物理和生理结构,设计了“质点-弹簧-阻尼”鱼体模型,其主要由23个“质点”和91个“弹簧-阻尼”单元组成。此外,还有三维仿生机器鱼模型[18 -20 ] ,将鱼体作为刚性多级连杆进行建模,但上述方法均不是对真实三维鱼体的建模,构建的三维鱼体模型主要用于水下环境作业、军事侦察、考古等,无法用于对鱼体体型的研究。
目前尚未发现有基于真实鱼体扫描数据进行参数化建模的研究工作。但在人体建模领域,基于真实的三维人体注册数据集,ALLEN等[9 ] 采用主成分分析法进行了人体体型参数化建模,通过调整身高、体重等参数生成相应的三维人体模型。之后出现了许多用相同方法进行人体体型参数化建模的工作,如经典的人体参数化SCAPE模型[10 ] 、SMPL模型[11 ] 。SCAPE模型在参数化人体姿势的基础上也对人体体型进行了参数化,但无法直接通过修改参数生成相应的体型,参数化控制不直接; 德国马普所的SMPL模型提炼了人体的10个体型参数和72个姿态参数,实现了给定参数即可生成对应的人体,但由于对参数缺乏约束,有时会生成不自然的人体,为此,2020年,马普所提出了STAR模型[12 ] ,在改进上述问题的同时也减少了参数量,是一个轻量级的人体参数化表示模型。
本文的三维鱼体参数化方法是受ALLEN等[9 ] 的工作和SMPL模型[11 ] 的启发,通过控制相关参数,直接快速生成丰富的三维鱼体模型。
2 本文方法
提出了一种基于主成分分析的鱼体参数化建模方法,主要包括鱼体扫描数据注册和鱼体体型参数化建模两部分,如图1 所示。
图1
图1
三维鱼体参数化建模方法
Fig.1
Parametric modeling method of 3D fish body
2.1 鱼体标准模板构建
扫描仪采集的原始三维鱼体数据,网格顶点数量庞大,拓扑结构杂乱,无法批量放入计算机进行统计分析和参数化建模,需对其进行网格拓扑同构处理,使网格模型具有相同的顶点数以及点之间相同的连接结构。通过标准模板变形,令变形后的模板能表征原始扫描数据,实现对原始扫描数据的注册,得到拓扑结构一致的三维鱼体注册数据。
采集鱼体多视角图像,由专业建模师在三维建模软件3ds Max中进行三维鱼体标准网格模板建模,见图2 。
图2
图2
三维鱼体标准模板构建
Fig.2
Standard template construction of 3D fish body
上述标准鱼体模板定义为S = H , Ε ,其中,H 为由m 个顶点构成的顶点集,Ε 为由n 条边构成的边集。
2.2 鱼体网格注册
用标准模板对原始扫描数据进行注册,以原始扫描鱼体数据为约束变形标准鱼体模板,令其逼近原始扫描鱼体,使变形后的模板能表征原始扫描数据。由于所有原始扫描数据的注册均基于同一标准鱼体模板,因此注册得到的数据具有一致的拓扑结构。本文采用刚性注册和非刚性注册相结合的鱼体网格注册方法,用刚性注册算法为非刚性注册算法提供初始条件。
2.2.1 刚性注册
网格注册时对标准模板和原始扫描数据的初始值较敏感,为此设计了鱼体刚性注册算法,以变换两者之间的初始位置和大小。以采集的原始三维鱼体为坐标原点,因它们处于不同的坐标系,需将扫描数据变换到标准模板坐标系下,使扫描数据和模板的位置尽量重合;因采集的不同生长周期的鱼体体型差异明显,需缩放标准模板,令每个三维鱼体的扫描数据均与一个大小相仿的模板模型对应。因此,鱼体刚性注册包含坐标变换和缩放变换。
通过坐标变换将扫描模型变换至模板空间下,目标函数定义为
T n e w = T o l d × R - t ,(1)
其中,T o l d 为原始扫描模型,R 和t 分别为扫描数据坐标系和模板坐标系之间的旋转和平移参数,T n e w 为变换到模板坐标空间的扫描模型。
缩放变换是将模板模型刚性地缩放至接近扫描模型,目标函数定义为
S n e w = S o l d × s ,(2)
其中,S o l d 为标准模板,s 为模板和扫描数据之间的缩放矩阵,S n e w 为缩放后的模板。
在刚性注册时,先进行一次坐标变换,将扫描数据变换至模板坐标系下,再进行缩放变换,将模板缩放至扫描模型大小,缩放变换将导致模板空间位置变动,因此需再进行一次坐标变换,将扫描模型调整至模板坐标系下。刚性注册算法步骤如下:
输出 坐标变换后的网格T n e w ,缩放变换后模板的S n e w 。
Step1.1 求解T o l d 和S o l d 2个坐标系之间的R 和t 。
Step1.2 用式(1)将T o l d 变换为T n e w 1 。
Step2.1 求解T n e w 1 和S o l d 之间的缩放矩阵s 。
Step2.2 用式(2)将S o l d 变换为S n e w 。
Step3.1 求解T n e w 1 和S n e w 2个坐标系之间的R 和t 。
Step3.2 用式(1)将T n e w 1 变换为T n e w 。
2.2.2 非刚性注册
通过鱼体刚性注册,在空间位置和大小上令标准模板和扫描模型近似对齐,但作为柔性物体的鱼类,鱼体之间存在差异,因此,还需进行鱼体非刚性注册,通过调整模板使其逼近扫描模型,令调整后的模板能最大限度地表征扫描鱼体模型体型。
用非刚性ICP算法进行鱼体模型非刚性注册,非刚性注册算法思想如图3 所示,其中,S 表示标准模板,S ' 表示变形后的模板,T 表示扫描模型。非刚性ICP算法,即最小化S ' 和T 之间的距离,使S ' 能够表征T 。
图3
图3
非刚性ICP算法思想
Fig.3
Non-rigid ICP algorithm idea
非刚性ICP算法的目标函数由数据项误差E d 、平滑项误差E s 和特征点误差E l 组成:
E X = E d X + α E s X + β E l X ,(3)
其中,X 为模板顶点的变换矩阵,α 和β 分别为E s 和E l 的影响因子。
数据项误差E d 表征变形后的模板鱼体模型与扫描鱼体三维网格模型之间网格顶点的接近程度,具体表示为
E d X : = ∑ v i ∈ V w i v i X i - u i 2 = W V X - U F 2 ,(4)
其中,v i 表示模板模型上的第i 个顶点,X i 表示对第i 个顶点进行的变换,u i 表示v i 在扫描模型上对应的第i 个顶点,w i 表示v i 顶点的变换对整体的影响权重。式(4)第2个等式为数据项误差在所有模型数据中的表示。
平滑项误差E s 约束变形过程中相邻顶点的仿射变换矩阵,令模板平滑形变,具体表示为
E s X : = ∑ i , j ∈ ε X i - X j F 2 = ( M ⊗ G ) X F 2 ,(5)
其中,ε 为模板S 中所有边的集合,G 为权重矩阵,M 表征点之间的连接关系,M 的行表示三角形的边,列数表示顶点,当第r 条边连接第i 个顶点和第j 个顶点(i < j )时,M r i 的元素为-1,同时M r j 中的元素为1,其他元素为0,符号⊗ 表示求解M 和G 之间的Kronecker积,下标F表示范数。
特征点误差E l 表征变形后模板与扫描模型上对应特征点之间的距离,相当于稀疏的数据误差项,具体表示为
E l X : = ∑ ( v i , l ) ∈ l i ( X i v i - l i ) G F 2 = V L X - U L F 2 ,(6)
其中,L = ( v 1 , l 1 ) , ( v 2 , l 2 ) , ⋯ , ( v i , l i ) 为特征点。
E X = W V α M ⊗ G β V L X - W U O U L F 2 = A X - B F 2 ,(7)
令该二次损失函数的导数为0,直接求解,当X = A T A - 1 A T B 时,损失函数值最小。
由于特征点需要手动标记,而采集的鱼体扫描数据和模板数据顶点数量又较多,只有标记了大量标记点的数据才有较好的注册效果,但手动标记大量顶点造成的误差将影响鱼体模板模型变形的准确性。基于准确性和配准效率考虑,因在鱼体非刚性注册时没有使用特征点误差E l ,故设置β = 0 ,则在鱼体非刚性注册中,目标函数可简化为
E X = W V α M ⊗ G X - W U O F 2 = A X - B F 2 ,(8)
在每轮迭代中,α 依次取50,20,2,0.8,0.5,0.35,0.2。
2.3 鱼体参数化建模
参数化建模又称变量建模,通过统计分析三维注册数据集,用少量变量表征数据集中模型的三维空间分布,由控制变量生成丰富的三维模型。主成分分析(principal component analysis, PCA)作为一种最广泛使用的数据降维算法,其主要思想是将n 维特征映射至k 维,称此k 维全新的正交特征为主成分。k 维主成分保留了原n 维数据中绝大部分维度特征,实现以少数维度表示高维空间。本文用PCA法进行鱼体三维模型参数化建模,实现用低维度参数空间表示高维的三维鱼体网格数据。
S = S E + D ω s ,(9)
其中,S E ∈ ℝ 3 N 表示三维鱼体的平均体型,D ∈ ℝ 3 N × k 表示由k 个主成分分量构成的主成分矩阵,S ∈ ℝ 3 N 表示参数控制生成的具有N 个顶点的三维鱼体网格模型,ω s ∈ ℝ k 表示k 个可调控参数。
S E = 1 K ∑ i ∈ K i S i (10)
其中,K 为三维鱼体数据集中的鱼体网格模型数,S i 为第i 个鱼体的三维网格向量。
对所有鱼体数据去均值,得到三维鱼体体型的变化空间U :
U i = S i - E S ,(11)
U = U 1 , U 2 , ⋯ , U K ,(12)
其中,U i ∈ ℝ 3 N 为数据集中第i 个鱼体去均值后的向量表示,U ∈ ℝ 3 N × K 为由数据集中所有K 个鱼体去均值后向量U i 构成的高维矩阵。
分解U 求解其特征向量,取前k 个特征向量作为主成分,此k 维主成分能表征U 空间的主要特征:
D = D 1 , D 2 , ⋯ , D k 。(13)
用一组权参数w s = w 1 , w 2 , ⋯ , w k 表示鱼体模型S :
S = S E + w 1 × D 1 + w 2 × D 2 + ⋯ + w k × D k 。(14)
通过设置权参数w s 可合成新的鱼体模型,w s 即为参数化构造得到的可控制的权参数。
3 实验与分析
草鱼是典型的纺锤鱼型,因其体型特征变化明显,故选择草鱼作为实验鱼。采集草鱼的多视角图像,由专业建模师给出有粒度划分的拓扑结构清晰的三维鱼体标准模板,该标准模板共有9 846个顶点,19 688个三角面片,如图4 所示。
图4
图4
标准鱼体模板
Fig.4
Standard fish template
搭建扫描平台采集草鱼的全包围数据,将草鱼挂起,固定鱼鳍使其呈张开状态,用手持式激光扫描仪扫描,如图5 所示。共采集11条处于不同生长期的草鱼扫描数据,每个三维鱼体扫描数据的三角面片数均超30万,其中含大量冗余数据。为提高注册效率,用经典的网格简化算法:二次误差量(quadric error metrics,QEM)[21 ] 法简化原始扫描数据,将三维鱼体扫描数据降采样至近似标准鱼体模板的顶点数和三角面片数。
图5
图5
草鱼扫描数据采集
Fig.5
Grass carp scan data collection
3.1 鱼类刚性注册实验
对降采样后的11条草鱼的扫描数据进行刚性注册实验。经坐标变换,将草鱼的扫描数据变换至标准模板坐标空间;对标准模板进行缩放变换,使采集的所有草鱼数据均对应一个大小相近的模板。
图6 给出了4组草鱼体刚性注册的实验结果。其中,第1行为刚性注册前的模板模型(浅色)和扫描模型(深色),分别位于2个坐标空间,且大小差异明显;第2行和第3行为刚性注册后的效果,模板和扫描模型已调整至同一坐标空间,标准模板调整至近似扫描模型大小。
图6
图6
刚性注册实验结果
Fig.6
Results of rigid registration experiment
3.2 鱼类非刚性注册实验
基于刚性注册结果进行非刚性注册实验,计算机配置为Quad-Core Intel Core i5 CPU @2.00 GHz,内存为16 GB,操作系统为macOS。图7 给出了4组鱼体非刚性注册的实验结果。以上述刚性注册结果作为非刚性注册的输入,得到的变形模板模型(浅色)高度逼近扫描模型(深色)。
图7
图7
非刚性注册实验结果
Fig.7
Results of non-rigid registration experiment
进一步,对变形模板的变形精度进行定量分析,表1 记录了11条草鱼扫描数据非刚性注册后变形模板与扫描数据之间的均方根误差以及注册所需配准时间,平均均方根误差为0.691 3 mm,平均配准时间为45.61 s,注册精度和配准时间均在可接受范围,定量分析表明,变形后的鱼体模板能很好地表征真实扫描鱼体体型。
由于标准鱼体模板有9 846个顶点、19 688个三角面片,在最终构建的三维鱼类注册数据库中,11个鱼体模型的顶点数均为9 846,三角面片数均为19 688。
3.3 鱼体体型参数化实验
对上述非刚性注册构建的三维鱼体拓扑数据集进行了鱼体参数化建模实验,图8 为生成的三维鱼体平均体型。经多次实验发现,当k = 4 ,权参数w s = w 1 , w 2 , w 3 , w 4 施加在平均鱼体体型上时,鱼体体型会发生较大变化,而当k > 5 时,改变权参数,鱼体体型变化不明显,故取k = 4 ,即采用4维主成分进行定性与定量分析,平均鱼体体型默认的权参数为w s = 1.000,1.000,1.000,1.000 。
图8
图8
三维鱼体平均体型
Fig.8
Three-dimensional mean body shape of fish
图9 给出了鱼体定量分析示意,绿线为鱼体体长,红线为体高,蓝线为体宽,通过计算体长、体高和体宽,定量分析鱼体模型的变化。
图9
图9
鱼体定量分析示意
Fig.9
Schematic diagram of quantitative analysis of fish
图10 为改变权参数w 1 时生成的三维鱼体模型的侧视图和俯视图,第1列为w 1 = 0.851 时生成的鱼体体型,第2列为w 1 = 1.000 时生成的鱼体体型,第3列为w 1 = 1.135 时生成的鱼体体型,可以发现,减小或增大w 1 ,生成的鱼体体型较标准鱼体体型有所缩小或放大。表2 定量分析了权参数w 1 对鱼体体长、体高和体宽变化的影响,发现随着w 1 的变化,鱼体的体长、体高和体宽均发生了明显变化,w 1 控制鱼体体型的整体变化。
图 10
图 10
三维鱼体模型随权参数w 1 的变化
(a) w 1 =0.851 (b) w 1 =1.000 (c) w 1 =1.135
Fig.10
The three-dimensional fish model changes with the weight parameter w 1
表3 定量分析了通过控制w 2 ,w 3 ,w 4 中的某一参数,鱼体体长、体高和体宽发生的变化。分析发现,随着其中任一权参数的变化,鱼体的体长、体高、体宽只在小范围内变动。因此,w 2 ,w 3 ,w 4 对鱼体体型只有微调作用。
基于拓扑结构一致的三维鱼体数据集构建了三维鱼体参数化表示模型,通过改变不同的权参数可快速生成不同体型的三维鱼体模型。权参数w s = w 1 , w 2 , w 3 , w 4 中,第一主成分对应的权参数w 1 对鱼体体型的控制作用明显,通过调节w 1 ,生成不同体型的鱼体模型;改变权参数w 2 ,w 3 和w 4 ,鱼体体型变化不明显,此3主成分对鱼体模型只起微调作用,表征的是数据集中鱼体的个体差异。此外,任一权参数w s 不能单独改变鱼体某一维度。分析产生上述2种情况的原因,主要在于数据集规模小,注册数据集中仅有11条三维鱼体模型,而主成分分析法只有在数据集规模为参数量的5~10倍甚至更多时才能实现单维度控制以及令三维模型发生较大变化,因此在数据量较少时,只有权参数w 1 在生成鱼体三维模型时起决定性作用。
4 结 论
由于水底环境复杂,三维鱼体模型获取较困难,本文基于主成分分析法对三维鱼体参数化建模方法进行了研究,构建了三维鱼体参数化表示模型,通过改变相应的权参数,可快速、方便地生成丰富的三维鱼体模型,从而解决了三维鱼体模型获取困难的问题。得到的三维鱼体模型可应用于鱼体三维模型重建、三维动画等领域,但仍存在以下不足:
(1) 由于鱼鳍非常轻薄且透明,导致鱼鳍扫描不完整。在鱼体阶段,因鱼鳍注册效果不佳,出现鱼鳍三角面片法向量朝内以及三角面片交叉的情况,有待后续重点研究。
(2) 在参数化建模阶段,由于注册数据集规模较小,无法做到权参数单维度控制,造成参数设置不直观,没有与鱼体体型特征的语义相关联。后续可适当增加三维鱼体数据的采集量,将拟合的鱼体体型语义参数线性映射至参数化鱼体模型权参数空间,实现用具有语义信息的参数,如鱼体的体重、体长等生成相应大小的三维鱼体模型。
http://dx.doi.org/10.3785/j.issn.1008-9497.2022.01.003
参考文献
View Option
[1]
BERTALANFFY L VON . A quantitative theory of organic growth(inquiries on growth laws II)
[J]. Human Biology , 1938 , 10 (2 ):181 -213 .
[本文引用: 1]
[2]
SIMMONDS E J , MACLENNAN D N . Fisheries Acoustics, Theory and Practices-Fish and Fisheries Series [M]. 2nd ed . Oxford : Blackwell Publishing , 2005 :437 .
[本文引用: 1]
[3]
MONTERO D , IZQUIERDO M S , TORT L , et al . High stocking density produces crowding stress altering some physiological and biochemical parameters in gilthead seabream, Sparus aurata, juveniles
[J]. Fish Physiology and Biochemistry , 1999 , 20 (1 ): 53 -60 . DOI:10.1023/A:1007719928905
[本文引用: 1]
[4]
MASSOT-CAMPOS M , OLIVER-CODINA G . Evaluation of a laser based structured light system for 3D reconstruction of underwater environments
[C]// 5th Martech International Workshop on Marine Technology . Girona : SARTI , 2013 . doi:10.1109/icsens.2014.6985208
[本文引用: 1]
[5]
BRUNO F , BIANCO G , MUZZUPAPPA M , et al . Experimentation of structured light and stereo vision for underwater 3D reconstruction
[J]. ISPRS Journal of Photogrammetry and Remote Sensing , 2011 , 66 (4 ): 508 -518 . DOI:10.1016/j.isprsjprs. 2011. 02.009
[本文引用: 1]
[6]
YAU T H Y . Underwater Camera Calibration and 3D Reconstruction
[D]. Edmonton : University of Alberta , 2014 : 524 -531 . DOI:10.7939/R3ZC7S30V
[本文引用: 1]
[8]
LI X S , QIN K Y , YAO P , et al . 3D surface reconstruction based on binocular vision
[C]// 2014 IEEE International Conference on Mechatronics and Automation . Piscataway : IEEE , 2014 : 1861 -1865 . DOI:10.1109/ICMA.2014.6885985
[本文引用: 1]
[9]
ALLEN B , CURLESS B , POPOVIC Z . The space of human body shapes: Reconstruction and parameterization from range scans
[J]. ACM Transactions on Graphics , 2003 , 22 (3 ): 587 -594 . DOI:10.1145/882262.882311
[本文引用: 5]
[10]
ANGUELOV D , SRINIVASAN P , KOLLER D , et al . SCAPE: Shape completion and animation of people
[J]. ACM Transactions on Graphics , 2005 , 24 (3 ): 408 -416 . DOI:10.1145/1073204.1073207
[本文引用: 1]
[11]
LOPER M , MAHMOOD N , ROMERO J , et al . SMPL: A skinned multi-person linear model
[J]. ACM Transactions on Graphics , 2015 , 34 (6 ):1 -16 : DOI:10.1145/2816795.2818013
[本文引用: 2]
[12]
OSMAN A A A , BOLKART T , BLACK M J . STAR: Sparse trained articulated human body regressor
[C]// Proceedings of the European Conference on Computer Vision . Cham : Springer , 2020 : 598 -613 . DOI:10.1007/978-3-030-58539-6_36
[本文引用: 2]
[13]
BESL P J , MCKAY H D . A method for registration of 3D shapes
[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 1992 , 14 (2 ): 239 -256 . DOI:10.1109/34.121791
[本文引用: 1]
[14]
AMBERG B , ROMDHANI S , VETTER T . Optimal step nonrigid ICP algorithms for surface registration
[C]// IEEE Conference on Computer Vision and Pattern Recognition . Piscataway : IEEE , 2007 : 1 -8 . DOI:10.1109/CVPR.2007.383165
[本文引用: 1]
[15]
LI K , YANG J Y , LAI Y K , et al . Robust non-rigid registration with reweighted position and transformation sparsity
[J]. IEEE Transactions on Visualization and Computer Graphics , 2019 , 25 (6 ):2255 -2269 . DOI:10.1109/TVCG. 2018. 2832136
[本文引用: 1]
[16]
YAO Y X , DENG B L , XU W W , et al . Quasi-Newton solver for robust non-rigid registration
[C]// IEEE Conference on Computer Vision and Pattern Recognition . Piscataway : IEEE , 2020 : 7597 -7606 . DOI:10.1109/CVPR42600.2020.00762
[本文引用: 1]
[17]
TU X Y , TERZOPOULOS D . Artificial fishes: Physics, locomotion, perception, behavior
[C]// Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques . New York : Association for Computing Machinery , 1994 : 43 -50 . DOI:10.1145/192161.192170
[本文引用: 1]
[18]
ANDERSON J M , CHHABRA N K . Maneuvering and stability performance of a robotic tuna
[J]. Integrative & Comparative Biology , 2002 , 42 (1 ):118 -126 . doi:10.1093/icb/42.1.118
[本文引用: 1]
[19]
BARRETT D S , TRIANTAFYLLOU M S , YUE D K P , et al . Drag reduction in fish-like locomotion
[J]. Journal of Fluid Mechanics , 1999 , 392 : 183 -212 . DOI:10.1017/S0022112099005455
[20]
MARCHESE A D , ONAL C D , RUS D . Autonomous soft robotic fish capable of escape maneuvers using fluidic elastomer actuators
[J]. Soft Robotics , 2014 , 1 (1 ): 75 -87 . DOI:10.1089/soro. 2013.0009
[本文引用: 1]
[21]
GARLAND M , HECKBERT P S . Surface simplification using quadric error metrics
[C]// Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques . New York : Association for Computing Machinery , 1997 : 209 -216 . DOI:10.1145/258734.258849
[本文引用: 1]
A quantitative theory of organic growth(inquiries on growth laws II)
1
1938
... 鱼类作为水产养殖中最重要的生物物种,对其进行监测有助于提高渔业的精细化管理水平.三维鱼体作为重要的量化指标,对预测鱼类生长状况[1 ] 、估计鱼群密度[2 ] 、分析鱼类种群结构[3 ] 具有重要意义. ...
1
2005
... 鱼类作为水产养殖中最重要的生物物种,对其进行监测有助于提高渔业的精细化管理水平.三维鱼体作为重要的量化指标,对预测鱼类生长状况[1 ] 、估计鱼群密度[2 ] 、分析鱼类种群结构[3 ] 具有重要意义. ...
High stocking density produces crowding stress altering some physiological and biochemical parameters in gilthead seabream, Sparus aurata, juveniles
1
1999
... 鱼类作为水产养殖中最重要的生物物种,对其进行监测有助于提高渔业的精细化管理水平.三维鱼体作为重要的量化指标,对预测鱼类生长状况[1 ] 、估计鱼群密度[2 ] 、分析鱼类种群结构[3 ] 具有重要意义. ...
Evaluation of a laser based structured light system for 3D reconstruction of underwater environments
1
2013
... 近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能.水下三维建模主要分为主动式重建和被动式重建.主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] .但这两种方法都无法实现对游动鱼类的三维重建.在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据. ...
Experimentation of structured light and stereo vision for underwater 3D reconstruction
1
2011
... 近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能.水下三维建模主要分为主动式重建和被动式重建.主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] .但这两种方法都无法实现对游动鱼类的三维重建.在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据. ...
Underwater Camera Calibration and 3D Reconstruction
1
2014
... 近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能.水下三维建模主要分为主动式重建和被动式重建.主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] .但这两种方法都无法实现对游动鱼类的三维重建.在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据. ...
Surface reconstruction based on the 3D laser scanner
1
2012
... 近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能.水下三维建模主要分为主动式重建和被动式重建.主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] .但这两种方法都无法实现对游动鱼类的三维重建.在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据. ...
3D surface reconstruction based on binocular vision
1
2014
... 近年来,随着三维重建技术的发展,重建范围不断扩大,使得水下三维建模成为可能.水下三维建模主要分为主动式重建和被动式重建.主动式重建,通过发射激光雷达[4 ] 、结构光[5 ] 等重建水底环境;被动式重建,通过拍摄水底多视角图像重建水底环境[6 ] .但这两种方法都无法实现对游动鱼类的三维重建.在空中虽可利用三维扫描仪[7 ] 、基于双目视觉的三维重建[8 ] 等方法获取鱼类三维模型,但耗时费力,成本高,得到的三维模型精度不高,且不能快速批量采集,无法对基于三维鱼体数据驱动的自动化研究工作提供大量数据. ...
The space of human body shapes: Reconstruction and parameterization from range scans
5
2003
... 基于真实三维注册数据的三维参数化建模已应用于多个领域,主要有人体参数化建模[9 -12 ] 、基于真实的人体扫描注册数据、统计分析人体体型分布空间、构建人体体型参数化表示模型、通过控制相关权参数生成丰富的三维人体模型等. ...
... 对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型.其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形.BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册.ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册.AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
... [9 ]工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
... 目前尚未发现有基于真实鱼体扫描数据进行参数化建模的研究工作.但在人体建模领域,基于真实的三维人体注册数据集,ALLEN等[9 ] 采用主成分分析法进行了人体体型参数化建模,通过调整身高、体重等参数生成相应的三维人体模型.之后出现了许多用相同方法进行人体体型参数化建模的工作,如经典的人体参数化SCAPE模型[10 ] 、SMPL模型[11 ] .SCAPE模型在参数化人体姿势的基础上也对人体体型进行了参数化,但无法直接通过修改参数生成相应的体型,参数化控制不直接; 德国马普所的SMPL模型提炼了人体的10个体型参数和72个姿态参数,实现了给定参数即可生成对应的人体,但由于对参数缺乏约束,有时会生成不自然的人体,为此,2020年,马普所提出了STAR模型[12 ] ,在改进上述问题的同时也减少了参数量,是一个轻量级的人体参数化表示模型. ...
... 本文的三维鱼体参数化方法是受ALLEN等[9 ] 的工作和SMPL模型[11 ] 的启发,通过控制相关参数,直接快速生成丰富的三维鱼体模型. ...
SCAPE: Shape completion and animation of people
1
2005
... 目前尚未发现有基于真实鱼体扫描数据进行参数化建模的研究工作.但在人体建模领域,基于真实的三维人体注册数据集,ALLEN等[9 ] 采用主成分分析法进行了人体体型参数化建模,通过调整身高、体重等参数生成相应的三维人体模型.之后出现了许多用相同方法进行人体体型参数化建模的工作,如经典的人体参数化SCAPE模型[10 ] 、SMPL模型[11 ] .SCAPE模型在参数化人体姿势的基础上也对人体体型进行了参数化,但无法直接通过修改参数生成相应的体型,参数化控制不直接; 德国马普所的SMPL模型提炼了人体的10个体型参数和72个姿态参数,实现了给定参数即可生成对应的人体,但由于对参数缺乏约束,有时会生成不自然的人体,为此,2020年,马普所提出了STAR模型[12 ] ,在改进上述问题的同时也减少了参数量,是一个轻量级的人体参数化表示模型. ...
SMPL: A skinned multi-person linear model
2
2015
... 目前尚未发现有基于真实鱼体扫描数据进行参数化建模的研究工作.但在人体建模领域,基于真实的三维人体注册数据集,ALLEN等[9 ] 采用主成分分析法进行了人体体型参数化建模,通过调整身高、体重等参数生成相应的三维人体模型.之后出现了许多用相同方法进行人体体型参数化建模的工作,如经典的人体参数化SCAPE模型[10 ] 、SMPL模型[11 ] .SCAPE模型在参数化人体姿势的基础上也对人体体型进行了参数化,但无法直接通过修改参数生成相应的体型,参数化控制不直接; 德国马普所的SMPL模型提炼了人体的10个体型参数和72个姿态参数,实现了给定参数即可生成对应的人体,但由于对参数缺乏约束,有时会生成不自然的人体,为此,2020年,马普所提出了STAR模型[12 ] ,在改进上述问题的同时也减少了参数量,是一个轻量级的人体参数化表示模型. ...
... 本文的三维鱼体参数化方法是受ALLEN等[9 ] 的工作和SMPL模型[11 ] 的启发,通过控制相关参数,直接快速生成丰富的三维鱼体模型. ...
STAR: Sparse trained articulated human body regressor
2
2020
... 基于真实三维注册数据的三维参数化建模已应用于多个领域,主要有人体参数化建模[9 -12 ] 、基于真实的人体扫描注册数据、统计分析人体体型分布空间、构建人体体型参数化表示模型、通过控制相关权参数生成丰富的三维人体模型等. ...
... 目前尚未发现有基于真实鱼体扫描数据进行参数化建模的研究工作.但在人体建模领域,基于真实的三维人体注册数据集,ALLEN等[9 ] 采用主成分分析法进行了人体体型参数化建模,通过调整身高、体重等参数生成相应的三维人体模型.之后出现了许多用相同方法进行人体体型参数化建模的工作,如经典的人体参数化SCAPE模型[10 ] 、SMPL模型[11 ] .SCAPE模型在参数化人体姿势的基础上也对人体体型进行了参数化,但无法直接通过修改参数生成相应的体型,参数化控制不直接; 德国马普所的SMPL模型提炼了人体的10个体型参数和72个姿态参数,实现了给定参数即可生成对应的人体,但由于对参数缺乏约束,有时会生成不自然的人体,为此,2020年,马普所提出了STAR模型[12 ] ,在改进上述问题的同时也减少了参数量,是一个轻量级的人体参数化表示模型. ...
A method for registration of 3D shapes
1
1992
... 对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型.其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形.BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册.ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册.AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
Optimal step nonrigid ICP algorithms for surface registration
1
2007
... 对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型.其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形.BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册.ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册.AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
Robust non-rigid registration with reweighted position and transformation sparsity
1
2019
... 对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型.其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形.BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册.ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册.AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
Quasi-Newton solver for robust non-rigid registration
1
2020
... 对三维数据注册的研究已有多年,其本质是对标准网格模板进行平移、旋转、变形等操作,使得标准模板能表征所扫描的目标模型.其可分为刚性注册及在此基础上的非刚性注册,刚性注册只是将标准模板进行平移和旋转操作,非刚性注册还会使模板网格发生变形.BESL等[13 ] 提出的最近迭代点(iterative closest point, ICP)算法,通过贪心算法迭代求解2个点云模型之间的对应点,然后用最小二乘法求解得到两模型之间的旋转、平移参数,实现2个点云模型的刚性注册.ALLEN等[9 ] 提出的变形标准模板网格使其逼近真实扫描数据的方法,通过构建拓扑结构一致的网格数据集,实现非刚性注册.AMBERG等[14 ] 在ALLEN等[9 ] 工作的基础上提出了非刚性最近迭代点(non-rigid ICP, NRICP)算法,通过迭代寻找最近点实现非刚性注册,得到了较好的注册效果.LI等[15 ] 和YAO等[16 ] 提出的非刚性注册方法均用于解决最小化NRICP中的注册代价函数,前者通过重加权提高变换矩阵的稀疏性,降低计算量,后者则用优化-最小化(majorization-minimization,MM)算法将每次迭代简化为L-BFGS的最小二乘问题,2种方法在注册精度和计算速度上均有所提升. ...
Artificial fishes: Physics, locomotion, perception, behavior
1
1994
... 三维鱼类参数化建模方法多种多样. 涂晓媛等[17 ] 最早提出“人工鱼”模型,用生物力学方法建模人工鱼的物理和生理结构,设计了“质点-弹簧-阻尼”鱼体模型,其主要由23个“质点”和91个“弹簧-阻尼”单元组成.此外,还有三维仿生机器鱼模型[18 -20 ] ,将鱼体作为刚性多级连杆进行建模,但上述方法均不是对真实三维鱼体的建模,构建的三维鱼体模型主要用于水下环境作业、军事侦察、考古等,无法用于对鱼体体型的研究. ...
Maneuvering and stability performance of a robotic tuna
1
2002
... 三维鱼类参数化建模方法多种多样. 涂晓媛等[17 ] 最早提出“人工鱼”模型,用生物力学方法建模人工鱼的物理和生理结构,设计了“质点-弹簧-阻尼”鱼体模型,其主要由23个“质点”和91个“弹簧-阻尼”单元组成.此外,还有三维仿生机器鱼模型[18 -20 ] ,将鱼体作为刚性多级连杆进行建模,但上述方法均不是对真实三维鱼体的建模,构建的三维鱼体模型主要用于水下环境作业、军事侦察、考古等,无法用于对鱼体体型的研究. ...
Drag reduction in fish-like locomotion
0
1999
Autonomous soft robotic fish capable of escape maneuvers using fluidic elastomer actuators
1
2014
... 三维鱼类参数化建模方法多种多样. 涂晓媛等[17 ] 最早提出“人工鱼”模型,用生物力学方法建模人工鱼的物理和生理结构,设计了“质点-弹簧-阻尼”鱼体模型,其主要由23个“质点”和91个“弹簧-阻尼”单元组成.此外,还有三维仿生机器鱼模型[18 -20 ] ,将鱼体作为刚性多级连杆进行建模,但上述方法均不是对真实三维鱼体的建模,构建的三维鱼体模型主要用于水下环境作业、军事侦察、考古等,无法用于对鱼体体型的研究. ...
Surface simplification using quadric error metrics
1
1997
... 搭建扫描平台采集草鱼的全包围数据,将草鱼挂起,固定鱼鳍使其呈张开状态,用手持式激光扫描仪扫描,如图5 所示.共采集11条处于不同生长期的草鱼扫描数据,每个三维鱼体扫描数据的三角面片数均超30万,其中含大量冗余数据.为提高注册效率,用经典的网格简化算法:二次误差量(quadric error metrics,QEM)[21 ] 法简化原始扫描数据,将三维鱼体扫描数据降采样至近似标准鱼体模板的顶点数和三角面片数. ...