浙江大学学报(工学版)

浙江大学学报(工学版), 2023, 57(6): 1061-1070 doi: 10.3785/j.issn.1008-973X.2023.06.001

土木工程、水利工程

基于XGBoost-SHAP的钢管混凝土柱轴向承载力预测模型

陈曦泽,, 贾俊峰,, 白玉磊, 郭彤, 杜修力

1. 北京工业大学 城市建设学部，北京 100124

2. 东南大学 土木工程学院，江苏 南京 211189

Prediction model of axial bearing capacity of concrete-filled steel tube columns based on XGBoost-SHAP

CHEN Xi-ze,, JIA Jun-feng,, BAI Yu-lei, GUO Tong, DU Xiu-li

1. Faculty of Architecture, Civil and Transportation Engineering, Beijing University of Technology, Beijing 100124, China

2. School of Civil Engineering, Southeast University, Nanjing 211189, China

通讯作者: 贾俊峰，男，教授. orcid.org/0000-0002-4490-7494. E-mail: jiajunfeng@bjut.edu.cn

收稿日期: 2022-06-10  

基金资助: 国家重点研发计划项目(2019YFE0119800); 国家自然科学基金资助项目(52178449); 北京市自然科学基金资助项目(8202002)

Received: 2022-06-10  

Fund supported: 国家重点研发计划项目(2019YFE0119800);国家自然科学基金资助项目(52178449);北京市自然科学基金资助项目(8202002)

作者简介 About authors

陈曦泽（1997—），男，硕士生，从事桥梁工程的机器学习应用研究.orcid.org/0000-0002-6549-8247.E-mail：chenxize@emails.bjut.edu.cn , E-mail：chenxize@emails.bjut.edu.cn

摘要

为了可靠、准确地预测钢管混凝土（CFST）柱的轴向承载力，建立和解释集成机器学习的CFST柱轴向承载力预测模型. 使用马氏距离评估CFST柱数据库质量，通过极限梯度提升(XGBoost)算法建立CFST柱轴向承载力预测模型，使用K折交叉验证(K-Fold CV)和树结构概率密度估计(TPE)算法寻找模型的最优超参数组合. 采用不同评价指标将优化后XGBoost模型的预测值与已有方法和未优化XGBoost模型的计算值比较. 使用SHAP方法给出XGBoost模型预测结果的整体和局部的解释. 结果表明，经过超参数调整优化的XGBoost模型的性能超越了相关规范和经验公式的性能，且SHAP方法能够有效地解释XGBoost模型的输出.

关键词： 钢管混凝土（CFST）柱 ; 轴向承载力 ; 极限梯度提升（XGBoost） ; 超参数优化 ; SHAP ; 可解释性

Abstract

To reliably and accurately predict the axial bearing capacity of concrete-filled steel tube (CFST) columns, a prediction model of CFST column axial bearing capacity with ensemble machine learning was developed and explained. The quality of the CFST column database was evaluated using the Mahalanobis distance, the prediction model of CFST column axial bearing capacity was established by the extreme gradient boosting (XGBoost) algorithm, and the optimal hyperparameter combination of the model was found using the K-Fold cross-validation (K-Fold CV) and the tree-structured Parzen estimator (TPE) algorithms. The predicted values of the optimized XGBoost model were compared with the calculated values of the existing methods and the unoptimized XGBoost model using different evaluation metrics. The Shapley additive explanations (SHAP) approach was used to produce both global and local explanations for the predictions of XGBoost model. Results show that, after hyperparameter tuning, the XGBoost model’s performance surpasses performance of relevant standards and empirical formulas, and the SHAP approach can effectively explain the XGBoost model’s output.

Keywords： concrete-filled steel tube (CFST) column ; axial bearing capacity ; extreme gradient boosting (XGBoost) ; hyperparameter optimization ; Shapley additive explanations (SHAP) ; interpretation

PDF (2896KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

陈曦泽, 贾俊峰, 白玉磊, 郭彤, 杜修力. 基于XGBoost-SHAP的钢管混凝土柱轴向承载力预测模型. 浙江大学学报(工学版)[J], 2023, 57(6): 1061-1070 doi:10.3785/j.issn.1008-973X.2023.06.001

CHEN Xi-ze, JIA Jun-feng, BAI Yu-lei, GUO Tong, DU Xiu-li. Prediction model of axial bearing capacity of concrete-filled steel tube columns based on XGBoost-SHAP. Journal of Zhejiang University(Engineering Science)[J], 2023, 57(6): 1061-1070 doi:10.3785/j.issn.1008-973X.2023.06.001

钢管混凝土（concrete-filled steel tube, CFST）结构具有优异的力学性能和经济效益[1]，已被广泛应用于各种建构筑物[2-4]. CFST的常见截面类型有圆形、矩形和多边形等. 在工程应用中，多采用圆形截面的CFST，原因是外围圆钢管能够有效约束核心混凝土，提高核心混凝土的强度，改善核心混凝土的塑性和韧性[5]. 在高层建筑应用中，CFST柱的经济效益高，能够减少混凝土的用量[6].

CFST柱的轴心受压承载力主要由钢管混凝土柱的几何尺寸和材料性能决定[7]. 由于混凝土材料非线性特征，材料及界面间的相互作用比较复杂，建立回归模型的过程需要大量复杂的数学统计分析. 虽然回归分析可以建立明确的模型，但要得到准确的回归方程并不容易. 此外，轴向承载力的试验研究花费较高，实验测试结果的准确性受多种因素的影响，如设备类型、人员操作技能、测试样品和实验设备精度等. 已有一些规范适用于设计具有一定长细比和材料等级的CFST柱[8]，这些规范是根据预先假定的钢管或填充混凝土的应力-应变关系推导出来的，与实际的承载力可能会有较大差异. 计算机辅助建模用于预测建筑材料力学性能的相关研究受到关注[9]，Nguyen等[10]使用前馈神经网络（feedforward neural network, FNN）预测矩形CFST的抗压强度. Tran等[11]使用基于人工神经网络（artificial neural network, ANN）的预测模型来预测圆形CFST柱的轴向承载力. Liu 等[12]提出由粒子群算法（particle swarm optimization, PSO）优化的混合PSO-ANN模型，并通过参数灵敏度分析得出钢管直径和厚度是影响轴向承载力的关键因素. Javed等[13]利用基因表达式编程（gene expression programming, GEP）建立圆CFST轴向行为的预测模型，将CFST的极限轴向承载力与CFST的长度、长径比、钢管厚度与直径、钢的屈服强度、混凝土的抗压强度联系起来. Naser等[14]利用自然启发的机器学习（naturally inspired machine learning, NIML）算法推导出预测表达式，可以准确预测CFST柱的结构响应. Lyu等[15]通过正弦余弦算法优化的支持向量机（support vector machine, SVM）预测圆形CFST柱的轴向承载力. 虽然这些算法可以从数据中学习进行模型构建，但是建模过程隐式且复杂，模型可解释性不强[16]. 传统的特征重要性量化方法计算每个特征对模型预测能力的贡献程度，但只考虑特征在数据集上对输出的一般影响趋势，难以确定某个特征与最终输出之间的关系.

作为机器学习中的热门研究方向，集成学习（ensemble learning）可以构建并整合多个个体学习者以完成学习任务，提高决策的准确性和泛化能力[17]. 相比如ANN、SVM的个体模型，集成模型具有更优异的性能表现，这是由于个体模型泛化能力有限，且易过拟合[18]. 集成学习的算法策略主要有3种：Boosting、Bagging、Stacking[19]. 热度很高的集成学习算法极限梯度提升(extreme gradient boosting, XGBoost)采用Boosting策略，在Kaggle的机器学习竞赛中备受欢迎，也在土木工程中得到广泛高效应用[20-23]. 本研究使用Shapley additive explanations (SHAP)方法解释优化的XGBoost模型. SHAP可对XGBoost模型的预测结果进行整体和局部的解释，详细分析每个样本的各个特征对模型预测结果的影响正负性[24]. 相比传统的机器学习解释方法，SHAP不仅能够提供每个特征的重要程度排序，还能够提供特征对预测结果的影响规律. 本文使用XGBoost算法建立CFST柱轴向承载力预测模型，并将模型的预测值与经验计算方法和规范计算所得结果进行比较.

1. CFST柱数据库展示与评估

收集圆形截面CFST柱数据样本共227个[13]，由于机器学习对样本数没有明确要求，本研究引用的数据库样本数与文献[10]、[25]~[27]的相比处于合理水平. 数据驱动建模方法的性能依赖数据质量，异常样本会显著降低模型预测精度，因此必须仔细检查数据库质量[25]. 每个数据样本包括7个参数，其中输入参数为钢管直径D、钢管壁厚度δ、钢屈服强度fy、混凝土抗压强度fc、柱长L、长径比L/D，它们是影响CFST轴向承载力的常见因素[1, 28-29] ；输出参数为轴向承载力Nu. 参数统计信息如表1所示，各参数的频率分布图如图1所示。其中n为频数，代表每个变量子区间所含样本的个数，每个变量的子区间频数与每个变量子频数之和的比值称为频率，F为累积频率由各子区间的频率逐级累加得到. 在设计CFST时，须检查样本参数的相互依赖关系，避免出现多重共线性问题[30]，样本参数的皮尔逊相关系数矩阵如图2所示. 图中，r为皮尔逊相关系数. 可以看出，输入参数与轴压载荷能力存在复杂的非线性关系.

表 1   钢管混凝土柱数据库的参数统计信息

Tab.1  Statistical information on parameters of concrete-filled steel tube column database

数据类型 Nu/kN D/mm δ/mm fy/MPa fc/MPa L/mm L/D
最小值 210.700 76.000 1.400 200.200 14.440 508.000 4.52
最大值 11460.000 355.600 12.800 604.670 106.000 5400.000 50.00
平均值 1188.439 135.971 4.554 343.590 42.629 1722.351 13.75
标准差 1163.190 48.673 2.389 64.394 15.745 963.988 8.672

新窗口打开| 下载CSV


图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   钢管混凝土柱数据库的参数频率分布图

Fig.1   Parameter frequency distribution diagram for concrete-filled steel tube column database


图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   输入和输出参数的皮尔逊相关系数矩阵

Fig.2   Pearson correlation coefficient matrix for input and output parameters


马氏距离（Mahalanobis distance, DM）可以解决数据样本中维度不一致问题，常用于测量样本点到数据库分布中心的距离[31]. 异常样本通常远离数据库分布的中心，因此DM可以检测到数据库中的异常样本:

$ {D_{\text{M}}}({\boldsymbol{x}}) = \sqrt {{{({\boldsymbol{x}} - {\boldsymbol{\mu }})}^{\text{T}}}{{\boldsymbol{\varSigma}}^ { - 1}}({\boldsymbol{x}} - {\boldsymbol{\mu }})} . $

式中： ${{\boldsymbol{\varSigma}}}$为协方差矩阵；μ为x的均值，μ = [μ1, μ2, ···, μp]T. 在本研究中，变量x有7个元素：

$ {\boldsymbol{x}} = {\left[ {{N_{\text{u}}},D,\delta ,{f_{\text{y}}},{f_{\text{c}}},L,L/D} \right]^{\text{T}}}. $

如图3所示，46号样本的DM与其他样品的有明显偏差. 查看数据库发现，46号样本的承载力Nu=11460 kN，远大于数据库的Nu平均值，这可能是46号样本的马氏距离有明显偏差的原因. 本研究将不把46号样本放在模型验证集或者测试集中，以免对模型的评估造成影响. 除此之外，数据库样本中的DM并未出现明显分散，因此本研究提供的数据库具有较高的质量. 参考文献[32]~[34]，以8∶1∶1将数据库分割为训练集、验证集和测试集. 其中测试集的样本只在测试模型性能时使用，不以任何形式参与模型的构建与优化.

图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   钢管混凝土柱数据库样本的马氏距离

Fig.3   Mahalanobis distance for sample of concrete-filled steel tube column database


2. 基于XGBoost的预测模型

基于Python3.7的Scikit-learn库和XGBoost库实现XGBoost模型. XGBoost是可扩展的端到端树状提升系统，在损失函数和损失优化过程方面进行增强，使提升树能够超越自身的计算极限，从而实现快速运算和优越的模型性能，以达到工程应用的目的[35]. XGBoost是由K个基模型组成的加法模型，具有高运行效率和高精度的特点. 基模型为分类回归树 (classification and regression tree，CART），

$ {\hat y_i} = \sum\limits_{k = 1}^K {{f_k}} \left( {{x_i}} \right),\;\;{f_k} \in F. $

式中： ${x_i}$为第i个样本， ${\hat y_i}$为第i个样本的预测值， ${f_k}\left( {{x_i}} \right)$为第k棵树对数据集中第i个样本的计算分数，F为所有树的集合. 定义XGBoost目标函数为

$ {\text{ }}O{\text{ }} = \sum\limits_{i = 1}^N l \left( {{y_i},{{\hat y}_i}} \right)+\sum\limits_{k = 1}^K \varOmega \left( {{f_k}} \right). $

式中：N为样本的数量， $l\left( {{y_i},{{\hat y}_i}} \right)$为损失函数， $\varOmega \left( {{f_k}} \right)$为正则化项. 损失函数衡量模型与数据的吻合程度，正则化项衡量模型的复杂性. 对目标函数的泰勒展开式进行整合、重组，转化为与预测残差相关的多项式，得到叶节点最优权重 $w_j^*$和目标值最优解分别为

$ w_j^* = - \frac{{{G_j}}}{{{H_j}+\lambda }}， $

$ {O^*} = - \frac{1}{2}\sum\limits_{j = 1}^T {\frac{{G_j^2}}{{{H_j}+\lambda }}} +\gamma T. $

式中： ${G_j} = \sum\nolimits_{i \in {I_j}} {{g_i}} $、 ${H_j} = \sum\nolimits_{i \in {I_j}} {{h_i}} $，其中 $ {g_i} $、 ${h_i}$分别为损失函数的一阶导数和二阶导数， ${I_j} = \left\{ {i\mid q\left( {{x_i}} \right) = j} \right\}$为叶子j的样本组， $q\left( {{x_i}} \right)$为树结构函数； ${O^*}$为树的结构分数， ${O^*}$越小，总体损失越小；T为叶节点的数量； $\gamma $为模型的惩罚系数. 为了求解目标值，采用贪婪算法划分子树. 贪婪算法是通过控制局部最优达到全局最优的算法，每次尝试对已有叶节点加入1个分割点，枚举可行的分割点，选择增益最大的划分[36]. 增益公式的表达式为

$\left.\begin{split} & {{G}} = \frac{1}{2}\left[\frac{{G_{\rm{L}}^2}}{{{H_{\rm{L}}}+\lambda }}+\frac{{G_{\rm{R}}^2}}{{{H_{\rm{R}}}+\lambda }} - \frac{{{{\left( {{G_{\rm{L}}}+{G_{\rm{R}}}} \right)}^2}}}{{{H_{\rm{L}}}+{H_{\rm{R}}}+\lambda }}\right] - \gamma ； \\ & {G_{\text{L}}} = \sum\limits_{i \in {I_{\text{L}}}} {{g_i}}，{G_{\text{R}}} = \sum\limits_{i \in {I_{\text{R}}}} {{g_i}}，{H_{\text{L}}} = \sum\limits_{i \in {I_{\text{L}}}} {{h_i}}. \end{split}\right\} $

式中： IL、IR分别为树分类后的左子树和右子树的样本集合， ${{G_{\rm{L}}^2}}/({{{H_{\rm{L}}}+\lambda }})$为左子树的信息分数， ${{G_{\rm{R}}^2}}/({{{H_{\rm{R}}}\;+\; \lambda }})$为右子树的信息分数， ${{{{\left( {{G_{\rm{L}}}\;+\;{G_{\rm{R}}}} \right)}^2}}}\;/ ({{{H_{\rm{L}}}+{H_{\rm{R}}}+\lambda }})$为当前不分割的信息分数.

3. 超参数优化与结果展示

调整机器学习模型中的超参数是必要且重要的步骤. 如果模型超参数优化得好，模型的性能将得到显著提高并且占用的计算机运行资源也将有效减少. 本研究调整超参数的方法为K折交叉验证(K-Fold CV)与树结构概率密度估计(tree-structured Parzen estimator, TPE). 模型中的主要超参数为n_estimators、max_depth、learning_rate. 其中n_estimators为基学习器数量，数量越大，模型的学习能力越强，但模型也越容易过拟合；max_depth为树的深度，是重要的剪枝参数；learning_rate为迭代决策树的步长，又名学习率，控制算法迭代速率，常用于防止过拟合. 这3个超参数的取值对模型性能影响较大[22]，因此被选为优化超参数. K-Fold CV是广泛使用的克服随机抽样偏差的方法. 如图4所示，将训练集中数据分成K组子集（本研究取K=10），不重复地抽取1个子集作为一次评估数据，将其余的K−1组子集数据组合在一起作为模型的训练数据，重复上述过程K次，得到K组该超参数取值下的决定系数R2，再对K组的R2加和取平均值. 如图5所示，K-Fold CV能够确定模型超参数的取值范围，避免超参数优化范围过大造成计算资源浪费.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   K折交叉验证过程示意图

Fig.4   Schematic description of K-Fold CV


网格搜索是应用广泛的超参数优化方法[37]，但它运行速度和效率都不高. Bergstra等[38]认为，随机搜索虽然比网格搜索更有效，但它可能会错过一些重要组合，导致搜索出的超参数组合达不到最优效果. 贝叶斯优化是基于模型的超参数优化, 能够充分利用先验知识自适应地迭代计算. 相比随机搜索，贝叶斯优化不易遗漏搜索空间中的重要参数，也不易陷入局部最优[39]. TPE[40]是传统贝叶斯优化的变体，TPE将配置空间转换为非参数密度分布，配置空间可以用均匀分布、离散均匀分布和对数均匀分布表示，比传统贝叶斯优化更灵活[41]. 在确定超参数大概范围后，本研究使用的Hyperopt库[42]将TPE作为代理函数，用于寻找最优超参数组合，使模型性能达到最优，调参过程如图6所示. Hyperopt包括4个参数：space、algo、max_evals、fn[39]. 其中space为搜索空间，由超参数范围确定；algo为使用的代理函数模型，本研究使用TPE；fn为目标函数，本研究为最大化验证集的决定系数R2；max_evals为最大迭代次数，max_evals=500. 用于XGBoost模型预测的超参数组合如下：n_estimators的最优范围为[20,70]，最优取值为63；max_depth的最优范围为[1,5]，最优取值为3，learning_rate的最优范围为[0.2,0.5]，最优取值为0.361. 经过超参数优化后的XGBoost模型在3个数据集的表现如图7所示. 可以看到，3个数据集的真实值Nu,n均与模型的预测值Nu,p接近，说明模型没有发生过拟合现象.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   通过10折交叉验证搜索模型最优超参数范围

Fig.5   Searching for optimal hyperparameter ranges of model by 10-Fold CV


图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   通过树结构概率密度估计算法搜索模型最优超参数组合

Fig.6   Searching for optimal hyperparameter combinations of model by tree-structured Parzen estimator


图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   超参数优化后XGBoost模型的性能展示

Fig.7   Demonstration of XGBoost model performance after hyperparameter optimisation


4. 模型的性能对比

将本研究所提模型与文献[43]~[46]、Tran等[11，13，47-48]提出的模型在测试集中进行比较，结果如图8所示. 所提模型的预测值与真实值吻合程度最好. 采用4个评价指标综合对比各模型的性能[49]，分别为决定系数R2、均方根误差RMSE、平均绝对误差MAE、平均绝对百分比误差MAPE, 表达式分别为

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   9种模型的真实值和预测值在测试集中的比较

Fig.8   Comparison between true and predicted values for nine methods at test dataset


$ {{{R}}^2}{\text{ = }}1 - \frac{{\displaystyle\sum\limits_{i = 1}^n {{{\left( {{y_i} - {{\hat y}_i}} \right)}^2}} }}{{\displaystyle\sum\limits_{i = 1}^n {{{\left( {{y_i} - \bar y} \right)}^2}} }}, $

$\begin{split} \\ {\text{RMSE = }}\sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{y_i} - {{\hat y}_i}} \right)}^2}} } , \end{split} $

$ {\text{MAE = }}\frac{1}{n}\sum\limits_{i = 1}^n {\left| {{y_i} - {{\hat y}_i}} \right|} , $

$ {\text{MAPE = }}\frac{{1 }}{n}\sum\limits_{i = 1}^n {\left| {\left( {{y_i} - {{\hat y}_i}} \right)/{y_i}} \right|} \times 100 \text{%} . $

式中： ${y_i}$为真实值， ${\hat y_i}$为预测值， ${\bar y_{}}$为平均值， $n$为计算样本数. R2越高，RMSE、MAE、MAPE越低，说明模型性能越好，预测值和真实值差距越小. 如表2所示为各模型性能的评价结果，相比其他方法，本研究所提模型的R2最高，RMSE、MAE、MAPE最低，表明XGBoost模型综合性能最好. 由如图9所示的XGBoost模型超参数优化前后精度变化可以看出，本研究所提优化方法的优化效果良好.

表 2   9种模型的性能评价指标

Tab.2  Performance evaluation metrics for nine models

模型 R2 RMSE MAE MAPE
文献[43] 0.854 315.651 231.706 27.047
文献[44] 0.768 397.773 323.111 38.605
文献[45] 0.785 382.387 320.920 36.873
文献[46] 0.857 382.387 320.920 36.873
文献[47] 0.854 315.720 244.594 36.944
文献[48] 0.844 325.718 251.056 37.057
文献[11] 0.920 233.976 195.502 24.078
文献[13] 0.922 230.704 176.394 18.555
本研究 0.963 157.958 93.989 10.388

新窗口打开| 下载CSV


图 9

新窗口打开| 下载原图ZIP| 生成PPT

图 9   模型优化前后性能评价指标的变化

Fig.9   Changes in performance evaluation metrics before and after model optimization


5. 基于SHAP的可解释性分析

可解释性不佳是阻碍机器学习算法在实际工程中应用的重要因素[50]. 了解模型为何会根据特征值预测出钢管混凝土柱的轴向承载力，关系模型预测结果的可信度. 与结构简单的单棵决策树相比，复杂集成决策树模型（以XGBoost为代表）的预测过程更难以直观地被人理解，因此有必要对预测结果进行可解释性分析. Lundberg等[51]提出统一的可解释机器学习的方法Shapley additive explanations（SHAP）. SHAP构建加性的解释模型，将所有的特征都视为贡献者，计算其贡献值，所有特征的贡献值的和即为模型的最终预测：

$ f(x) = g\left( {{z^*}} \right) = {\phi _0}+\sum\limits_{i = 1}^M {{\phi _i}} z_i^*. $

式中：f(x)为机器学习模型，本研究为XGBoost模型；z*={0,1}，当观察到特征i时，z*=1，否则为0；如果i参与预测过程，则M为特征的数量； ${\phi _i}$为特征i的贡献，表达式[52]为

$ \begin{gathered} {\phi _i} = \sum\limits_{S \subseteq N\backslash i} {\frac{{|S|!(M - |S| - 1)!}}{{M!}}} [f(S \cup \{ i\} ) - f(S)]. \\ \end{gathered} $

式中: N为所有输入特征的集合，S为包含z*中非零索引的集合[52]. SHAP有不同的内核，如Kernel SHAP、Deep SHAP、Tree SHAP[53]，其中Tree SHAP与本研究的XGBoost模型相匹配. 如图10所示为SHAP概要图，从图左侧输入参数重要度排序可以得到影响钢管混凝土轴向承载力的3个关键因素：D、δ、L/D. 图中的散点为各特征参数的SHAP分布情况，SHAP的数值表示特征参数变量和输出结果间的正负相关性. D对轴向承载力造成正面影响，随D的增大，SHAP值增大，对应的承载力相应提高； $\delta $对轴向承载力的正面影响较明显；L/D对轴向承载力有负面影响，特征参数值增大，SHAP值相应减小，负面影响的程度增大；其他3个输入参数对轴向承载力影响程度较小. 输入参数D对预测结果影响最大，46号样本的D远大于数据库样本D的平均值，进一步解释了46号样本承载力远大于数据库样本Nu的平均值的原因.

图 10

新窗口打开| 下载原图ZIP| 生成PPT

图 10   6个输入参数的SHAP概要图

Fig.10   SHAP summary plot of six input parameters


根据模型的特定特征，进行 SHAP特征依赖分析，根据特征重要度排序，选取D、δ、L/D作为指定特征绘制图像，如图11所示. 图11（a）中，当D≤200 mm时，SHAP值在0附近，不会对轴向承载力造成明显影响，并且 $\delta $的变化也不会使SHAP值产生大的变化，说明轴向承载力对 $\delta $的变化不敏感；当D>200 mm时，轴向承载力对 $\delta $非常敏感，随着δ增大，SHAP值也增大，对轴向承载力造成的正向影响也越高. 图11（b）中，当δ≤6 mm时，SHAP值对L/D的变化不敏感；当6 mm<δ<12 mm、L/D的取值小时，SHAP值大，表明对轴向承载力的正向影响越大；当δ≥12 mm时，L/D的变化对 $\delta $的SHAP值无显著影响. 结果表明，SHAP给出了不同特征对轴向承载力的详细影响规律，为实际工程提供了进一步的参考依据.

图 11

新窗口打开| 下载原图ZIP| 生成PPT

图 11   3个输入参数的SHAP特征依赖图

Fig.11   SHAP feature dependence plots of three input parameters


除了对数据集的全局解释外，SHAP为每个单独样本提供局部解释. 145号样本的预测值为714.43 kN，真实值为725 kN. 如图12所示为利用 SHAP 解释模型对145号样本的预测结果，由图可以看到每个将模型输出从基准值Nu,b（所建立的 XGBoost模型对整个数据库预测的平均值）推向模型输出的特征及取值. 条状带箭头向右代表的是导致轴向承载力从基准值上升的特征，箭头向左代表的是导致轴向承载力下降的特征. 条状带上的数值之和加上样本的基准值就是模型的输出结果，即该样本的轴向承载力的预测值. 如该样本的δ比数据库样本整体的δ均值小，而δ与承载力预测呈正相关关系，则δ较小时对承载力预测起负向作用，其他变量分析同理. 需要注意的是，由于该图展示的是单个样本的预测结果，每个样本的特征重要性顺序不一定相同，并且与总体样本的特征排序也可能不同.

图 12

新窗口打开| 下载原图ZIP| 生成PPT

图 12   SHAP对单个样本的预测解释图

Fig.12   Graph of SHAP prediction interpretation for single sample


6. 结　语

在建立机器学习模型之前，应仔细检查数据库中的样本质量. 使用马氏距离可以发现并处理异常点以提升数据库质量，有效提高模型的预测精度. 将优化后模型计算值与已有规范和公式计算值进行对比，结果表明所提模型的综合性能最优；对比模型优化前后的性能差异，结果显示使用本研究的超参数优化方法可以确定模型最优超参数组合. 所提模型可以准确有效地预测给定主要设计参数的钢管混凝土柱的轴向抗压强度. 相比传统的机器学习解释方法，SHAP能够解决机器学习模型的黑箱性质问题，不仅为特征的重要性提供了参考，而且清楚地量化了特定特征对轴向承载力预测的影响. SHAP能够有效地揭示相关变量之间的耦合关系，还能够具体到单个样本的解释，为钢管混凝土柱轴向承载力快速预测提供了较好依据.

参考文献

HOU C, ZHOU X G

Strength prediction of circular CFST columns through advanced machine learning methods

[J]. Journal of Building Engineering, 2022, 51: 104289

DOI:10.1016/j.jobe.2022.104289      [本文引用: 3]

韩林海, 牟廷敏, 王法承, 等

钢管混凝土混合结构设计原理及其在桥梁工程中的应用

[J]. 土木工程学报, 2020, 53 (5): 1- 24

DOI:10.15951/j.tmgcxb.20200413.001      [本文引用: 1]

HAN Lin-hai, MU Ting-min, WANG Fa-cheng, et al

Design theory of CFST (concrete-filled steel tubular) mixed structures and its applications in bridge engineering

[J]. China Civil Engineering Journal, 2020, 53 (5): 1- 24

DOI:10.15951/j.tmgcxb.20200413.001      [本文引用: 1]

李学彬, 杨仁树, 高延法, 等

大断面软岩斜井高强度钢管混凝土支架支护技术

[J]. 煤炭学报, 2013, 38 (10): 1742- 1748

DOI:10.13225/j.cnki.jccs.2013.10.018     

LI Xue-bin, YANG Ren-shu, GAO Yan-fa, et al

High-strength steel tubular confined concrete supports support technology for large section soft rock inclined shaft

[J]. Journal of China Coal Society, 2013, 38 (10): 1742- 1748

DOI:10.13225/j.cnki.jccs.2013.10.018     

YIN F, WANG R W, CAO W L, et al

Seismic behavior of light weight CFST frame-fabricated single row reinforced shear wall structures

[J]. Structures, 2021, 34: 4486- 4499

DOI:10.1016/j.istruc.2021.10.044      [本文引用: 1]

陈志华, 杜颜胜, 吴辽, 等

矩形钢管混凝土结构研究综述

[J]. 建筑结构, 2015, 45 (16): 40- 46

DOI:10.19701/j.jzjg.2015.16.009      [本文引用: 2]

CHEN Zhi-hua, DU Yan-sheng, WU Liao, et al

Review of the research on rectangular concrete-filled steel tube structures

[J]. Building Structure, 2015, 45 (16): 40- 46

DOI:10.19701/j.jzjg.2015.16.009      [本文引用: 2]

LIEW J Y R, XIONG M, XIONG D

Design of concrete filled tubular beam-columns with high strength steel and concrete

[J]. Structures, 2016, 8: 213- 226

DOI:10.1016/j.istruc.2016.05.005      [本文引用: 1]

骆涛涛, 李娜, 张涛, 等

圆钢管混凝土柱轴心受压承载力计算

[J]. 武汉大学学报:工学版, 2014, 47 (6): 764- 768

[本文引用: 1]

LUO Tao-tao, LI Na, ZHAO Tao, et al

Bearing capacity of circular concrete-filled steel tube columns under axial compression

[J]. Engineering Journal of Wuhan University, 2014, 47 (6): 764- 768

[本文引用: 1]

VU Q V, TRUONG V H, THAI H T

Machine learning-based prediction of CFST columns using gradient tree boosting algorithm

[J]. Composite Structures, 2021, 259: 113505

DOI:10.1016/j.compstruct.2020.113505      [本文引用: 1]

BOUKHATEM B, KENAI S, TAGNIT-HAMOU A, et al

Application of new information technology on concrete: an overview

[J]. Journal of Civil Engineering and Management, 2011, 17 (2): 248- 258

DOI:10.3846/13923730.2011.574343      [本文引用: 1]

NGUYEN H Q, LY H B, TRAN V Q, et al

Optimization of artificial intelligence system by evolutionary algorithm for prediction of axial capacity of rectangular concrete filled steel tubes under compression

[J]. Materials, 2020, 13 (5): 1205

DOI:10.3390/ma13051205      [本文引用: 2]

TRAN V L, THAI D K, KIM S E

A new empirical formula for prediction of the axial compression capacity of CCFT columns

[J]. Steel and Composite Structures, 2019, 33 (2): 181- 194

[本文引用: 3]

LIU X R, WU Y Q, ZHOU Y S

Axial compression prediction and GUI design for CCFST column using machine learning and Shapley additive explanation

[J]. Buildings, 2022, 12 (5): 698

DOI:10.3390/buildings12050698      [本文引用: 1]

JAVED M F, FAROOQ F, MEMON S A, et al

New prediction model for the ultimate axial capacity of concrete-filled steel tubes: an evolutionary approach

[J]. Crystals, 2020, 10 (9): 741

DOI:10.3390/cryst10090741      [本文引用: 4]

NASER M Z, THAI S, THAI H T

Evaluating structural response of concrete-filled steel tubular columns through machine learning

[J]. Journal of Building Engineering, 2021, 34: 101888

DOI:10.1016/j.jobe.2020.101888      [本文引用: 1]

LYU F, FAN X Y, DING F X, et al

Prediction of the axial compressive strength of circular concrete-filled steel tube columns using sine cosine algorithm-support vector regression

[J]. Composite Structures, 2021, 273: 114282

DOI:10.1016/j.compstruct.2021.114282      [本文引用: 1]

TAHMASSEBI A, MOTAMEDI M, ALAVI A H, et al

An explainable prediction framework for engineering problems: case studies in reinforced concrete members modeling

[J]. Engineering Computations, 2022, 39 (2): 609- 626

DOI:10.1108/EC-02-2021-0096      [本文引用: 1]

ZHOU Z H. Ensemble methods: foundations and algorithms [M]. New York: CRC press, 2012.

[本文引用: 1]

徐凯, 杨锐

基于QPSO-DBN集成学习的城轨列车定位研究

[J]. 电子测量与仪器学报, 2022, 36 (9): 21- 28

DOI:10.13382/j.jemi.B2104838      [本文引用: 1]

XU Kai, YANG Rui

Research on the positioning of urban rail train based on QPSO-DBN ensemble learning

[J]. Journal of Electronic Measurement and Instrumentation, 2022, 36 (9): 21- 28

DOI:10.13382/j.jemi.B2104838      [本文引用: 1]

WEN L, HUGHES M

Coastal wetland mapping using ensemble learning algorithms: a comparative study of bagging, boosting and stacking techniques

[J]. Remote Sensing, 2020, 12 (10): 1683

DOI:10.3390/rs12101683      [本文引用: 1]

胡联粤, 岑健, 许文凯, 等

基于XGBoost算法的地下综合管廊安全状况评估方法

[J]. 计算机应用, 2020, 40 (增1): 264- 268

[本文引用: 1]

HU Lian-yue, CEN Jian, XU Wen-kai, et al

Safety situation evaluation method based on XGBoost algorithm for underground comprehensive pipe gallery

[J]. Journal of Computer Applications, 2020, 40 (增1): 264- 268

[本文引用: 1]

LIM S, CHI S

Xgboost application on bridge management systems for proactive damage estimation

[J]. Advanced Engineering Informatics, 2019, 41: 100922

DOI:10.1016/j.aei.2019.100922     

FENG D C, WANG W J, MANGALATHU S, et al

Interpretable XGBoost-SHAP machine-learning model for shear strength prediction of squat RC walls

[J]. Journal of Structural Engineering, 2021, 147 (11): 04021173

DOI:10.1061/(ASCE)ST.1943-541X.0003115      [本文引用: 1]

DARMATASIA, ARYMURTHY A M. Predicting the status of water pumps using data mining approach [C]// 2016 International Workshop on Big Data and Information Security (IWBIS). Jakarta: IEEE, 2016: 57-64.

[本文引用: 1]

冯德成, 吴刚

混凝土结构基本性能的可解释机器学习建模方法

[J]. 建筑结构学报, 2022, 43 (4): 228- 238

[本文引用: 1]

FENG De-cheng, WU Gang

Interpretable machine learning-based modeling approach for fundamental properties of concrete structures

[J]. Journal of Building Structures, 2022, 43 (4): 228- 238

[本文引用: 1]

JIANG K, HAN Q, BAI Y, et al

Data-driven ultimate conditions prediction and stress-strain model for FRP-confined concrete

[J]. Composite Structures, 2020, 242: 112094

DOI:10.1016/j.compstruct.2020.112094      [本文引用: 2]

DUAN J, ASTERIS P G, NGUYEN H, et al

A novel artificial intelligence technique to predict compressive strength of recycled aggregate concrete using ICA-XGBoost model

[J]. Engineering with Computers, 2021, 37: 3329- 3346

DOI:10.1007/s00366-020-01003-0     

CHANDRAMOULI P, JAYASEELAN R, PANDULU G, et al

Estimating the axial compression capacity of concrete-filled double-skin tubular columns with metallic and non-metallic composite materials

[J]. Materials, 2022, 15 (10): 3567

DOI:10.3390/ma15103567      [本文引用: 1]

NGO N T, PHAM T P T, LE H A, et al

Axial strength prediction of steel tube confined concrete columns using a hybrid machine learning model

[J]. Structures, 2022, 36: 765- 780

DOI:10.1016/j.istruc.2021.12.054      [本文引用: 1]

BARDHAN A, BISWAS R, KARDANI N, et al

A novel integrated approach of augmented grey wolf optimizer and ANN for estimating axial load carrying-capacity of concrete-filled steel tube columns

[J]. Construction and Building Materials, 2022, 337: 127454

DOI:10.1016/j.conbuildmat.2022.127454      [本文引用: 1]

DUNLOP P, SMITH S

Estimating key characteristics of the concrete delivery and placement process using linear regression analysis

[J]. Civil Engineering and Environmental Systems, 2003, 20 (4): 273- 290

DOI:10.1080/1028660031000091599      [本文引用: 1]

MAHALANOBIS P C. On the generalized distance in statistics [C]// Proceedings of the National Institute of Sciences. Caloutta: National Institute of Science of India, 1936, 2: 49-55.

[本文引用: 1]

QIAN W, GU C, ZHU C, et al. Short-term load forecasting based on multi-model fusion of CNN-LSTM-LGBM [C]// 2021 International Conference on Power System Technology. Haikou: IEEE, 2021: 934-939.

[本文引用: 1]

ZHU J, WANG Y

Convolutional neural networks for predicting creep and shrinkage of concrete

[J]. Construction and Building Materials, 2021, 306: 124868

DOI:10.1016/j.conbuildmat.2021.124868     

LI W, YIN Y, QUAN X, et al

Gene expression value prediction based on XGBoost algorithm

[J]. Front Genet, 2019, 10: 1077

DOI:10.3389/fgene.2019.01077      [本文引用: 1]

CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system [C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. [S.l.]: ACM, 2016: 785-794.

[本文引用: 1]

陈明华, 刘群英, 张家枢, 等

基于XGBoost的电力系统暂态稳定预测方法

[J]. 电网技术, 2020, 44 (3): 1026- 1034

DOI:10.13335/j.1000-3673.pst.2018.1649      [本文引用: 1]

CHEN Ming-hua, LIU Qun-ying, ZHANG Jia-shu, et al

XGBoost-based algorithm for post-fault transient stability status prediction

[J]. Power System Technology, 2020, 44 (3): 1026- 1034

DOI:10.13335/j.1000-3673.pst.2018.1649      [本文引用: 1]

HUANG C L, CHEN M C, WANG C J

Credit scoring with a data mining approach based on support vector machines

[J]. Expert Systems with Applications, 2007, 33 (4): 847- 856

DOI:10.1016/j.eswa.2006.07.007      [本文引用: 1]

BERGSTRA J, BENGIO Y

Random search for hyper-parameter optimization

[J]. Journal of Machine Learning Research, 2012, 13: 281- 305

[本文引用: 1]

邓丽, 武金达, 李科学, 等. 基于TPE的SpaRC算法超参数优化方法[J]. 计算机科学. 2021, 48(2): 70-75.

[本文引用: 2]

DENG Li, WU Jin-da, LI Ke-xue, et al. SpaRC algorithm hyperparameter optimization methodology based on TPE [J]. Computer Science, 2021, 48(2): 70-75.

[本文引用: 2]

BERGSTRA J, BÀRDENET R, BENGIO Y, et al. Algorithms for hyperparameter optimization [C]// Proceedings of the 24th Internation Conference on Neural Information Processing Systems. [S.l.]: Curran Associates Inc., 2011: 2546-2554.

[本文引用: 1]

DONG H, HE D, WANG F

SMOTE-XGBoost using tree Parzen estimator optimization for copper flotation method classification

[J]. Powder Technology, 2020, 375: 174- 181

DOI:10.1016/j.powtec.2020.07.065      [本文引用: 1]

BERGSTRA J, YAMINS D, COX D D. Making a science of model search: hyperparameter optimization in hundreds of dimensions for vision architectures [C]// Proceedings of the 30th International Conference on Machine Learning. Atlanta: [s.n.], 2013: 115-123.

[本文引用: 1]

中华人民共和国住房和城乡建设部. 钢管混凝土结构技术规范: GB 50936—2014 [S]. 北京: 中国建筑工业出版社, 2014.

[本文引用: 2]

British Standards Institution. Eurocode 4: design of composite steel and concrete structures: part 1-1: general rules and rules for buildings: BS EN 1994-1-1: 2004 [S]. London: British Standards Institution, 2004.

[本文引用: 1]

AIJ. Recommendations for design and construction of concrete-filled steel tubular structures [S]. [S.l.]: Architectural Institute of Japan, 2008.

[本文引用: 1]

ACI Committee 318. Building code requirements for structural concrete and commentary: ACI 318-08 [S]. Farmington Hills: ACI Committee Institute, 2008.

[本文引用: 2]

WANG Z B, TAO Z, HAN L H, et al

Strength, stiffness and ductility of concrete-filled steel columns under axial compression

[J]. Engineering Structures, 2017, 135: 209- 221

DOI:10.1016/j.engstruct.2016.12.049      [本文引用: 2]

GIAKOUMELIS G, LAM D

Axial capacity of circular concrete-filled tube columns

[J]. Journal of Constructional Steel Research, 2004, 60 (7): 1049- 1068

DOI:10.1016/j.jcsr.2003.10.001      [本文引用: 2]

XU X, LIU C, ZHAO Y, et al

Short-term traffic flow prediction based on whale optimization algorithm optimized BiLSTM_Attention

[J]. Concurrency and Computation: Practice and Experience, 2022, 34 (10): e6782

[本文引用: 1]

周挺, 杨军, 詹祥澎, 等

一种数据驱动的暂态电压稳定评估方法及其可解释性研究

[J]. 电网技术, 2021, 45 (11): 4416- 4425

DOI:10.13335/j.1000-3673.pst.2020.2170      [本文引用: 1]

ZHOU Ting, YANG Jun, ZHAN Xiang-peng, et al

Data-driven method and interpretability analysis for transient voltage stability assessment

[J]. Power System Technology, 2021, 45 (11): 4416- 4425

DOI:10.13335/j.1000-3673.pst.2020.2170      [本文引用: 1]

LUNDBERG S M, LEE S I. A unified approach to interpreting model predictions [C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. [S.l.]: Curran Associates Inc., 2017: 4768-4777.

[本文引用: 1]

NASIRI H, HOMAFAR A, CHELGANI S C

Prediction of uniaxial compressive strength and modulus of elasticity for Travertine samples using an explainable artificial intelligence

[J]. Results in Geophysical Sciences, 2021, 8: 100034

DOI:10.1016/j.ringps.2021.100034      [本文引用: 2]

MANGALATHU S, HWANG S H, JEON J S

Failure mode and effects analysis of RC members based on machine-learning-based Shapley additive explanations (SHAP) approach

[J]. Engineering Structures, 2020, 219: 110927

DOI:10.1016/j.engstruct.2020.110927      [本文引用: 1]

/

〈 〉