Clinically Interpretable Biological Age Estimation Using CatBoost and SHAP with Continuous and Categorical Features from NHANES
Northern Center for Learning and Innovation（北部学习与创新中心）
该研究基于NHANES的异质性临床数据，采用CatBoost模型结合SHAP的自动化定量分析，实现了临床可解释的生物年龄估计，为生物衰老研究和精准健康提供了方法学基础。
2026-10-16 cs.LG stat.CO
Intelligent Gradient Boosting Algorithms for Estimating Strength of Modified Subgrade Soil
Universiti Teknologi Malaysia（马来西亚理工大学）；UCSI University（UCSI大学）；British University of Bahrain（巴林英国大学）
针对改性路基土CBR、UCS和R实验估算成本高的问题，本文基于121个样本比较CatBoost、XGBoost和SVR，发现XGBoost预测精度最高且优于既有结果。
2025-01-08 cs.AI cs.CE cs.LG
Benchmarking state-of-the-art gradient boosting algorithms for classification
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文在多个真实数据集上系统比较了 GBM、XGBoost、LightGBM 和 CatBoost 四种梯度提升算法的分类性能，重点考察随机搜索与贝叶斯优化两种调参策略，并结合统计检验指出在效果、可靠性与易用性之间最平衡的变体。
2023-05-26 cs.LG
From Point to probabilistic gradient boosting for claim frequency and severity prediction
École d’actuariat, Université Laval（actuary school, Laval University）
本文统一对比了十种点预测与概率梯度提升算法在五个公开索赔数据集上的表现，发现LightGBM和XGBoostLSS计算效率最优，CatBoost在高基数分类变量下预测更佳，且模型充分性与预测准确性可兼得。
2025-04-28 cs.LG stat.ML
StructureBoost: Efficient Gradient Boosting for Structured Categorical Variables
Numeristical
基于结构化分类决策树（SCDT）的梯度提升方法已被证明在分类变量具有已知底层结构的问题上优于数值和独热编码。然而，SCDT中的枚举程序是不可行的，除了具有低或中等基数的分类变量。我们提出并实现了两种方法来克服计算障碍，并有效地对复杂结构的分类变量进行梯度提升。由此产生的包，称为StructureBoost，表现出优于既定的软件包，如CatBoost和LightGBM的问题，包含复杂的结构的分类预测。此外，我们证明了StructureBoost可以对看不见的分类值进行准确的预测，因为它了解底层结构。
2020-07-08 cs.LG stat.AP stat.CO
Gradient Boosting With Piece-Wise Linear Regression Trees
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
梯度提升决策树（GBDT）是一种非常成功的集成学习算法，广泛应用于各种应用。最近，GBDT训练算法和实现的几个变体已经在一些非常流行的开源工具包中设计和大量优化，包括XGBoost，LightGBM和CatBoost。在本文中，我们表明，通过使用更复杂的基础学习器，可以进一步提高GBDT的准确性和效率。具体来说，我们扩展了梯度提升，使用分段线性回归树（PL树），而不是分段常数回归树，作为基本学习器。我们表明PL树可以加速GBDT的收敛，提高精度。我们还提出了一些优化技巧，以大大减少PL树的训练时间，而几乎不牺牲准确性。此外，我们提出了几种实现技术，以加快我们的算法在现代计算机体系结构与强大的单指令多数据（SIMD）并行。实验结果表明，GBDT与PL树可以提供非常有竞争力的测试精度相当或更少的训练时间。
2019-06-25 cs.LG
Morphological Classification of Extragalactic Radio Sources Using Gradient Boosting Methods
University of Sharjah（沙迦大学）；Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
针对河外射电源形态分类问题，提出基于XGBoost、LightGBM和CatBoost的梯度提升方法，在仅用不到四分之一图像数据下超越CNN分类器，其中CatBoost准确率最高。
2023-08-03 astro-ph.IM cs.LG
Boosting Algorithms for Delivery Time Prediction in Transportation Logistics
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
旅行时间是交通运输中的一个关键指标。准确的行程时间预测也是运营和先进信息系统的基础。存在用于短期行驶时间预测的各种解决方案，诸如利用实时GPS数据和优化方法来跟踪车辆路径的解决方案。然而，可靠的长期预测仍然具有挑战性。我们在本文中显示的旅行时间，即邮政服务的交货时间预测的适用性和实用性。我们研究了几种方法，如线性回归模型和基于树的合奏，如随机森林，装袋，并提高，允许预测交付时间进行广泛的实验，并考虑许多可用性的情况。结果表明，旅行时间预测可以帮助减少邮政服务的高延迟。我们发现，一些提升算法，如光梯度提升和catboost，具有更高的性能，在准确性和运行时效率方面比其他基线，如线性回归模型，装袋回归和随机森林。
2022-01-05 cs.LG stat.ML
Gradient Boosting Decision Tree with LSTM for Investment Prediction
Northeastern University（东北大学）；Yale University（耶鲁大学）；Virginia Tech（弗吉尼亚理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）；University of TSA（TSA大学）；The University of Chicago（芝加哥大学）
本文提出一种结合LSTM与LightGBM和CatBoost的混合集成框架用于股票价格预测，相比单一模型准确率提升10%至15%，有效降低了市场波动期的误差。
2025-05-29 cs.LG
Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling
该研究提出分裂候选数量作为梯度提升决策树（GBDTs）的单轴容量参数，通过分析其与双重下降现象的关联，经XGBoost等模型实验验证了分裂候选预算对测试误差的影响规律。
2026-08-05 cs.LG
Automatic detection of abnormal EEG signals using wavelet feature extraction and gradient boosting decision tree
The University of Western Australia（西澳大利亚大学）；Effat University（埃法特大学）
脑电图因其高分辨率、无创性和低成本等优点，常用于各种脑相关疾病的诊断评估。然而，对于专家来说，EEG信号的手动分析可能是费力且耗时的过程。医生需要长时间的培训才能发展其专业知识，此外，专家之间的评估者一致性（IRA）较低。因此，许多基于计算机辅助诊断（CAD）的研究已经考虑了解释EEG信号的自动化，以减轻工作量并支持最终诊断。在本文中，我们提出了一个自动的二进制分类框架，脑信号在多通道EEG记录。我们建议使用小波包分解（WPD）技术分解的EEG信号到频率子带和提取一组统计特征，从每个选定的系数。此外，我们提出了一种新的方法来降低特征空间的维数，而不影响提取的特征的质量。提取的特征进行分类使用不同的梯度提升决策树（GBDT）的分类框架，这是CatBoost，XGBoost和LightGBM。我们使用天普大学医院脑电图异常语料库V2.0.0来测试我们提出的技术。我们发现，CatBoost分类器实现了87.68%的二进制分类准确率，并且在同一数据集上的准确率和灵敏度方面分别超过了1%和3%。在这项研究中获得的结果提供了重要的见解WPD特征提取和GBDT分类器的EEG分类的有用性。
2020-12-18 cs.AI cs.LG eess.SP
Minimal Variance Sampling in Stochastic Gradient Boosting
Yandex（Yandex（俄罗斯搜索引擎公司，可译为扬德克斯））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
随机梯度提升（SGB）是一种广泛使用的基于决策树的提升模型正则化方法。结果表明，在许多情况下，在每次迭代随机抽样可以导致更好的泛化性能的模型，也可以减少学习时间。提出了不同的抽样方法，其中概率不统一，目前还不清楚哪种方法最有效。在本文中，我们制定的随机化问题，在SGB的抽样概率的优化，以最大限度地提高估计精度的分裂评分用于训练决策树。这个优化问题有一个封闭形式的近似最优解，它导致了一种新的采样技术，我们称之为最小方差采样（MVS）。与现有的采样方法相比，该方法既减少了每次提升迭代所需的示例数量，又显著提高了模型的质量。该算法的优越性通过将MVS引入CatBoost中作为子采样的新默认选项得到了证实，CatBoost是一种梯度提升库，可在各种机器学习任务中实现最先进的质量。
2019-10-29 cs.LG stat.ML
Wine Quality Prediction with Ensemble Trees: A Unified, Leak-Free Comparative Study
South China University of Technology（华南理工大学）
本文在 Vinho Verde 红白葡萄酒数据集上无泄漏比较五种集成树模型，发现 Gradient Boosting 精度最高，而 Random Forest 综合成本效益最佳。
2025-05-30 cs.LG
Gradient Boosting Decision Trees on Medical Diagnosis over Tabular Data
Department of Electrical and Computer Engineering（电气与计算机工程系）；Northeastern University（东北大学）；The Business School（商学院）；Worcester Polytechnic Institute（沃思利理工学院）
本研究探讨集成方法（重点为GBDT算法XGBoost、CatBoost、LightGBM）在表格数据医疗分类任务的优势，实验显示其优于传统ML与表格DL方法，在基准数据集平均排名最高且计算成本更低。
2025-08-25 cs.LG
Unbiased Gradient Boosting Decision Tree with Unbiased Feature Importance
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院）
本文分析了GBDT分裂查找算法中偏向多分裂点特征的偏差来源，提出基于袋外样本的无偏增益测量方法，并开发UnbiasedGBM算法解决过拟合问题，在60个数据集上表现优于LightGBM等主流实现。
2023-05-18 cs.LG
Hopular: Modern Hopfield Networks for Tabular Data
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究所（IARAI））
虽然深度学习在视觉和自然语言处理中遇到的结构化数据方面表现出色，但它未能达到对表格数据的期望。对于表格数据，支持向量机（SVM）、随机森林和梯度提升是性能最好的技术，其中梯度提升处于领先地位。最近，我们看到了针对表格数据量身定制的深度学习方法的激增，但与小规模数据集上的梯度提升相比，它们的表现仍然不佳。我们建议“Hopular”，这是一种用于中小型数据集的新型深度学习架构，其中每一层都配备了连续的现代Hopfield网络。现代Hopfield网络使用存储的数据来识别特征-特征、特征-目标和样本-样本依赖性。Hopular的新颖之处在于，每一层都可以通过Hopfield网络中存储的数据直接访问原始输入以及整个训练集。因此，Hopular可以像标准迭代学习算法一样逐步更新其当前模型和每一层的预测结果。在小于1,000个样本的小型表格数据集上的实验中，Hopular超越了梯度提升、随机森林、SVM，特别是几种深度学习方法。在大约10，000个样本的中型表格数据的实验中，Hopular优于XGBoost，CatBoost，LightGBM和为表格数据设计的最先进的深度学习方法。因此，Hopular是表格数据上这些方法的强大替代品。
2022-06-01 cs.LG
Benchmarking and Optimization of Gradient Boosting Decision Tree Algorithms
IBM Research – Zurich（IBM苏黎世研究院）
梯度提升决策树（GBDTs）由于其在许多机器学习任务中的最先进性能而在学术界、工业界和竞争数据科学中得到广泛采用。这些模型的一个相对缺点是它们向最终用户公开了大量的超参数。为了最大限度地提高GBDT模型的预测能力，必须手动调整超参数，或者利用自动化技术，例如基于贝叶斯优化的技术。这两种方法都很耗时，因为它们涉及针对不同的超参数集重复训练模型。一些软件GBDT包已经开始提供GPU加速，这可以帮助缓解这个问题。在本文中，我们考虑三个这样的包：XGBoost，LightGBM和Catboost。首先，我们使用具有不同形状，稀疏性和学习任务的大规模数据集来评估这些软件包提供的GPU加速性能。然后，我们在超参数优化的上下文中比较了这些包，包括每个包收敛到良好验证分数的速度以及泛化性能。
2019-01-17 cs.LG stat.ML
Quantile Encoder: Tackling High Cardinality Categorical Features in Regression Problems
University of Southampton（南安普顿大学）；Centre Recerca Matematica（数学研究中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Universitat Ramon Llull（拉蒙·柳利大学）；ESADE（ESADE商学院）；Universitat de Barcelona（巴塞罗那大学）
回归问题在机器学习文献中得到了广泛的研究，导致了过多的回归模型和性能指标。然而，很少有技术专门致力于解决如何将分类特征纳入回归问题的问题。通常，分类特征编码器足够通用，可以覆盖分类和回归问题。这种缺乏特异性导致回归模型表现不佳。在本文中，我们提供了一个深入的分析，如何处理高基数的类别特征与分位数。我们的建议优于国家的编码器，包括传统的统计平均目标编码器，当考虑平均绝对误差，特别是在存在长尾或偏斜分布。此外，为了处理可能的过拟合时，有小的支持类别，我们的编码器受益于加法平滑。最后，我们描述了如何通过创建一组具有不同分位数的特征来扩展编码值。这个扩展的编码器提供了关于所讨论的分类特征的更多信息输出，进一步提高了回归模型的性能。
2021-07-04 cs.LG
Gradient Regularized Newton Boosting Trees with Global Convergence
Department of Mathematics, Imperial College London, UK（帝国理工学院伦敦数学系）；School of Computer Science, University of St. Gallen, Switzerland（圣加尔登大学计算机科学学院）；Department of Mathematics, Stockholm University, Sweden（斯德哥尔摩大学数学系）
本文提出受限牛顿下降法，通过研究在希尔伯特空间上使用牛顿法进行凸优化，证明了牛顿提升在满足Hessian主导条件的光滑强凸损失下的线性收敛率，并通过引入适应性ℓ2正则化项实现对一般凸损失的全局收敛。
2026-05-01 cs.LG math.OC stat.ML
Overhead-MNIST: Machine Learning Baselines for Image Classification
PeopleTec, Inc.（PeopleTec 公司）
对23种机器学习算法进行了训练，然后进行评分，以建立基线比较指标，并选择一种值得嵌入关键任务卫星成像系统的图像分类算法。Overhead-MNIST数据集是卫星图像的集合，其风格类似于机器学习文献中普遍存在的MNIST手写数字。在PyCaret一般比较中，CatBoost分类器、轻度梯度提升机器和极端梯度提升模型产生了最高的准确度、曲线下面积（AUC）和F1分数。单独的评估表明，深度卷积架构是最有前途的。我们将整体性能最佳算法的结果作为边缘可部署性和未来性能改进的基线：卷积神经网络（CNN）在看不见的测试数据上的分类准确度为0.965。
2021-10-19 cs.AI cs.CV cs.LG
SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training
University of Maryland, College Park（马里兰大学帕克分校）；Capital One（第一资本金融公司）
表格数据支撑着机器学习的众多高影响力应用，从欺诈检测到基因组学和医疗保健。解决表格问题的经典方法，如梯度提升和随机森林，被从业者广泛使用。然而，最近的深度学习方法已经实现了与流行技术竞争的性能。我们设计了一种混合深度学习方法来解决表格数据问题。我们的方法SAINT对行和列都进行了关注，它包括一个增强的嵌入方法。我们还研究了一种新的对比自监督预训练方法，用于标签稀缺时。SAINT始终比以前的深度学习方法提高性能，在各种基准测试任务中，它的平均性能甚至超过了梯度提升方法，包括XGBoost，CatBoost和LightGBM。
2021-06-02 cs.AI cs.LG stat.ML
Gradient Boosting Reinforcement Learning
NVIDIA, Tel-Aviv, Israel（NVIDIA，以色列特拉维夫）；NVIDIA Research, Tel-Aviv, Israel（NVIDIA研究）
提出 GBRL 框架，通过交替进行树构建与环境交互，将梯度提升树引入动态强化学习，在结构化/类别特征任务中优于神经网络，并增强分布外鲁棒性。
2026-10-20 cs.AI cs.LG
Wavelet-Based Hybrid Machine Learning Model for Out-of-distribution Internet Traffic Prediction
University of Western Ontario（西安大略大学）；Juniper Networks（瞻博网络）
互联网流量的有效预测对于确保计算机网络的主动管理至关重要。如今，机器学习方法在模拟现实世界的复杂交通方面表现出良好的性能。然而，大多数现有的工作假设模型训练和评估数据来自相同的分布。但在实践中，模型很有可能在部署阶段处理来自略微或完全未知的分布的数据。本文研究并评估了使用eXtreme Gradient Boosting、Light Gradient Boosting Machine、随机梯度下降、梯度提升回归器、CatBoost回归器及其堆叠集成模型的机器学习性能，这些模型使用来自相同和分布外的数据。此外，我们提出了一个混合机器学习模型集成小波分解，以改善分布外的预测，因为独立的模型无法很好地推广。我们的实验结果表明，最好的性能的独立集成模型的准确度为96.4%，而混合集成模型提高了1%的分布数据。但当用三个不同的数据集进行测试时，其性能显着下降，这些数据集与训练集相比具有分布偏移。然而，我们提出的混合模型大大减少了性能差距相同和分布外的评价相比，独立的模型，表明分解技术的有效性的情况下，分布外泛化。
2022-05-09 cs.LG cs.NI
Path-Based Gradient Boosting for Graph-Level Prediction
Department of Mathematics, University of Oslo（奥斯陆大学数学系）
本文提出PathBoost，一种基于图结构直接学习判别路径特征的梯度树提升方法，通过逻辑损失实现二分类，结合节点和边属性，自动选择锚点节点，提升图级预测性能。
2026-04-26 cs.LG stat.ML
Boosting the Discriminant Power of Naive Bayes
University of Nottingham Ningbo China（宁波诺丁汉大学）；Ningbo Beilun Taihe High School（宁波市北仑区泰河中学）；Nanyang Technological University（南洋理工大学）
针对朴素贝叶斯因忽略特征相关性和数据噪声导致性能受限的问题，提出基于栈式自编码器的特征增强方法，结合正则化朴素贝叶斯，显著提升了分类性能。
2022-09-20 cs.LG
Development and Comparative Analysis of Machine Learning Models for Hypoxemia Severity Triage in CBRNE Emergency Scenarios Using Physiological and Demographic Data from Medical-Grade Devices
SADC-CDSS IA PEDIATRICS, CHU Sainte-Justine, Montreal, Canada（SADC-CDSS IA儿科，圣-朱斯特医院，蒙特利尔，加拿大）；Solutions Applicare AI Inc., Montreal, Canada（应用爱智AI公司，蒙特利尔，加拿大）；Université de Montréal, Canada（蒙特利尔大学，加拿大）；MEDINT CBRNE Group, Montreal, Canada（MEDINT CBRNE组，蒙特利尔，加拿大）
本文开发了机器学习模型预测紧急分诊中的缺氧严重程度，利用生理数据提升预测准确性，GBM在训练速度和可解释性上优于序列模型，未来将整合多医院数据提升模型泛化能力。
2024-10-30 cs.LG
Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection
Tel Aviv University（特拉维夫大学）
梯度提升机（GBM）是表格数据的常用算法之一，它在许多预测任务中产生最先进的结果。尽管GBM框架很受欢迎，但它的基础学习器存在一个根本性的缺陷。具体地，大多数实现利用通常偏向于具有大基数的分类变量的决策树。这种偏差的影响多年来被广泛研究，主要是在预测性能方面。在这项工作中，我们扩大了范围，并研究了有偏见的基础学习GBM特征重要性（FI）措施的影响。我们表明，虽然这些实施表现出高度竞争力的预测性能，他们仍然，令人惊讶的是，遭受偏见FI。通过利用交叉验证（CV）无偏基础学习器，我们以相对较低的计算成本修复了这个缺陷。我们在各种合成和现实世界的设置中展示了建议的框架，在所有GBM FI措施中显示出显着的改善，同时保持相对相同的预测准确度。
2021-09-12 cs.LG stat.ML
Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning
The University of Edinburgh（爱丁堡大学）
本文提出Wasserstein梯度提升框架，将梯度提升扩展到分布值监督学习，通过拟合Wasserstein梯度伪残差实现基于树的证据学习，并在概率预测上优于现有不确定性量化方法。
2024-08-29 cs.LG stat.ME stat.ML
Breast Cancer Classification Using Gradient Boosting Algorithms Focusing on Reducing the False Negative and SHAP for Explainability
本研究首次结合AdaBoost、XGBoost、CatBoost、LightGBM与Optuna超参数优化及SHAP可解释性方法预测乳腺癌，重点提升召回率并降低假阴性，最终所有模型AUC均超过99.41%。
2025-05-21 cs.AI cs.CY cs.LG
Automatic Gradient Boosting
LMU（慕尼黑大学）
自动机器学习使用高性能机器学习工具执行预测建模，无需人工干预。这是通过使机器学习应用程序无参数来实现的，即只提供数据集，而完整的模型选择和模型构建过程通过（通常是Meta）优化在内部处理。像Auto-WEKA和auto-sklearn这样的项目旨在解决组合算法选择和超参数优化（CASH）问题，从而产生巨大的配置空间。然而，对于大多数现实世界的应用程序，仅对几个不同的关键学习算法进行优化不仅是足够的，而且可能是有益的。当我们考虑到模型必须被验证、解释、部署和维护时，后者就变得很明显了。这里，出于验证或效率原因，或者甚至是严格的要求，通常优选不太复杂的模型。自动梯度提升进一步简化了这个想法，仅使用梯度提升作为单个学习算法，结合基于模型的超参数调整，阈值优化和分类特征编码。我们介绍这个一般框架，以及一个具体的实现称为autoxgboost。它与目前的AutoML项目在16个数据集上进行了比较，尽管它很简单，但它能够在大约一半的数据集上实现可比的结果，并且在两个数据集上表现最好。
2018-07-13 cs.LG stat.ML
Calibrated Credit Intelligence: Shift-Robust and Fair Risk Scoring with Bayesian Uncertainty and Gradient Boosting
本文提出校准的信用智能（CCI），结合贝叶斯不确定性与梯度提升，实现稳健且公平的风险评分，提升准确性与公平性。
2026-03-06 cs.AI cs.LG q-fin.RM
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度，但潜在的缺点是它假设样本的条件独立性，产生不连续的预测，例如，空间数据，并且它可能难以处理高基数的分类变量。潜高斯模型，如高斯过程和分组随机效应模型，是灵活的先验模型，显式地模拟样本之间的依赖性，并允许有效的学习预测函数和进行概率预测。然而，现有的潜在高斯模型通常假设零或线性先验均值函数，这可能是不切实际的假设。本文介绍了一种新的方法，它结合了提升和潜在高斯模型，以弥补上述缺点，并利用这两种技术的优势。与现有的方法相比，我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
PulmoSight-XAI: An Explainable Multi-View Attention Ensemble with Gradient Boosting Meta-Learning for Multi-Label Chest X-Ray Classification
Department of Biomedical Engineering Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学（BUET）生物医学工程系）
针对胸部X光分类挑战，提出分层多视图集成框架。用五个卷积神经网络分别处理正侧位片，结合多尺度特征融合与注意力模块，采用混合损失函数优化模型，通过分层元学习策略提升性能，兼具准确性与可解释性。
2026-07-07 cs.AI cs.CV cs.LG
Gradient Boosting on Decision Trees for Mortality Prediction in Transcatheter Aortic Valve Implantation
Eindhoven University of Technology（埃因霍温理工大学）；Catharina Hospital（卡特琳娜医院）
目前心脏手术中的预后风险评分是基于统计数据的，尚未从机器学习中获益。统计预测因子不足以正确识别将从经导管主动脉瓣植入术（TAVI）中受益的患者。本研究旨在创建一个机器学习模型来预测TAVI术后患者的一年死亡率。我们采用了一种现代的梯度提升决策树算法，专门为分类特征设计。结合最近的模型解释技术，我们开发了一个特征分析和选择阶段，能够识别预测的最重要特征。在与临床专家解释和讨论特征分析结果后，我们将预测模型建立在最相关的特征上。我们在270例TAVI病例中验证了我们的模型，AUC为0.83。我们的方法优于几种广泛的预后风险评分，如logistic EuroSCORE II，STS风险评分和TAVI 2评分，这些评分被全球心脏病专家广泛采用。
2020-01-08 cs.CY cs.LG stat.ML
Lightweight Boosting Models for User Response Prediction Using Adversarial Validation
Upstage AI Research（Upstage人工智能研究院）
针对ACM RecSys Challenge 2023的应用安装概率预测任务，提出结合对抗验证特征筛选、特征工程和LightGBM的轻量方案，单模型表现优异，获挑战赛第九名。
2023-10-05 cs.AI cs.LG
Effective Predictive Modeling for Emergency Department Visits and Evaluating Exogenous Variables Impact: Using Explainable Meta-learning Gradient Boosting
Canberra Health Services, Canberra Hospital（堪培拉卫生服务局，堪培拉医院）；University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；The Australian National University（澳大利亚国立大学）；Obuda University（欧布达大学）
本文提出元学习梯度提升模型Meta-ED，融合Catboost、随机森林、Extra Tree和lightGBoost四个基础学习器与MLP上层学习器，利用23年外生变量数据预测急诊科日就诊量，准确率达85.7%，显著优于XGBoost等主流模型。
2024-11-18 cs.LG cs.NE
Fairness Implications of Encoding Protected Categorical Attributes
University of Southampton（南安普顿大学）；Scuola Normale Superiore（比萨高等师范学校）；University of Pisa（比萨大学）；University of Stuttgart（斯图加特大学）
本文比较独热编码与目标编码对含受保护分类属性模型的准确率和公平性影响，区分不可约与可约偏差，并分析正则化及高基数交叉编码带来的交叉性不公平。
2023-05-05 cs.CY cs.DS cs.LG
Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features
LMU Munich（慕尼黑大学）
由于大多数机器学习（ML）算法都是为数值输入而设计的，因此有效地编码分类变量是数据分析中的一个关键方面。一个常见的问题是高基数特征，即具有大量水平的无序分类预测变量。我们研究了产生分类变量的数值表示的技术，这些变量可以在随后的ML应用中使用。我们专注于这些技术对后续算法的预测性能的影响，并-如果可能的话-获得何时使用哪种技术的最佳实践。我们进行了一个大规模的基准测试实验，在实验中，我们使用回归、二进制和多类分类设置的数据集，比较了不同的编码策略和五种ML算法（套索、随机森林、梯度提升、k近邻、支持向量机）。在我们的研究中，目标编码的正则化版本（即使用基于训练集中特征水平的目标预测作为新的数值特征）始终提供最佳结果。传统上广泛使用的编码在创建二进制指示符变量之前做出不合理的假设来将级别映射到整数（例如整数编码）或减少级别的数量（可能基于目标信息，例如叶编码）（独热或虚拟编码）在比较中不是有效的。
2022-03-04 cs.LG stat.ML
A hybrid machine learning/deep learning COVID-19 severity predictive model from CT images and clinical data
Fondazione Poliambulanza Istituto Ospedaliero（波利安布拉扎基金会医院研究所）；Tattile s.r.l.（塔蒂莱有限公司）
COVID-19的临床表现和预后变化很大，从无症状和少症状病例到急性呼吸窘迫综合征和多器官受累。我们开发了一个混合机器学习/深度学习模型，将患者分为两个结局类别，即非ICU和ICU（重症监护入院或死亡），使用了2020年2月/5月在意大利北部一家医院住院的558名患者。基线CT图像上的全3D患者级CNN分类器用作特征提取器。提取的特征，以及实验室和临床数据，在Boruta算法中使用SHAP游戏理论值进行选择。使用CatBoost梯度提升算法在缩减的特征空间上构建分类器，并在保持测试集上达到0.949的概率AUC。该模型旨在为医生提供临床决策支持，具有属于结果类的概率得分和基于病例的SHAP特征重要性解释。
2021-05-13 cs.CV cs.LG eess.IV
The Impact of Feature Scaling In Machine Learning: Effects on Regression and Classification Tasks
Department of Mechanical Engineering, University of São Paulo（机械工程系，圣保罗大学）；Department of Electrical and Computer Engineering, University of São Paulo（电气与计算机工程系，圣保罗大学）
本文研究了特征缩放对机器学习模型性能的影响，发现集成方法对缩放不敏感，而其他模型如逻辑回归和MLP对缩放选择敏感，提供了模型特定的指导。
2025-11-21 cs.LG stat.ML
Comparative Analysis of Machine Learning Algorithms for Solar Irradiance Forecasting in Smart Grids
Semnan University（塞姆南大学）；Islamic Azad University（伊斯兰阿扎德大学）
本研究针对光伏发电不可预测性导致的智能电网管理问题，提出随机森林、XGBoost、lightGBM、CatBoost和MLP-ANNs等机器学习算法预测太阳辐射，发现随机森林表现最优且特征选择能提升MLP-ANNs性能。
2023-10-20 cs.LG cs.SY eess.SY
PPFS: Predictive Permutation Feature Selection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
提出预测排列特征选择（PPFS），一种基于马尔可夫毯的新型包装器方法，利用预测排列独立性测试和监督算法，在分类和回归任务上优于现有方法。
2021-10-20 cs.LG
