Why do tree-based models still outperform deep learning on tabular data?
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）
虽然深度学习在文本和图像数据集上取得了巨大进展，但其在表格数据上的优势尚不清楚。我们为标准和新颖的深度学习方法以及基于树的模型（如XGBoost和随机森林）提供了广泛的基准测试，这些方法跨越了大量的数据集和超参数组合。我们定义了一组标准的45个数据集，这些数据集来自不同的领域，具有明确的表格数据特征，并采用了一种基准测试方法来拟合模型并找到良好的超参数。结果表明，基于树的模型在中等大小的数据（$\sim$ 10K样本）上仍然是最先进的，即使不考虑其优越的速度。为了理解这一差距，我们对基于树的模型和神经网络（NN）的不同归纳偏差进行了实证研究。这导致了一系列的挑战，这些挑战应该指导旨在构建表格特定NN的研究人员：1。对无信息特征是鲁棒的，2.保持数据的方向，以及3.能够轻松学习不规则函数。为了刺激对表格架构的研究，我们提供了一个标准的基准和原始数据作为基线：每个学习者的20000个计算小时的超参数搜索的每个点。
2022-07-18 cs.AI cs.LG stat.ME
Deep Learning within Tabular Data: Foundations, Challenges, Advances and Future Directions
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Science and Technology of China（中国科学技术大学）
该综述围绕训练数据、神经架构和学习目标系统梳理表格深度学习进展，分析127篇论文并指出趋势、空白与未来方向。
2025-01-07 cs.AI cs.LG
Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL
University of Freiburg（弗莱堡大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然早期的AutoML框架专注于优化传统的ML管道及其超参数，但AutoML最近的趋势是专注于神经架构搜索。在本文中，我们介绍了Auto-PyTorch，它通过联合和鲁棒地优化网络架构和训练超参数来实现全自动深度学习（AutoDL），从而将这两个世界的最佳之处结合在一起。Auto-PyTorch通过将多保真度优化与组合构建相结合，实现了深度神经网络（DNN）的热启动和集成以及表格数据的公共基线，从而在几个表格基准测试中实现了最先进的性能。为了彻底研究我们对如何设计这样一个AutoDL系统的假设，我们还引入了一个新的DNN学习曲线基准，称为LCBench，并在典型的AutoML基准上对完整的Auto-PyTorch进行了广泛的消融研究，最终表明Auto-PyTorch的平均性能优于几个最先进的竞争对手。
2021-04-26 cs.AI cs.LG stat.ML
AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data
École polytechnique（巴黎综合理工学院）；Argonne National Laboratory（阿贡国家实验室）；CNRS/Inria-LISN（法国国家科学研究中心/法国国家信息与自动化研究所-LISN）；U. Paris-Saclay（巴黎萨克雷大学）
为大型表格数据集开发高性能的预测模型是一项具有挑战性的任务。最先进的方法是基于专家开发的模型集成从不同的监督学习方法。最近，自动化机器学习（AutoML）正在成为自动化预测模型开发的一种有前途的方法。神经架构搜索（NAS）是一种AutoML方法，它可以同时生成和评估多个神经网络架构，并迭代地提高所生成模型的准确性。NAS中的一个关键问题，特别是对于大型数据集，是评估每个生成的架构所需的大量计算时间。虽然数据并行训练是一种很有前途的方法，可以解决这个问题，但它在NAS中的使用是困难的。对于不同的数据集，需要调整数据并行训练设置，如并行进程的数量、学习率和批量大小，以实现高精度和减少训练时间。为此，我们开发了AgEBO-Tabular，这是一种结合老化进化（AgE）的方法，一种在神经架构空间中搜索的并行NAS方法，以及一种异步贝叶斯优化方法，用于同时调整数据并行训练的超参数。我们证明了所提出的方法的有效性，以产生高性能的神经网络模型的大型表格基准数据集。此外，我们证明了使用我们的方法自动发现的神经网络模型在推理速度上优于最先进的AutoML集成模型两个数量级，同时达到相似的精度值。
2021-10-26 cs.LG cs.NE stat.ML
Maximizing Store Revenues using Tabu Search for Floor Space Optimization
Precima, a Nielsen Company（尼尔森旗下Precima公司）
店面空间优化是零售商经常遇到的关键收益管理问题。它最大限度地提高商店的收入最佳分配地板空间的产品类别被分配到他们最合适的货架图。我们制定的问题作为一个连接的多选择背包问题与一个额外的全局约束，并提出了一个基于禁忌搜索的元启发式，利用多个特殊的邻域结构。我们还纳入了一个机制，以确定如何结合多个邻域移动。同时，还提出了一种基于先验搜索历史学习的候选列表策略，以提高搜索质量。一组测试问题的计算测试结果表明，我们的禁忌搜索启发式可以解决所有的问题在合理的时间内。通过计算实验分析了算法中各组成部分的贡献。
2020-11-04 cs.AI cs.LG cs.NE
TabNAS: Rejection Sampling for Neural Architecture Search on Tabular Datasets
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
给定机器学习问题的最佳神经架构取决于许多因素：不仅数据集的复杂性和结构，而且还取决于资源约束，包括延迟，计算，能耗等。以前的NAS算法设计的图像搜索空间将资源约束直接到强化学习（RL）的奖励。然而，对于表格数据集上的NAS，此协议通常会发现次优架构。本文开发了TabNAS，这是一种新的更有效的方法，可以使用RL控制器来处理表格NAS中的资源约束，该控制器的灵感来自拒绝采样的思想。TabNAS会立即丢弃任何违反资源约束的架构，而无需对该架构进行培训或学习。TabNAS对RL策略梯度更新使用基于蒙特卡罗的校正，以解决此额外筛选步骤。在多个表格数据集上的结果证明了TabNAS相对于以前的奖励整形方法的优越性：它找到了更好的遵守约束的模型。
2022-10-20 cs.LG stat.ML
Kernel-Level Energy-Efficient Neural Architecture Search for Tabular Dataset
The Arctic University of Norway（挪威北极大学）
本文提出面向表格数据集的核级节能神经架构搜索方法，直接以最小化能耗为目标，在保持可接受准确率的同时，相比常规NAS推荐的架构最高可降低92%的能耗。
2025-04-11 cs.AI cs.LG
Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks
University of Freiburg（弗赖堡大学）；University of Mannheim（曼海姆大学）；Bosch Center for AI（博世人工智能中心）
神经结构搜索（NAS）发展的最大障碍是其对大量计算资源的需求，这阻碍了对NAS方法的科学合理的经验评估。表格式NAS基准测试大大缓解了这一问题，使得在商用机器上几秒钟内正确评估NAS方法成为可能。然而，表格式NAS基准测试的一个意想不到的结果是关注于极小的架构搜索空间，因为它们的构造依赖于对空间的穷举评估。这会导致不切实际的结果，不会转移到更大的空间。为了克服这个根本的限制，我们提出了一种方法来创建廉价的NAS代理基准任意搜索空间。我们通过在现有的表格式NAS Bench-101和两个广泛使用的NAS搜索空间上创建代理NAS基准来验证这种方法，其中NAS $10^{21}$架构（比以前的任何表格式NAS基准大$10^{13}$倍）。我们表明，代理NAS基准可以模拟的真实性能的架构比表格基准（在一小部分的成本），他们导致忠实的估计以及不同的NAS方法的工作原理，在原来的非代理基准，他们可以产生新的科学见解。我们开源了所有的代码，并相信替代NAS基准是一个不可或缺的工具，可以将NAS上科学合理的工作扩展到大型和令人兴奋的搜索空间。
2022-04-14 cs.LG
A Reactive Tabu Search Algorithm for Stimuli Generation in Psycholinguistics
在心理语言学中，为了实验的目的，经常需要产生与某些统计和/或语言标准相匹配的无意义的“词”。这种刺激在认知神经科学文献中被称为假词或非词。构建非词的过程有时必须基于音节或词素等语言单位，当非词的大小增加时，会导致组合的数量爆炸。本文提出了一种反应式禁忌搜索算法来产生大小可变的非字。该方法通过使用一个改进的Metaheuristic算法的基础上增强了基于反馈的计划的局部搜索过程中建立伪词。实验结果表明，该算法是一种实用有效的非词生成工具。
2007-12-04 cs.AI cs.CC cs.DM
Finding Increasingly Large Extremal Graphs with AlphaZero and Tabu Search
Google DeepMind（谷歌DeepMind）；Imperial College London（伦敦帝国学院）；Yonsei University（延世大学）；University of Bonn（波恩大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本研究将寻找不含3-或4-环的极值图问题转化为序列决策问题，对比了AlphaZero与tabu search，并通过引入课程机制改进了多种规模图的最先进下界，同时提出了灵活的图生成环境与置换不变网络架构。
2024-07-29 cs.AI cs.DM cs.LG
pTNAS: Progressive Neural Architecture Search for Tabular Data
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出首个针对表格数据的渐进式神经架构搜索方法pTNAS，采用过滤-精炼优化策略，结合零成本代理和固定预算调度算法，实现架构快速识别与性能持续提升，相比其他NAS方法加速高达82.75倍。
2026-06-05 cs.LG
Deep Learning-Aided Tabu Search Detection for Large MIMO Systems
Seoul National University of Science and Technology（首尔科学技术大学）
在这项研究中，我们考虑了深度学习（DL）在大型多输入多输出（MIMO）系统中禁忌搜索（TS）检测的应用。首先，我们提出了一种用于符号检测的深度神经网络架构，称为快速收敛稀疏连接检测网络（FS-Net），它是通过优化称为DetNet和ScNet的先验检测网络获得的。然后，我们提出了DL辅助TS算法，其中的初始解近似所提出的FS网。此外，在该算法中，自适应提前终止算法和修改的搜索过程中进行的基础上的预测逼近误差，这是从基于FS-Net的初始解确定，使最优解可以更早地到达。仿真结果表明，该算法在保持基本性能不变的情况下，对于QPSK调制的$32 \times 32$ MIMO系统，相对于现有的TS算法，实现了约90%的复杂度降低。
2019-09-04 cs.IT cs.LG math.IT
EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search
University of Copenhagen（哥本哈根大学）；Department of Computer Science（计算机科学系）；Department of Neuroscience（神经科学系）
本文提出EC-NAS，一个包含架构能耗数据的开源表格基准，结合代理模型预测能耗，通过多目标优化算法在能耗与准确率间取得平衡，促进节能型深度学习模型的设计。
2024-03-22 cs.LG stat.ML
K-Means Clustering using Tabu Search with Quantized Means
Coventry University（考文垂大学）
禁忌搜索（TS）元启发式已被提出的K-Means聚类作为一种替代劳埃德的算法，它的所有易于实现和快速运行时，有被困在局部最优的主要缺点。虽然TS方法可以产生优越的性能，但它涉及高计算复杂性。此外，在现有的TS方法中的参数选择的困难并没有使它更有吸引力。本文提出了一种替代的，低复杂度的制定TS优化过程的K均值聚类。这种方法不需要很多参数设置。我们最初将中心约束为数据集中的点。然后，我们的目标是使用一个独特的邻域结构，利用目标函数的梯度信息来发展这些中心。这导致了对搜索空间的有效探索，之后，对平均值进行细化。该方案在MATLAB中实现，并在四个真实世界的数据集上进行了测试，它实现了显着的改进，在现有的TS方法的簇内平方和和计算时间。
2017-03-24 cs.LG
Hybrid Machine Learning Approach For Real-Time Malicious Url Detection Using Som-Rmo And Rbfn With Tabu Search Optimization
SJCIT
针对恶意URL威胁演变快、传统检测方法滞后的问题，提出结合SOM-RMO特征提取与禁忌搜索优化RBFN分类的混合机器学习方法，在基准数据集上实现96.5%的准确率，性能显著优于传统方法。
2024-07-05 cs.CR cs.LG
Deep Memory Search: A Metaheuristic Approach for Optimizing Heuristic Search
Assiut University（艾斯尤特大学）；Umm Al-Qura University（乌姆阿尔古拉大学）；Texas A&M University-San Antonio（德克萨斯农工大学圣安东尼奥分校）；College of Computer and Information Systems（计算机与信息系统学院）；Higher Colleges of Technology（高等技术学院）
本文提出深度启发式搜索（DHS），将元启发式搜索建模为记忆驱动的多层搜索过程，利用无模型记忆表示提升大规模动态搜索空间中的探索与利用效率，并在多种启发式优化问题上取得显著性能提升。
2024-10-22 cs.AI cs.LG
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University（联合国际大学）；Brac University（BRAC大学）
本文提出自适应禁忌丢弃机制，通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性，实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Optimizing Discrete Spaces via Expensive Evaluations: A Learning to Search Framework
Washington State University（华盛顿州立大学）；Oregon State University（俄勒冈州立大学）
我们考虑在离散空间上优化昂贵的黑盒函数的问题（例如，集合、序列、图）。关键的挑战是选择一系列组合结构进行评估，以便尽快识别高性能结构。我们的主要贡献是介绍和评估一个新的学习搜索框架，这个问题称为L2 S-DISCO。关键的洞察力是采用控制知识在每一步的搜索程序，以选择下一个结构，并改善控制知识，新的功能评估观察。我们提供了一个具体的L2 S-DISCO本地搜索程序的实例，并在不同的现实世界的基准经验评估。结果表明，在解决复杂的优化问题的L2 S-DISCO国家的最先进的算法的功效。
2020-12-14 cs.AI cs.LG
Code and Pixels: Multi-Modal Contrastive Pre-training for Enhanced Tabular Data Analysis
Karolinska Institute（卡罗林斯卡学院）；Helmholtz Imaging（亥姆霍兹成像研究所）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Institute of Materials Systems Modeling（材料系统建模研究所）；Helmholtz-Zentrum Hereon（亥姆霍兹-中心赫伦）；Institute of Membrane Research（膜研究所）
本研究提出多任务对比掩码表格建模方法MT-CMTM，结合对比学习与掩码表格建模，以带残差和注意力的1D-ResNet-CBAM处理表格数据，在两个数据集上性能优于从零训练的基线模型，展现出鲁棒性与多模态学习应用潜力。
2025-01-13 cs.CV cs.LG
Auto-FP: An Experimental Study of Automated Feature Preprocessing for Tabular Data
Simon Fraser University（西蒙弗雷泽大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了表格数据自动化特征预处理（Auto-FP）的方法，通过评估15种算法发现进化算法表现最佳，随机搜索也表现优异，分析了算法瓶颈并探讨了其扩展方向。
2026-04-15 cs.AI cs.DB cs.IR
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London（帝国理工学院）
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的，限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程（POMDPs），并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理，我们建立了一个变分生成模型，并使用递归神经网络（RNN）增强状态表示，并结合了序列自动编码的辅助损失。同时，我们优化了一个连续的药物水平的政策与行动者-评论家的方法，其中策略梯度从一个稳定的政策外估计的优势函数，与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法，使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量，并使用政策外政策评估（OPPE）评估学习的政策。结果表明，建模为POMDP产生更好的性能比MDP，并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide
Northwestern University（西北大学）
本研究针对PRM引导数学推理搜索的过优化问题，提出极大极小PRM引导搜索方法，无需微调即可提升搜索性能17%-35%，在多数设置中优于基线方法。
2026-09-01 cs.AI cs.LG
Optimizing Text Search: A Novel Pattern Matching Algorithm Based on Ukkonen's Approach
BAIDU（百度）；The university of Glasgow（格拉斯哥大学）
本文提出基于Ukkonen方法的新型文本搜索算法，通过优化后缀树实现线性时间效率，显著提升基因序列模式识别的准确率。
2025-11-29 cs.AI cs.DS cs.LG
Constrained Adaptive Attacks: Realistic Evaluation of Adversarial Examples and Robust Training of Deep Neural Networks for Tabular Data
University of Luxembourg（卢森堡大学）；RIKEN AIP（日本理化学研究所革新智能统合研究中心）
针对表格数据深度学习模型缺乏现实对抗鲁棒性评估方案的问题，提出结合梯度与搜索的无参数迭代约束自适应攻击CAA，构建覆盖三类场景、十种威胁模型的基准，明确影响鲁棒性的因素并给出改进建议。
2023-11-08 cs.LG
Well-tuned Simple Nets Excel on Tabular Datasets
University of Freiburg（弗莱堡大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
表格数据集是深度学习的最后一座“未征服的城堡”，传统的ML方法，如强制提升的决策树，即使在最近的专门神经架构中也仍然表现强劲。在本文中，我们假设提高神经网络性能的关键在于重新思考大量现代正则化技术的联合和同时应用。因此，我们提出了正则化普通多层感知器（MLP）网络，通过对应用哪些正则化器及其附属超参数进行联合优化来搜索每个数据集的13种正则化技术的最佳组合/鸡尾酒。我们在一项包括40个表格数据集的大规模实证研究中实证评估了这些正则化鸡尾酒对MLP的影响，并证明（i）正则化良好的普通MLP显著优于最近最先进的专业神经网络架构，（ii）它们甚至优于强大的传统ML方法，如XGBoost。
2021-11-05 cs.LG
Automated Model Design using Gated Neuron Selection in Telecom
Ericsson Research（爱立信研究）；KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
TabGNS通过门控神经元选择方法，提升电信领域表格数据的预测性能，同时显著减少模型规模和搜索时间。
2026-02-11 cs.LG
Optimizing Time Series Forecasting Architectures: A Hierarchical Neural Architecture Search Approach
Institute of Artificial Intelligence（人工智能研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
本文提出一种层次化神经架构搜索方法，通过设计层次化搜索空间高效组合多种预测模块，在长期时间序列预测任务上搜索出轻量级高性能架构。
2025-10-23 cs.LG
Zoom: SSD-based Vector Search for Optimizing Accuracy, Latency and Memory
Microsoft（微软）
随着机器学习和深度学习的发展，向量搜索对于许多信息检索系统来说变得非常重要，可以根据语义相似性搜索并找到与用户查询的最佳匹配。这些在线服务要求搜索架构既有效又准确。具有低延迟和内存占用的高效性，而现有工作无法提供。我们开发了一种新的矢量搜索解决方案Zoom，它基于多视图方法协作优化了准确性，延迟和内存。(1)“预览”步骤生成一小组好的候选项，利用内存中的压缩向量来减少占用空间和快速查找。(2)SSD上的“全视图”步骤将这些候选项与其全长向量重新排序，从而达到高准确性。我们的评估表明，缩放实现了一个数量级的提高效率，同时达到相同或更高的精度，与国家的最先进的。
2018-09-11 cs.CV cs.LG cs.PF
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
本文针对电商搜索广告排名与竞价机制，结合强化学习与进化策略提出动态模型，有效平衡广告主成本、用户相关性与平台收入，显著提升广告投放准确率与成本效率。
2024-05-29 cs.LG
Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report
最近，我们已经在用户体验的信息年龄（AoI）和传感器消耗的能量方面的信息新鲜度之间取得了平衡，通过适当地激活传感器来更新它们在启用缓存的物联网（IoT）网络中的当前状态[1]。为了解决这个问题，我们将相应的状态更新过程转换为连续的马尔可夫决策过程（MDP）（即，没有终止状态），其中状态-动作对的数量相对于所考虑的传感器和用户的数量呈指数增长。此外，为了规避维数灾难，我们已经建立了一种设计深度强化学习（DRL）算法的方法，以最大化（分别）。最小化）平均奖励（分别）。成本），通过集成R-学习，一种为最大化长期平均奖励而定制的表格强化学习（RL）算法，以及传统的DRL算法，最初开发用于优化折扣长期累积奖励而不是平均奖励。在本技术报告中，我们将详细讨论这种方法的技术贡献。
2021-04-14 cs.IT cs.LG cs.NI
