In-context Learning of Evolving Data Streams with Tabular Foundational Models
INESC-TEC, FEP, University of Porto(INESC-TEC、FEP、葡萄牙波尔图大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出利用表格基础模型和上下文学习方法,通过滑动内存策略在动态环境中实现高效的数据流处理,优于传统集成方法。
2025-12-15 cs.AI cs.LG
MotherTree: Meta-learning on synthetic data improves decision tree training
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
该研究提出表格Transformer模型MotherTree,通过合成数据元学习生成独立决策树,在基准测试中优于从头学习的梯度方法,可作为强初始化器提升决策树训练效果。
2026-10-09 cs.LG
SeFNet: Bridging Tabular Datasets with Semantic Feature Nets
Warsaw University of Technology(华沙理工大学)
SeFNet利用本体论和领域知识为表格特征建立语义关系,提出DOSS度量以量化数据集相似性,促进跨任务元学习与见解共享。
2023-06-20 cs.LG
Long-term Cross Adversarial Training: A Robust Meta-learning Method for Few-shot Classification Tasks
The Hong Kong Polytechnic University(香港理工大学)
元学习模型可以利用Few-Shot标记数据快速适应新任务。然而,尽管在Few-Shot分类任务上实现了良好的泛化,但在少样本学习中提高元学习模型的对抗鲁棒性仍然具有挑战性。虽然对抗性查询(AQ)等对抗性训练(AT)方法可以提高元学习模型的对抗性鲁棒性能,但AT仍然是计算昂贵的训练。另一方面,用AT训练的元学习模型将显著降低原始干净图像的准确性。提出了一种对抗鲁棒神经网络的元学习方法--长期交叉对抗训练(LCAT)。LCAT将沿着自然和对抗样本分布方向交叉更新元学习模型参数,以提高对抗和干净的Few-Shot分类精度。由于交叉对抗训练,LCAT只需要比AQ一半的对抗训练时间,从而降低了对抗训练计算。实验结果表明,LCAT在元学习模型的干净和对抗性Few-Shot分类准确率方面都优于SOTA对抗性训练方法。
2021-07-01 cs.CR cs.CV cs.LG
A supervised generative optimization approach for tabular data
Yale University(耶鲁大学);University of Pittsburgh(匹兹堡大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对表格合成数据方法难选择且忽视下游任务的问题,提出融合任务定制监督组件与元学习的生成框架,以学习现有合成分布的最优混合。
2024-05-09 cs.LG
Semantic Classification of Tabular Datasets via Character-Level Convolutional Neural Networks
New Knowledge(新认知)
提出了一种基于“自动机器学习“(AutoML)的字符级卷积神经网络(CNN),用于对表格数据中的列进行语义分类。首先使用包含一组基类的模拟数据来学习一组初始权重。然后,在迁移学习范例中使用来自CKAN存储库的手工标记的数据,以使初始权重适应问题的更复杂的表示(例如,更多的类)。在这样做的过程中,现实的数据缺陷被学习,并且所处理的类的集合可以从具有减少的标记数据和计算能力要求的基本集合扩展。结果表明,这种方法的有效性和灵活性在三个不同的领域:语义分类的表格数据,年龄预测从社交媒体帖子,和电子邮件垃圾邮件分类。除了提供迁移学习在自然语言处理(NLP)中有效性的进一步证据外,我们的实验还表明,在没有额外元数据的情况下,在字符级别分析语言的语义结构,网络结构、报头等-可以为类型分类、垃圾邮件分类和社交媒体年龄预测提供有竞争力的准确性。我们提出了我们的开源工具包SIMON,语义推理建模的本体,它实现了这种方法在一个用户友好的和可扩展/并行化的方式的首字母缩写。
2019-01-24 cs.CL cs.LG
Adversarially Learned Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);École Polytechnique(巴黎综合理工学院);Télécom ParisTech(巴黎电信学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
异常检测是一个重要的研究课题。然而,开发有效的异常检测方法的复杂和高维数据仍然是一个挑战。由于生成对抗网络(GANs)能够对现实世界数据的复杂高维分布进行建模,因此它们为解决这一挑战提供了一种有前途的方法。在这项工作中,我们提出了一种异常检测方法,基于双向GANs的逆向学习异常检测(ALAD),该方法可以获得用于异常检测任务的逆向学习特征。ALAD然后使用基于这些逆向学习特征的重建误差来确定数据样本是否异常。ALAD建立在最新进展的基础上,以确保数据空间和潜在空间的循环,并稳定GAN训练,从而显着提高异常检测性能。ALAD在一系列图像和表格数据集上实现了最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2018-12-06 cs.LG stat.ML
Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator
Department of Computer Science, University of Freiburg, Germany(弗赖堡大学计算机科学系);Artificial Intelligence Research Center, AIST, Tokyo, Japan(日本科学技术厅人工智能研究中心)
提出利用任务间顶级域重叠定义的任务相似性扩展TPE采集函数到元学习设置,加速多目标超参数优化,理论分析并解决相似性局限,实验证明在表格HPO基准上达到最优性能并赢得AutoML 2022竞赛。
2023-05-31 cs.AI cs.LG
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis(加利福尼亚大学戴维斯分校);Google Inc.(谷歌公司)
每天都有许多新的对话域被创建,而收集这些域的数据是非常昂贵的,因为它涉及到人类的交互。因此,在构建数据驱动的对话模型时,开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化,而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型,它采用了元教师模型,强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中,元教师引导对话模型关注重要的标记,以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型,并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
DART: A Principled Approach to Adversarially Robust Unsupervised Domain Adaptation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
本文研究无监督领域适应下的对抗鲁棒性问题,提出统一防御框架 DART 并发布 DomainRobust 测试平台,在保持标准准确率的同时显著提升了模型鲁棒性。
2024-02-16 cs.CV cs.LG stat.ML
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University(电气与计算机工程系,克莱姆森大学)
针对自动调制分类(AMC)中对抗攻击与数据分布偏移问题,提出一种结合元学习与领域自适应的统一两阶段框架,显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Learning a Decision Tree Algorithm with Transformers
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文提出基于Transformer的模型MetaTree,通过元学习直接生成决策树,使其能自适应模拟贪心和全局优化算法,从而解决传统局部划分难以实现全局泛化的问题,显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Cross-Table Pretraining towards a Universal Function Space for Heterogeneous Tabular Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对异构表格数据多样性导致的跨表预训练难题,提出XTFormer,通过构建包含潜在特征-目标映射的“元函数”空间,在190个任务中显著超越XGBoost、Catboost、FT-Transformer和XTab等基线方法。
2024-06-01 cs.AI cs.LG
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL(洛桑联邦理工学院)
针对表格类别数据对抗鲁棒性的两大挑战,提出基于双层交替最小化的通用鲁棒嵌入方法,可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器,在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG
Explaining Tabular Foundation Model Differences Through Meta-Features
Clausthal University of Technology, Clausthal-Zellerfeld, Germany(Clausthal技术大学,Clausthal-Zellerfeld,德国);University of Mannheim, Mannheim, Germany(曼海姆大学,曼海姆,德国)
研究通过严格统计检验和留一法分析,发现数据集元特征无法稳健解释表格数据上不同模型族(如神经网络与树模型、非基础模型与基础模型)之间的性能差异。
2026-07-02 cs.LG
iLTM: Integrated Large Tabular Model
Stanford University(斯坦福大学);University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California, Berkeley(加州大学伯克利分校);École Polytechnique(巴黎高等理工学院)
iLTM通过集成树派生嵌入、维度无关表示和超网络,提供了一个统一的表格学习框架,实现优于传统GBDT和深度表格模型的性能。
2026-08-11 cs.AI cs.LG
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出一种双编码器元对抗多视图表示学习框架,通过最大化同一数据不同增强视图间的差异与一致性,学习跨领域和任务的可迁移对抗鲁棒表示,在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
Meta-learning of textual representations
INAOE(国家天体物理、光学与电子研究所);CINVESTAV(高级研究中心);ChaLearn
AutoML的最新进展导致了最先进的方法(例如,AutoSKLearn),非专家可以很容易地使用它来处理任何监督学习问题。虽然这些方法非常有效,但它们仍然受到限制,因为它们仅适用于表格(矩阵格式)数据。本文介绍了一个步骤,试图自动化的监督学习方法的设计,在文本挖掘的背景下。我们介绍了一个元学习方法,自动获得一个代表性的文本挖掘任务从原始文本。我们报告的实验考虑60种不同的文本表示和80多个文本挖掘数据集与各种各样的任务。实验结果表明,该方法是一个很有前途的解决方案,以获得高效的外壳文本分类管道。
2019-07-19 cs.CL cs.LG stat.ML
Adversarial training for tabular data with attack propagation
Feedzai(Feedzai公司);INESC-ID(葡萄牙系统与计算机工程研究所);IST, U. de Lisboa(里斯本大学高等技术学院)
针对表格数据特征工程导致的攻击空间转换问题,提出在训练循环中跨空间传播攻击的新型对抗训练方法,在信用卡欺诈检测中有效抵御攻击并保持较低性能权衡。
2023-07-28 cs.CR cs.LG
Orion-Bix: Bi-Axial Attention for Tabular In-Context Learning
Lexsi Labs(Lexsi实验室)
Orion-Bix通过双轴注意力与元学习方法,实现了高效且鲁棒的少样本表格学习,优于基线模型并在基准上表现优异。
2026-02-11 cs.AI cs.LG stat.ML
Tabular Embeddings for Tables with Bi-Dimensional Hierarchical Metadata and Nesting
Florida State University(佛罗里达州立大学);University of South Florida(南佛罗里达大学)
针对含双维层次元数据与嵌套的表格,提出专用嵌入方法,在5个数据集和3个任务上MAP最高提升0.28,优于现有模型。
2025-02-20 cs.AI cs.CL cs.LG
One-step learning algorithm selection for classification via convolutional neural networks
本文针对分类任务的算法选择问题,提出一步式方案,直接用卷积神经网络在表格数据集上学习数据底层结构以推荐分类器,模拟与真实数据集实验均表明其性能优于传统两步元学习方法。
2025-08-23 cs.LG
A Suite of Fairness Datasets for Tabular Classification
IBM Research(IBM研究院);Carnegie Mellon University(卡内基梅隆大学)
针对公平性机器学习研究实验评估中数据集使用过少的问题,本文引入了一套可获取20个公平性数据集及相关元数据的函数,以促进未来更严谨的实验评估。
2023-07-31 cs.AI cs.CY cs.LG
Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation
Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
针对元学习中的任务分布偏移问题,提出基于显式生成模型与 Stackelberg 对抗训练的快速适应方法,在子群体偏移下优于 SOTA 基线并提供理论保证。
2025-01-06 cs.LG
TimeAutoDiff: A Unified Framework for Generation, Imputation, Forecasting, and Time-Varying Metadata Conditioning of Heterogeneous Time Series Tabular Data
UCLA(美国大学联盟);Microsoft(微软公司);Xiamen Univ.(厦门大学);CMU(卡内基梅隆大学)
TimeAutoDiff通过统一框架实现时间序列生成、填补、预测及元数据条件生成,结合轻量级VAE和扩散模型,提升效率与泛化能力
2025-12-06 cs.AI cs.LG
Which is the best model for my data?
Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学);Universidad de Talca(塔尔卡大学)
在本文中,我们解决的问题,选择一个给定的结构化模式分类数据集的最佳模型。在这种情况下,模型可以被理解为分类器和超参数配置。所提出的元学习方法纯粹依赖于机器学习,并涉及四个主要步骤。首先,我们提出了一个简洁的集合62元功能,解决问题的信息取消时,聚合测量值涉及积极和消极的测量。其次,我们描述了两种不同的方法来生成合成数据,旨在扩大训练数据。第三,我们为每个分类问题拟合一组预定义的分类模型,同时使用网格搜索优化其超参数。我们的目标是创建一个元数据集,使每行表示一个描述特定问题的多标签实例。这些元实例的特征表示生成的数据集的统计属性,而标签将网格搜索结果编码为二进制向量,以便最佳性能的模型被正面标记。最后,我们用几个多标签分类器来解决模型选择问题,包括一个专门用于处理表格数据的卷积神经网络。仿真结果表明,我们的元学习方法可以正确预测91%的合成数据集和87%的真实数据集的最佳模型。此外,我们注意到大多数元分类器在使用我们的元特征时会产生更好的结果。总的来说,我们的建议不同于其他元学习方法,因为它在单步的中解决了算法选择和超参数调整问题。最后,我们进行了特征重要性分析,以确定哪些统计特征驱动模型选择机制。
2022-10-26 cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
Few-Shot图像分类的目标是推广到具有有限标记数据的任务,多年来已经取得了很大的进展。然而,分类器容易受到对抗性样本的影响,这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合,以提高Few-Shot分类器的鲁棒性。我们表明,一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明,在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器,在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的,易于扩展,并与很少的努力,可以导致强大的Few-Shot分类器。代码可在这里:\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
针对神经过程在共享结构不规则时性能受限的问题,提出NPBoost,将响应分解为树提升固定效应与NP随机效应,联合训练提升元学习性能。
2026-09-24 cs.LG stat.ML
Do Ensembling and Meta-Learning Improve Outlier Detection in Randomized Controlled Trials?
Centre for Data Science and Digital Health, Hamilton Health Sciences(汉密尔顿健康科学中心数据科学与数字健康中心);Department of Statistical Sciences, University of Toronto(多伦多大学统计科学系);Institute for Health Policy, Management and Evaluation, University of Toronto(多伦多大学卫生政策、管理与评估研究所);Department of Medicine, McMaster University(麦克马斯特大学医学系);Population Health Research Institute(人口健康研究所)
该研究针对多中心随机对照试验的异常数据识别任务,评估6种无监督异常检测算法,提出元学习概率集成MePE,发现小型集成平均性能优于各类元学习方法,为相关领域应用提供参考。
2023-11-09 cs.LG
Beyond Distribution Matching: Semantics-Consistent Tabular Diffusion with Weak Semantic Priors
Jilin University(吉林大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对现有表格生成器忽视语义约束的问题,提出语义一致表格扩散框架,利用LLM提取列内语义和列间规则作为生成条件,在统一语义空间进行条件去噪,在六个基准上同时提升分布保真度与语义一致性。
2026-09-16 cs.AI cs.LG
Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality
Lexsi Labs(Lexsi实验室)
本文研究了合成任务分布对表格基础模型质量的影响,提出O'Prior方法,通过四个耦合组件构建更真实的先验,提升了下游任务的准确性和鲁棒性。
2026-10-26 cs.AI cs.LG
Beyond IID: How General Are Tabular Foundation Models, Really?
Prior Labs;University of Freiburg(弗赖堡大学);University of Mannheim(曼海姆大学);INRIA Saclay(法国国家信息与自动化研究所萨克雷研究中心);Technion(技术学院);ELLIS Institute Tübingen(图宾根ELLIS研究所);Zuse School ELIZA(Zuse学校ELIZA)
针对表格数据基础模型评估碎片化问题,提出统一基准BeyondArena,涵盖多种任务类型、数据规模和特征类型,发现现有模型在IID小数据上表现优异,但非IID、大数据和高维数据仍由传统模型主导。
2026-11-02 cs.AI cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会ISTI研究所);Scuola Normale Superiore - Pisa, Italy(比萨大学正常学院 - 意大利)
本文提出ILLUME框架,结合全局训练的替代模型与实例特定的线性变换,生成准确且高效的局部和全局解释,解决传统替代方法的局限性。
2026-03-18 cs.LG
OmniTabBench: Mapping the Empirical Frontiers of GBDTs, Neural Networks, and Foundation Models for Tabular Data at Scale
Huawei Cloud(华为云);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院)
本文提出OmniTabBench,最大的表格数据基准,包含3030个数据集,通过大规模实验验证各模型家族无单一优势,提供更清晰的指导。
2026-04-08 cs.AI cs.LG
Efficient Autoregressive Inference for Transformer Probabilistic Models
Department of Computer Science, Aalto University, Finland(芬兰阿尔托大学计算机科学系);ELLIS Institute Finland(芬兰ELLIS研究所);Department of Computer Science, University of Helsinki, Finland(芬兰赫尔辛基大学计算机科学系);Verda;Department of Computer Science, University of Manchester, UK(英国曼彻斯特大学计算机科学系)
本文提出一种高效自回归缓冲机制,结合集基和自回归方法,实现多预测联合分布推断,提升采样和密度评估效率,实验显示性能接近全上下文重编码,速度和内存使用更优。
2026-04-20 cs.LG stat.ML
Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);The Ohio State University(俄亥俄州立大学);China National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室)
针对表格数据预训练中数据集间属性和标签空间异质性导致的知识共享难题,提出TabPTM方法,通过元表示将实例嵌入共享特征空间,实现通用模型预训练,在101个数据集上验证了其在分类和回归任务中的有效性。
2025-02-12 cs.LG
LaTable: Towards Large Tabular Models
University of Cambridge(剑桥大学)
本文提出LaTable,一种能在异构表格数据集上跨域训练的表格扩散模型,解决了分布内生成优于基线且少样本微调效果更佳的问题,并探讨了其零样本性能对构建表格基础模型的启示。
2024-06-25 cs.LG
Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data
Inria Paris(法国国家信息与自动化研究所巴黎分部);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);Ecole Normale Superieure PSL University(巴黎高等师范学院PSL大学);University of Stuttgart(斯图加特大学)
针对表格数据深度学习方法调优成本高、速度慢的问题,提出改进的RealMLP模型及元调优的默认参数,在多基准测试中实现了与GBDTs相当的性能,且无需超参数调优即可取得优异效果。
2025-01-15 cs.LG
Meta-Learning and Synthetic Data for Automated Pretraining and Finetuning
针对深度学习流水线选择难、训练数据依赖真实数据的问题,本研究用元学习将AutoML拓展到深度学习领域,实现CV和NLP任务的自动化微调,并元学习数据增强与合成数据生成器,提升任务性能。
2025-06-11 cs.LG stat.ML
GOTabPFN: From Feature Ordering to Compact Tokenization for Tabular Foundation Models on High-Dimensional Data
University of Cambridge(剑桥大学)
针对高维小样本表格预测问题,提出GOTabPFN模型,通过图引导排序和神经启发子单元压缩实现紧凑表示,提升TabPFN在严格token预算下的稳定性和准确性。
2026-06-07 cs.AI cs.LG stat.ML
Basis Transformers for Multi-Task Tabular Regression
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
针对含文本、变长列和无元数据未见数据的表格回归问题,提出尊重表格不变性的 Basis Transformers,在 OpenML-CTR23 上以更少参数显著提升性能。
2025-06-07 cs.LG
ICLAD: In-Context Learning for Unified Tabular Anomaly Detection Across Supervision Regimes
Department of Electrical and Computer Engineering, McGill University, Canada(麦吉尔大学电气与计算机工程系,加拿大);Mila - Quebec Artificial Intelligence Institute, Montreal, Canada(魁北克人工智能研究所,蒙特利尔,加拿大)
ICLAD通过元学习训练合成表格异常检测任务,实现跨数据集和监督模式的统一表格异常检测框架,实验显示在57个数据集上取得最佳性能。
2026-03-19 cs.LG
SYNTHONY: A Stress-Aware, Intent-Conditioned Agent for Deep Tabular Generative Models Selection
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出SYNTHONY,一种基于意图的表格生成模型选择框架,通过压力分析选择最佳合成器,提升模型在不同数据分布下的性能和实用性。
2026-03-31 cs.LG stat.ML
Does your graph need a confidence boost? Convergent boosted smoothing on graphs with tabular node features
University of Maryland(马里兰大学);Amazon(亚马逊);Shanghai Jiao Tong University(上海交通大学)
对于表格数据的监督学习,通过提升技术产生的决策树集成通常在涉及iid训练/测试集的实际应用中占主导地位。然而,对于由于样本之间的结构化关系而违反iid假设的图形数据,仍然不清楚如何最好地将该结构并入现有的提升管道中。为此,我们提出了一个通用的框架,用于使用图传播步骤迭代提升,这些步骤在连接相关样本的边缘之间共享节点/样本信息。与以前的努力,整合基于图的模型与提升,我们的方法是锚定在一个原则性的Meta损失函数,可证明的收敛性,可以保证在相对温和的假设。在具有表格节点特征的各种非iid图数据集上,我们的方法实现了与表格和图神经网络模型以及结合两者的现有混合策略相当或更优的性能。除了产生比最近提出的图模型更好的预测性能之外,我们提出的技术易于实现,计算效率更高,并且具有更强的理论保证(这使得我们的结果更具可重复性)。
2022-10-04 cs.LG
PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards
Borealis AI(北极光人工智能研究院);Royal Bank of Canada (RBC)(加拿大皇家银行)
本文是关于金融零售信用评分所采用的机器学习(ML)模型的验证和解释的新方向和方法的说明。我们提出的框架从人工智能(AI)安全和对抗性ML领域汲取了动力,在这些领域中,面对ML算法压倒性的复杂性,需要验证ML算法的性能,需要重新思考模型架构选择,敏感性分析和压力测试的传统概念。我们的观点是,当脱离人工智能安全领域时,对抗性扰动的现象具有纯粹的算法根源,并属于模型风险评估的范围。我们提出了一个模型的批评和解释框架的基础上对抗生成的反事实的例子,表格数据。在这种情况下,给定实例的反事实示例被定义为从估计数据分布中采样的合成生成的数据点,该估计数据分布被模型不同地处理。反事实示例可用于提供模型行为的黑盒实例级解释,以及研究输入空间中模型性能恶化的区域。对抗性示例生成算法在图像和自然语言处理(NLP)领域得到了广泛的研究。然而,大多数金融数据都是以表格形式出现的,在这类数据集上简单地应用现有技术会产生不切实际的样本。在本文中,我们提出了一个反事实的例子生成方法,能够处理表格数据,包括离散和分类变量。我们提出的算法使用了基于遗传算法的无梯度优化,因此适用于任何分类模型。
2020-08-28 cs.LG stat.ML
Learning Semantic Annotations for Tabular Data
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Oslo(奥斯陆大学);The University of Edinburgh(爱丁堡大学)
表格数据(如Web表格)的有用性主要取决于对其语义的理解。本文主要研究不含Meta数据的表的列类型预测。与传统的基于词汇匹配的方法不同,我们提出了一种深度预测模型,它可以充分利用表的上下文语义,包括由混合神经网络(HNN)学习的表局部性特征,以及由知识库(KB)查找和查询应答算法学习的列间语义特征。
2019-05-30 cs.DB cs.IR cs.LG
Where Do Flow Semantics Reside? A Protocol-Native Tabular Pretraining Paradigm for Encrypted Traffic Classification
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种协议原生的表格预训练范式,解决加密流量分类中传统序列模型的语义丢失问题,通过FlowSem-MAE在保持字段边界和时间模式方面取得显著优势。
2026-05-09 cs.AI cs.CR cs.LG
ExplainerPFN: Towards tabular foundation models for model-free zero-shot feature importance estimations
INESC-ID;New York University(纽约大学)
本文提出ExplainerPFN,一种基于TabPFN的表格基础模型,通过预训练合成结构因果数据实现无模型零样本特征重要性估计,展示了其在真实和合成数据集上的竞争力。
2026-05-15 cs.AI cs.LG
HyperFast: Instant Classification for Tabular Data
Amazon(亚马逊)
本文提出元训练超网络HyperFast,通过单次前向传播为表格数据生成任务专用网络,实现无需训练的即时分类,在多个基准上取得竞争性结果并显著降低计算成本。
2024-02-22 cs.AI cs.LG stat.ML
TabFM-Auto: Self-Evolving Pipelines for Tabular Foundation Models
Google Research(谷歌研究院);University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind);Harvard University(哈佛大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
TabFM-Auto将表格基础模型TabFM与语言模型智能体结合,通过迭代优化数据清洗、特征工程等流水线步骤,在TabArena基准的51个数据集上取得前五名,并将TabFM的Elo评分从1785提升至2013,且流水线可迁移至其他模型。
2026-09-30 cs.LG
Unmasking Trees for Tabular Data
BigHat Biosciences(BigHat生物科学公司)
本文提出基于梯度提升决策树逐步揭示特征的 UnmaskingTrees,并结合 BaltoBot 条件概率预测,在表格插补与含缺失数据生成基准上取得领先表现。
2025-07-23 cs.LG stat.ML
Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models
本文提出无领域知识的元认知层,通过标签向量池学习几何规则,将多个ViT检测器的融合建模为溯因问题,在航拍基准测试中对抗标签翻转攻击时性能优于多数投票基线。
2026-08-06 cs.AI cs.CV cs.LG
Adaptive Ensemble Selection for Noisy Labels on Tabular Data
针对表格数据中的噪声标签问题,提出一种数据为中心的元模型自适应集成选择方法,通过预测检测器权重来诊断数据质量并选择清洗策略,在受控噪声基准上达到与Confident Learning相当的性能。
2026-09-29 cs.LG
When Do Neural Nets Outperform Boosted Trees on Tabular Data?
Stanford(斯坦福大学);Pinterest;University of Maryland(马里兰大学);IIT Bombay(印度理工学院孟买分校);New York University(纽约大学);Caltech(加州理工学院)
本研究通过大规模比较19种算法在176个数据集上的表现,发现神经网络与GBDT之争被过度强调,并揭示数据集属性对算法选择的影响,同时发布TabZilla基准套件。
2024-07-15 cs.AI cs.LG stat.ML