Multi-Layer Attention-Based Explainability via Transformers for Tabular Data
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
提出面向图的表格数据Transformer多层注意力可解释性方法，将所有头与层的注意力矩阵映射为图结构，通过寻找最大概率路径识别高贡献特征组，并与主流方法比较验证质量。
2024-06-04 cs.AI cs.LG
Tabular data generation with tensor contraction layers and transformers
Faculty of Sciences, University of Porto（波尔图大学理学院）；LIACC（人工智能与计算机科学实验室）；Faculty of Engineering, University of Porto（波尔图大学工程学院）
针对表格数据混合特征关联难的问题，本研究在VAE框架中结合张量收缩层与Transformer建模数据分布，对比四种架构后发现该方法可提升密度估计效果且保持机器学习效率竞争力。
2024-12-06 cs.LG stat.ML
Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks
Clausthal University of Technology（克劳斯塔尔工业大学）
本文提出一种改进的表格Transformer网络，通过理论论证和消融实验证明其能在复杂特征交互中准确识别边际特征效应，并在保持可理解性的同时达到黑箱模型的预测性能。
2025-04-11 cs.LG stat.ML
TabKANet: Tabular Data Modeling with Kolmogorov-Arnold Network and Transformer
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出 TabKANet，通过基于 KAN 的数值嵌入模块与 Transformer 统一编码数值和类别特征，在多类表格任务上优于 NNs，并达到或超过 GBDTs。
2024-10-02 cs.AI cs.LG
GeoViSTA: Geospatial Vision-Tabular Transformer for Multimodal Environment Representation
Department of Electrical and Computer Engineering, Rice University（理海大学电气与计算机工程系）；Center for Cardiovascular Computational and Precision Health, Department of Cardiology, DeBakey Heart and Vascular Center, Houston Methodist（休斯顿方法主义医疗中心心血管计算与精准健康中心、心内科部门、德贝基心脏和血管中心）
GeoViSTA通过融合栅格影像与表格数据，构建统一的地理嵌入表示，提升对环境、社会和健康问题的推理能力。
2026-05-14 cs.CV cs.LG
Multi-branch of Attention Yields Accurate Results for Tabular Data
Shanghai Warpdrive Technology Co.Ltd（上海威谱驱动科技有限公司）
针对表格数据特征异质性问题，本文提出MAYA框架，通过编码器中的多分支注意力机制和动态一致性约束协作学习，结合解码器交叉注意力，在表格分类与回归任务上取得了优于现有Transformer方法的性能。
2025-09-22 cs.AI cs.LG
Tydra: An Efficient Hybrid Model for Tabular Data
本文提出Tydra混合架构，平衡了表格基础模型的性能与效率，在30个OpenML数据集上较TabPFN提速30%，且优于规模大10倍的Hydra模型，为表格基础模型提供了新方向。
2026-08-24 cs.LG
GeoAggregator: An Efficient Transformer Model for Geo-Spatial Tabular Data
School of Geographical and Earth Science, University of Glasgow（格拉斯哥大学地理与地球科学学院）；Department of Geography, Florida State University（佛罗里达州立大学地理系）
针对现有深度学习模型处理大规模地理空间表格数据的可扩展性问题，提出基于Transformer的轻量高效模型GeoAggregator，通过高斯偏置局部注意力、全局位置感知及笛卡尔注意力机制建模空间特性，在多数据集上性能优异且模型规模更小。
2025-02-20 cs.LG
Not Another Imputation Method: A Transformer-based Model for Missing Values in Tabular Datasets
NAIM是一种基于Transformer的新型模型，通过特征嵌入和改进的自注意力机制处理表格数据中的缺失值，无需传统填补技术，且在多个数据集上表现优异。
2025-05-08 cs.LG
State-Space Models for Tabular Prior-Data Fitted Networks
L3S Research Center, Leibniz University Hannover, Hannover, Germany（L3S研究所以及汉诺威莱布尼茨大学）；University of Applied Sciences Rosenheim, Rosenheim, Germany（罗斯海姆应用科学大学）；Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出使用双向线性时间结构状态空间模型Hydra替代Transformer，以减少顺序依赖性并提升表格数据预训练模型的预测性能。
2025-12-11 cs.LG
Datum-wise Transformer for Synthetic Tabular Data Detection in the Wild
Orange Labs Lannion（奥兰治实验室朗尼翁分部）；Université de Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA UMR 6074（IRISA联合研究单位UMR 6074）
针对野外合成表格数据检测难题，提出数据级Transformer架构，在未见过的表格结构上优于现有模型，并结合领域自适应技术提升有效性，提供更鲁棒的数据伪造检测方案。
2025-04-10 cs.AI cs.DB cs.LG
Application of Tabular Transformer Architectures for Operating System Fingerprinting
RNASNA-IMEDIR Research Group Department of Computer Science and Information Technologies Facultad de Informática Universidade da Coruña（RNASNA-IMEDIR研究组计算机科学与信息科技系信息学院科鲁纳大学）；CITIC Research Centre Universidade da Coruña（CITIC研究中心科鲁纳大学）；IKERDATA S.L（IKERDATA公司）
本文探讨了使用Tabular Transformer架构进行操作系统指纹识别，通过三个公开数据集验证了FT-Transformer在多级分类中的优越性，提升了复杂网络环境中的准确性和适应性。
2025-02-13 cs.CR cs.LG cs.NI
Scaling Laws, Tabular Data and Actuarial Ratemaking Models
insureai；Bayes Business School（贝叶斯商学院）
该研究探究精算费率厘定场景下的缩放规律，对比不同模型发现TabM的数据缩放能力更强，Transformer需额外归纳偏差才能实现有效参数缩放，为该场景的模型选择提供定量指导。
2026-09-04 cs.LG q-fin.RM
A Survey on Deep Tabular Learning
Texas State University（德克萨斯州立大学）
本综述回顾了深度学习在表格数据中的演进，涵盖从全连接网络到注意力机制、混合架构、图模型及扩散模型等先进方法，并指出了未来在可扩展性、泛化性和可解释性方面的研究方向。
2024-10-15 cs.AI cs.LG
End-to-End Compression for Tabular Foundation Models
Department of Computer Science, Technical University of Nuremberg（纽伦堡技术大学计算机科学系）；Department of Computer Science University of Freiburg（弗赖堡大学计算机科学系）
提出TACO，一种端到端表格压缩模型，在潜在空间压缩训练数据，以解决表格Transformer在推理时间和内存上的二次复杂度问题，在TabArena基准上实现高达94倍加速和97%内存节省，且性能无明显下降。
2026-05-29 cs.LG
Deep Learning with Tabular Data: A Self-supervised Approach
The University of Adelaide（阿德莱德大学）
本研究针对表格数据特征表征问题，提出结合掩码式自监督的TabTransformer多种变体，通过构造最优输入提升特征关系捕捉能力，验证了其优于传统基线模型的性能。
2024-01-26 cs.AI cs.LG
Explainable Dual-Attention Tabular Transformer for Soil Electrical Resistivity Prediction: A Decision Support Framework for High-Voltage Substation Construction
King Mongkut’s University of technology Thonburi（泰国国王科技大学）
本研究提出一种用于预测土壤电阻率的双注意力 Transformer 架构，结合粒子群优化调参，在保持高预测精度的同时通过 SHAP 值提供可解释性，并开发了辅助高压变电站建设的 Web 决策支持框架。
2025-03-17 cs.LG cs.NE eess.SP
MultiTab: A Scalable Foundation for Multitask Learning on Tabular Data
针对现有表格多任务学习场景覆盖窄、骨干网络性能与扩展性不足的问题，本文提出多任务Transformer架构MultiTab-Net及配套评测基准MultiTab-Bench，跨域实验验证其性能更优。
2025-11-13 cs.AI cs.LG
RowNet: A Memory Transformer for Tabular Regression
Department of Applied Mathematics and Informatics（应用数学与信息学系）；Kyrgyz-Turkish Manas University（吉尔吉斯-土耳其马纳斯大学）
针对房地产估值中表格回归问题，提出RowNet，一种基于检索的神经网络架构，通过记忆库中的成对相似性特征、目标一致性增强和混合专家模块实现价格预测。
2026-06-03 cs.AI cs.LG math.ST
On Embeddings for Numerical Features in Tabular Deep Learning
Yandex；HSE（高等经济学院）
本文指出数值特征嵌入是表格深度学习中未被充分探索的自由度，提出分段线性编码和周期性激活两种方法，显著提升了模型性能，并证明其广泛适用于多种骨干网络。
2023-10-26 cs.LG
RecipeNet: A Hierarchical Transformer for Recipe Data
Arizona State University（亚利桑那州立大学）；Applied Materials（应用材料公司）；University of Illinois Chicago（芝加哥大学伊利诺伊分校）
针对现有表格学习方法难以捕获食谱数据分层与序列依赖的问题，提出分层Transformer架构RecipeNet，在多类食谱任务上性能优于现有表格模型，为食谱表示学习提供了新方案。
2026-08-17 cs.AI cs.LG
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague（计算机科学系，布拉格捷克技术大学）
针对 Transformer 难以处理关系数据库的问题，本文提出遵循关系模型的模块化神经消息传递方案，支持从数据库存储端到端学习，并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
LLM Embeddings for Deep Learning on Tabular Data
Jožef Stefan Institute（约热·斯特凡研究所）；Postgraduate School（研究生院）；University of Cambridge（剑桥大学）
针对表格深度学习嵌入方法跨表格迁移潜力有限、难以利用预训练知识的问题，提出将表格数据转文本后用LLM预训练表示编码的新方法，在七个分类数据集上验证其提升了MLP等模型的准确率。
2025-02-17 cs.AI cs.LG
CardioTabNet: A Novel Hybrid Transformer Model for Heart Disease Prediction using Tabular Medical Data
Qatar University（卡塔尔大学）；University of Dhaka（达卡大学）；Kuwait College of Science and Technology（科威特科技学院）；Vels Institute of Sciences, Technology, and Advanced Studies（维尔斯科学技术与高级研究院）
本研究提出混合Transformer模型CardioTabNet，结合表格Transformer与随机森林特征排序提取临床表格数据特征，使调优后的ExtraTree分类器在心脏病预测任务上达到94.1%准确率与95.0% AUC，性能优于现有主流模型。
2025-03-22 cs.LG
Uncertainty-Aware Tabular Prediction: Evaluating VBLL-Enhanced TabPFN in Safety-Critical Medical Data
Engineering University of Moratuwa Sri Lanka（穆塔瓦大学工程学院）
本文评估了将VBLL与TabPFN结合以提升不确定性校准的性能，发现在三个基准医疗数据集上原始TabPFN始终优于VBLL集成版本。
2025-09-12 cs.LG
MambaTab: A Plug-and-Play Model for Learning Tabular Data
University of Kentucky（肯塔基大学）
本文提出MambaTab，一种基于结构化状态空间模型的轻量级即插即用表格学习模型，以更少参数实现优于现有深度模型的性能。
2024-06-24 cs.LG
Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning
Alibaba Group（阿里巴巴集团）
本文提出AMFormer，通过并行加法和乘法注意力实现算术特征交互，在合成和真实表格数据上验证了其优于现有模型，确立了深度表格学习的强归纳偏置。
2024-03-19 cs.AI cs.LG
TabKAN: Advancing Tabular Data Analysis using Kolmogorov-Arnold Network
Department of Computer Science, University of Kentucky（卡内基梅隆大学计算机科学系）；Independent Researcher（独立研究者）；Institute for Biomedical Informatics, University of Kentucky（生物医学信息学研究所）
TabKAN通过基于柯尔莫戈罗夫-阿诺尔德网络的框架，提升表格数据分析的性能和可解释性，优于传统和Transformer模型。
2025-12-08 cs.LG
From Uniform to Learned Knots: A Study of Spline-Based Numerical Encodings for Tabular Deep Learning
BASF（巴斯夫）；Clausthal University of Technology（克劳斯塔尔工业大学）；Amazon Music（亚马逊音乐）；Bielefeld School of Business, Hochschule Bielefeld (HSBI)（比勒费尔德商学院，比勒费尔德应用科学大学）
本文研究了基于样条的数值编码在表格深度学习中的应用，探讨了不同样条家族在不同编码策略下的表现，发现编码效果依赖于任务、输出大小和模型结构，学习结变体在稳定性上表现良好但训练成本较高。
2026-08-18 cs.LG
OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning
Lexsi Labs（Lexsi实验室）
本研究提出OrionMoE-Small表格基础模型，结合分布感知表示与数据集条件稀疏专家混合计算，经合成分类任务预训练后，在多表格基准上实现与大模型相当的性能，小上下文、高维及类别不平衡场景表现突出。
2026-10-20 cs.AI cs.LG
Tabby: A Language Model Architecture for Tabular and Structured Data Synthesis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
Tabby是一种用于表格和结构化数据合成的语言模型架构，通过门控专家混合机制提升数据生成质量，结合新型训练技术实现44%的质量提升。
2026-01-02 cs.CL cs.LG
TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling
Yandex（Yandex公司）；HSE University（高等经济大学）
本文提出参数高效的类集成 MLP 模型 TabM，通过共享参数同时训练多个隐式 MLP，在公开表格基准上取得表格深度学习最佳性能与更优效率。
2025-02-18 cs.LG
Revisiting Deep Learning Models for Tabular Data
Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（国立研究大学高等经济学院）
本文重新审视表格数据深度学习模型，提出类似ResNet的架构和适配的Transformer架构作为强大基线，在统一协议下比较发现无普遍优越的解决方案。
2023-10-26 cs.LG
Robust Detection of Synthetic Tabular Data under Schema Variability
Orange Labs Lannion（奥兰治实验室拉尼永）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA（法国信息与随机系统研究所）
本文提出了一种新的数据级Transformer架构，有效提升了在模式变化下检测合成表格数据的鲁棒性和准确性。
2025-12-01 cs.AI cs.DB cs.LG
Generative Table Pre-training Empowers Models for Tabular Prediction
Tsinghua University（清华大学）；Fudan University（复旦大学）；Sea AI Lab（Sea人工智能实验室）
本文提出首个利用表格预训练赋能表格预测的模型 TapTap，通过在真实表格语料上预训练生成高质量合成数据，支持隐私保护、低资源、缺失值填补和不平衡分类等应用，在 12 个数据集上优于 16 个基线，并能与 LightGBM、MLP 和 Transformer 等多种骨干模型结合。
2023-05-16 cs.AI cs.CL cs.LG
Tabular Learning: Encoding for Entity and Context Embeddings
Institute for Data Applications and Security（数据应用与安全研究院）；School of Engineering and Computer Science（工程与计算机科学学院）；Bern University of Applied Sciences（伯尔尼应用科学大学）
本文通过多数据集基准实验比较表格学习中不同编码方法，发现基于字符串相似度的编码优于常用序数编码，且Transformer在多标签分类中表现更佳。
2024-03-28 cs.AI cs.CE cs.LG
TabICL: A Tabular Foundation Model for In-Context Learning on Large Data
SODA team, INRIA Saclay, France（法国国家信息与自动化研究所萨克雷研究所SODA团队）；Sierra team, INRIA Paris, France（法国国家信息与自动化研究所巴黎研究所Sierra团队）
针对现有表格基础模型难以处理大规模数据的问题，提出TabICL，采用先列后行的注意力机制与变换器架构，在60K样本上预训练，可处理500K样本，性能与TabPFNv2相当且快10倍，并在大数据集上超越现有方法。
2025-05-24 cs.AI cs.LG
Mamba for Scalable and Efficient Personalized Recommendations
Lirio AI Research（Lirio AI研究机构）；Lirio, Inc.（Lirio公司）
提出FT-Mamba模型，用Mamba层替换FT-Transformer中的Transformer层处理表格数据，将计算复杂度降至线性，在三个数据集上实验证明其计算效率更优且推荐性能保持或提升。
2024-09-11 cs.IR cs.LG
XTab: Cross-table Pretraining for Tabular Transformers
EPFL（洛桑联邦理工学院）；Cornell University（康奈尔大学）；Boson AI（玻色人工智能）；Amazon Web Services（亚马逊云科技）
XTab提出跨表预训练框架，利用独立特征化器与联邦学习解决列不一致问题，在84个任务上提升表格Transformer的泛化、速度与性能，并超越其他先进模型。
2023-05-10 cs.LG
Fairer and More Accurate Tabular Models Through NAS
本研究首次将多目标神经架构搜索与超参数优化应用于表格数据，通过联合优化模型架构与训练超参数，在准确性和公平性约束下生成帕累托最优架构，超越了现有偏差缓解方法。
2023-10-18 cs.AI cs.CY cs.LG
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA（英伟达）
基于会话的推荐是电子商业服务中的一项重要任务，其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中，我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发，由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集，我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析，以更好地了解我们的架构的有效性，基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers
The World Bank（世界银行）
表格数据是组织数据的常见形式。多个模型可用于生成观测独立的合成表格数据集，但很少有模型能够生成关系数据集。对关系数据进行建模具有挑战性，因为它需要对“父”表及其跨表的关系进行建模。我们介绍REaLTabFormer（Realistic Relational and Tabular Transformer），一个表格和关系的合成数据生成模型。它首先使用自回归GPT-2模型创建父表，然后使用序列到序列（Seq 2Seq）模型生成以父表为条件的关系数据集。我们实现了目标屏蔽，以防止数据复制，并提出了$Q_δ$统计和统计自举检测过拟合。使用真实世界数据集的实验表明，REaLTabFormer比基线模型更好地捕捉关系结构。REaLTabFormer还可以在预测任务上实现最先进的结果，“开箱即用”，用于大型非关系数据集，而无需微调。
2023-02-04 cs.LG
Basis Transformers for Multi-Task Tabular Regression
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对含文本、变长列和无元数据未见数据的表格回归问题，提出尊重表格不变性的 Basis Transformers，在 OpenML-CTR23 上以更少参数显著提升性能。
2025-06-07 cs.LG
TFWT: Tabular Feature Weighting with Transformer
Portland State University（波特兰州立大学）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Dalian Maritime University（大连海事大学）；Jilin University（吉林大学）
针对现有表格数据特征处理方法假设特征重要性一致、性能欠佳的问题，提出结合Transformer与强化学习的TFWT特征加权方法，实验验证其在多数据集和任务上的有效性。
2024-05-17 cs.LG
Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting
该研究通过离散分词和高斯平滑技术，在表格预测中实现了优于传统梯度提升的性能，同时通过消融分析验证了架构对校准效果的重要性。
2026-03-08 cs.LG
Challenging Gradient Boosted Decision Trees with Tabular Transformers for Fraud Detection at Booking.com
Maastricht University（马斯特里赫特大学）
针对欺诈检测中的选择偏差问题，提出利用自监督学习预训练表格Transformer并微调的方法，在离线与在线A/B实验中均显著优于调优后的GBDT。
2025-06-30 cs.LG
DP-TBART: A Transformer-based Autoregressive Model for Differentially Private Tabular Data Generation
Stanford University（斯坦福大学）；Bloomberg（彭博社）
针对差分隐私表格数据生成中深度学习方法表现落后于边际方法的问题，提出基于Transformer的DP-TBART自回归模型，性能可比肩甚至超越最优边际方法，并提供理论框架分析两类方法的适用场景。
2023-07-19 cs.CR cs.LG
Towards a Relationship-Aware Transformer for Tabular Data
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
本文提出了一种关系感知变换器，通过修改注意力机制来处理表格数据中的相关性问题，并在多个数据集上验证了其有效性。
2025-12-08 cs.LG
Transformers with Stochastic Competition for Tabular Data Modelling
Cyprus University of Technology（塞浦路斯理工大学）
本文提出一种基于Transformer的随机竞争模型，通过局部赢家通吃单元和随机竞争嵌入层，提升表格数据建模性能，并在公开数据集上验证了其有效性。
2024-07-18 cs.LG
TabMT: Generating tabular data with masked transformers
Leidos Inc（莱多斯公司）
本文提出 TabMT，一种用于合成表格数据的掩码 Transformer，通过改进掩码技术处理异构与缺失字段，在多规模数据集上达到 SOTA，并实现更优隐私权衡。
2023-12-11 cs.AI cs.LG
Diffusion Transformers for Tabular Data Time Series Generation
Prometeia Associazione（普罗米修斯协会）；University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Prometeia SpA（普罗米修斯股份公司）
针对表格数据时间序列生成这一未充分探索的领域，本文提出基于扩散Transformer（DiTs）的方法，扩展该框架以处理表格数据异构性和序列可变长度问题，在六个数据集上的实验表明其大幅优于现有方法。
2025-04-18 cs.AI cs.LG
VisTabNet: Adapting Vision Transformers for Tabular Data
Faculty of Mathematics and Computer Science, Jagiellonian University（数学与计算机科学学院，杰兹维日大学）
VisTabNet通过将表格数据投影为补丁嵌入，使预训练视觉变换器可处理表格数据，在小型数据集上优于传统方法和深度学习模型。
2025-04-25 cs.AI cs.CV cs.LG
Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation
Faculty of Sciences, University of Porto（科学学院，波尔图大学）；Faculty of Engineering, University of Porto（工程学院，波尔图大学）
本文研究了在变分自编码器中部署变换器以生成表格数据的影响，发现变换器的位置会影响保真度与多样性的平衡，并在解码器中观察到线性关系。
2026-01-28 cs.AI cs.LG
Attention Augmented Convolutional Transformer for Tabular Time-series
Airt Research（Airt研究中心）；Algebra University College（代数大学学院）
时间序列分类是工业数据科学中最常执行的任务之一，工业环境中最广泛使用的数据表示之一是表格表示。在这项工作中，我们提出了一种新的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务，如时间序列分类。表示学习框架是端到端的，类似于语言建模中的Transformers（BERT）的双向编码器表示，但是，我们引入了适用于时间序列数据预训练的新掩蔽技术。此外，我们还使用了用Transformers增强的一维卷积，并探索了它们的有效性，因为时间序列数据集自然适合一维卷积。我们还提出了一种新的时间戳嵌入技术，这有助于处理在不同的时间粒度级别的周期性周期，和非周期性的趋势存在于时间序列数据。我们提出的模型是端到端的，可以处理分类和连续值输入，并且不需要对连续特征进行任何量化或编码。
2021-10-05 cs.AI cs.LG
