TransTab: Learning Transferable Tabular Transformers Across Tables
UIUC（伊利诺伊大学厄巴纳-香槟分校）
表格数据（或表格）是机器学习（ML）中使用最广泛的数据格式。然而，ML模型通常假设表结构在训练和测试中保持固定。在ML建模之前，需要进行大量的数据清理，以合并具有不同列的不同表。这种预处理通常会导致显著的数据浪费（例如，移除不匹配的柱和样品）。如何从具有部分重叠列的多个表中学习ML模型？如何随着时间的推移随着更多列变得可用而增量地更新ML模型？我们可以在多个不同的表上利用模型预训练吗？如何训练一个可以在看不见的表上进行预测的ML模型？为了回答所有这些问题，我们建议放宽固定的表结构，引入一个可转移的表格Transformer（transTab）的表。TransTab的目标是将每个样本（表中的一行）转换为可泛化的嵌入向量，然后应用堆栈Transformers进行特征编码。一种方法学见解是将列描述和表单元格组合起来作为门控Transformer模型的原始输入。另一个观点是引入监督和自我监督的预训练来提高模型性能。我们在不同的基准数据集和五个肿瘤学临床试验数据集上比较了TransTab与多种基线方法。总体而言，在监督学习、特征增量学习和迁移学习场景中，TransTab分别在12种方法中排名1.00、1.00、1.78;并且所提出的预训练平均比监督学习提高了2.3%的AUC。
2022-09-16 cs.AI cs.LG
STUNT: Few-shot Tabular Learning with Self-generated Tasks from Unlabeled Tables
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
使用少量标记的表格样本进行学习通常是工业机器学习应用的基本要求，因为各种表格数据遭受高注释成本或难以为新任务收集新样本。尽管非常重要，但这样的问题在表格学习领域中还没有得到充分的探索，并且来自其他领域的现有少样本学习方案并不容易应用，这主要是由于表格数据的异构特性。在本文中，我们提出了一个简单而有效的框架，Few-Shot半监督表格学习，创造自生成任务从未标记的表（STUNT）。我们的主要思想是通过将随机选择的列视为目标标签来自生成多样化的Few-Shot任务。然后，我们采用元学习计划学习与构建的任务的概括性知识。此外，我们引入了一个无监督的验证计划，超参数搜索（和早期停止）生成一个伪验证集使用STUNT从未标记的数据。我们的实验结果表明，我们的简单框架带来了显着的性能增益下各种表格少样本学习基准，相比以前的半和自监督基线。代码可在https://github.com/jaehyun513/STUNT上获得。
2023-03-02 cs.AI cs.LG
Unlock the Potential of Large Language Models for Predictive Tabular Tasks in Data Science with Table-Specific Pretraining
Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Department of Information Systems and Management Engineering, Southern University of Science and Technology（南方科技大学信息 systems 和管理工程系）
本文通过表格特定预训练方法提升LLM在表格预测任务中的表现，验证了定制化训练对提升表格智能的有效性。
2026-04-22 cs.AI cs.LG
Generate, Transform, Answer: Question Specific Tool Synthesis for Tabular Data
University of Glasgow（格拉斯哥大学）
表格式问答（TQA）需要将自然语言与大量半结构化数据进行联合推理，这对神经系统提出了挑战。与使用过滤器等编程工具在处理之前转换数据的人类不同，TQA中的语言模型直接处理表，导致信息随着表大小的增加而丢失。在本文中，我们提出ToolWriter生成查询特定的程序，并检测何时将它们应用于转换表，并将它们与TQA模型的功能对齐。集中使用ToolWriter来生成行过滤工具，提高了WikiTableQuestions和WikiSQL的最新技术水平，在长表上获得了最大的性能。通过调查净空，我们的工作突出了编程工具与神经组件相结合来操纵大量结构化数据的更广泛潜力。
2023-03-17 cs.AI cs.LG
XTab: Cross-table Pretraining for Tabular Transformers
EPFL（洛桑联邦理工学院）；Cornell University（康奈尔大学）；Boson AI（玻色人工智能）；Amazon Web Services（亚马逊云科技）
XTab提出跨表预训练框架，利用独立特征化器与联邦学习解决列不一致问题，在84个任务上提升表格Transformer的泛化、速度与性能，并超越其他先进模型。
2023-05-10 cs.LG
Generative Table Pre-training Empowers Models for Tabular Prediction
Tsinghua University（清华大学）；Fudan University（复旦大学）；Sea AI Lab（Sea人工智能实验室）
本文提出首个利用表格预训练赋能表格预测的模型 TapTap，通过在真实表格语料上预训练生成高质量合成数据，支持隐私保护、低资源、缺失值填补和不平衡分类等应用，在 12 个数据集上优于 16 个基线，并能与 LightGBM、MLP 和 Transformer 等多种骨干模型结合。
2023-05-16 cs.AI cs.CL cs.LG
Learning Relational Tabular Data without Shared Features
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机学院）；Department of Mathematics, National University of Singapore（新加坡国立大学数学学院）
针对关系型表格跨表学习中无共享特征、无预对齐数据的挑战，提出Leal框架，通过软对齐机制和可微分聚类采样器实现有效训练，在真实与合成数据集上预测性能较最优方法提升达26.8%。
2025-02-14 cs.AI cs.LG
HYTREL: Hypergraph-enhanced Tabular Data Representation Learning
Amazon Web Services（亚马逊云服务）；Texas A&M University（德克萨斯A&M大学）
本文提出表格语言模型 HYTREL，利用超图建模行、列和整表的单元共现关系以捕获置换不变性等结构偏置，在极少预训练下于多个下游任务中优于竞争基线。
2023-10-27 cs.AI cs.CL cs.LG
Generalization Can Emerge in Tabular Foundation Models From a Single Table
University of Toronto（多伦多大学）；Polytechnique Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Layer 6 AI（Layer 6 AI公司）；Prior Labs（Prior实验室）；ELLIS Institute（ELLIS研究所）；Tübingen University of Freiburg（弗赖堡大学）
本文发现仅用单张真实表格进行自监督预训练即可让表格基础模型实现跨域泛化，并指出可构建任务的数量与质量是决定下游性能的关键。
2026-09-15 cs.AI cs.LG
Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification
Shenyang Institute of Automation（沈阳自动化研究所）；Chinese Academy of Sciences（中国科学院）
针对 TabPFN 处理分类特征较弱的问题，本文提出带 Feature Tokenization 层并支持下游微调的 FT-TabPFN，提升表格分类的适用性与准确率。
2024-06-11 cs.AI cs.LG
MultiHiertt: Numerical Reasoning over Multi Hierarchical Tabular and Textual Data
Yale University（耶鲁大学）；The Chinese University of Hong Kong（香港中文大学）；Northeastern University（东北大学）；Penn State University（宾夕法尼亚州立大学）
对包含文本和表格内容的混合数据的数值推理（例如，财务报告）最近在NLP社区引起了很大的关注。然而，现有的混合数据上的问答（QA）基准测试在每个文档中仅包括单个平面表，因此缺乏跨多个分层表的多步数值推理的示例。为了促进数据分析的进展，我们构建了一个新的大规模基准，MultiHiertt，多层次表格和文本数据的QA对。MultiHiertt基于丰富的财务报告构建，具有以下独特的特点：1）每个文档包含多个表格和较长的非结构化文本; 2）所包含的大多数表格都是分层的; 3）每个问题所需的推理过程比现有的基准更复杂和更具挑战性; 4）每个问题的推理过程比现有的基准更复杂和更具挑战性。以及4）提供推理过程和支持事实的细粒度注释以揭示复杂的数值推理。我们进一步介绍了一种新的QA模型称为MT 2Net，它首先应用事实检索从表和文本中提取相关的支持事实，然后使用推理模块对检索到的事实进行符号推理。我们在各种基线上进行综合实验。实验结果表明，MultiHiertt对现有基线提出了强烈的挑战，其结果远远落后于人类专家的表现。数据集和代码可在https://github.com/psunlpgroup/MultiHiertt上公开获得。
2022-06-03 cs.AI cs.LG
TabMosaic: Unified In-Context Diffusion for Tabular Generative Tasks
KAIST（韩国科学技术院）；Oregon State University（俄勒冈州立大学）
本研究提出TabMosaic，一种无需表格特定训练的统一上下文内扩散模型，将表格生成任务统一为联合多单元格生成问题，在48个真实表格的所有生成任务中优于20种基线方法。
2026-10-14 cs.AI cs.LG
When Tables Leak: Attacking String Memorization in LLM-Based Tabular Data Generation
University of California Los Angeles（加州大学洛杉矶分校）
本文研究了基于大语言模型的表格数据生成中字符串记忆化带来的隐私风险，提出LevAtt攻击方法并设计防御策略，验证了其有效性。
2026-05-08 cs.AI cs.LG
Generating Synthetic Relational Tabular Data via Structural Causal Models
CONTACT Software GmbH（CONTACT软件公司）
本文提出基于结构因果模型的新框架，用于生成包含跨表因果关系和复杂依赖关系的合成关系型表格数据，并通过实验验证其能够模拟真实场景，弥补现有方法仅针对单表数据的不足。
2025-07-04 cs.AI cs.LG stat.AP
Cross-table Synthetic Tabular Data Detection
Orange Labs（奥兰奇实验室）；Université de Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA（雷恩信息与自动化研究所）
本研究探讨了跨不同生成器、领域和表格格式识别合成表格数据的挑战，提出了三个跨表基线检测器和四种评估协议，初步结果证实跨表适应任务极具挑战性。
2024-12-17 cs.DB cs.LG cs.NE
TILE: Bridging LLMs and Table Foundation Models for Tabular Learning with Strings
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；SAP SE（思爱普公司）
本研究提出TILE接口，解决LLMs与TFMs衔接时的表格表征提取问题，结合行序列化等四个组件，在100个数据集等基准上实现含字符串表格学习的最优性能。
2026-11-02 cs.LG
TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes
Northeastern University（东北大学）；IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（罗切斯特理工学院）
TabSketchFM 提出基于草图的预训练神经表格模型，通过微调识别可并表、可连接和子集表格对，显著提升数据湖表格搜索的 F1 分数，并具备跨数据集与跨任务的泛化能力。
2025-08-26 cs.AI cs.DB cs.LG
ConTextTab: A Semantics-Aware Tabular In-Context Learner
SAP France（SAP法国分公司）；SAP SE（SAP德国分公司）
本文提出ConTextTab，通过整合多模态专用嵌入与大规模真实数据训练，将语义理解融入表格原生ICL框架，在广泛基准上媲美SOTA并在CARTE基准上创新高。
2025-11-03 cs.AI cs.LG
Synthetic Tabular Data Detection In the Wild
Orange Labs Lannion（奥兰治实验室朗尼翁分部）；Université de Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；IRISA UMR 6074（IRISA联合研究单位6074）
本研究针对不同表格间合成数据检测的挑战，提出了四种与表格无关的检测器结合简单预处理方案，发现在受限表格集合上跨表学习可行，但跨表迁移仍具挑战性，需更复杂的编码方案。
2025-03-03 cs.AI cs.DB cs.LG
REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers
The World Bank（世界银行）
表格数据是组织数据的常见形式。多个模型可用于生成观测独立的合成表格数据集，但很少有模型能够生成关系数据集。对关系数据进行建模具有挑战性，因为它需要对“父”表及其跨表的关系进行建模。我们介绍REaLTabFormer（Realistic Relational and Tabular Transformer），一个表格和关系的合成数据生成模型。它首先使用自回归GPT-2模型创建父表，然后使用序列到序列（Seq 2Seq）模型生成以父表为条件的关系数据集。我们实现了目标屏蔽，以防止数据复制，并提出了$Q_δ$统计和统计自举检测过拟合。使用真实世界数据集的实验表明，REaLTabFormer比基线模型更好地捕捉关系结构。REaLTabFormer还可以在预测任务上实现最先进的结果，“开箱即用”，用于大型非关系数据集，而无需微调。
2023-02-04 cs.LG
Bringing Graphs to the Table: Zero-shot Node Classification via Tabular Foundation Models
本文提出TAG方法，将节点分类重构为表格问题，利用表格基础模型通过上下文学习实现零样本分类，在28个数据集上优于现有GNN和GFM，展现可扩展性与泛化潜力。
2025-10-08 cs.LG
TableNet: Deep Learning model for end-to-end Table detection and Tabular data extraction from Scanned Document Images
TCS Research（塔塔咨询服务公司研究院）
随着移动电话和扫描仪广泛用于拍摄和上传文档，提取非结构化文档图像（如零售收据、保险索赔表和财务发票）中的信息的需求变得越来越迫切。实现这一目标的一个主要障碍是，这些图像通常包含表格形式的信息，从表格子图像中提取数据提出了一系列独特的挑战。这包括准确检测图像内的表格区域，以及随后从检测到的表格的行和列中检测和提取信息。虽然在表检测方面已经取得了一些进展，但提取表内容仍然是一个挑战，因为这涉及到更细粒度的表结构（行和列）识别。先前的方法已经尝试使用两个单独的模型来独立地解决表检测和结构识别问题。在本文中，我们提出了TableNet：一种用于表格检测和结构识别的新型端到端深度学习模型。该模型利用表检测和表结构识别的孪生任务之间的相互依赖性来分割出表和列区域。这之后是从所识别的表格子区域中基于语义规则的行提取。在公开可用的ICDAR 2013和Marmot Table数据集上对所提出的模型和提取方法进行了评价，获得了最新的结果。此外，我们还证明了提供额外的语义特征进一步提高了模型性能，并且该模型具有跨数据集的迁移学习。本文的另一个贡献是为Marmot数据提供额外的表结构注释，目前只有表检测的注释。
2020-01-06 cs.CV cs.LG eess.IV
TABLET: Learning From Instructions For Tabular Data
UC Irvine（加州大学欧文分校）
本文提出含20个表格数据集及多样化指令标注的 TABLET 基准，评估 LLM 依据指令完成表格预测的效果与局限。
2023-04-25 cs.CL cs.LG
CTSyn: A Foundation Model for Cross Tabular Data Generation
Department of Statistics and Data Science, University of California Los Angeles（统计与数据科学系，加州大学洛杉矶分校）；Department of Computer Science, University of California Los Angeles（计算机科学系，加州大学洛杉矶分校）
CTSyn提出了一种基于扩散的生成性基准模型，用于跨表格数据生成，通过统一潜在空间和条件潜在扩散模型提升表格合成的实用性和多样性。
2025-11-26 cs.LG stat.ML
Learning Semantic Annotations for Tabular Data
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oslo（奥斯陆大学）；The University of Edinburgh（爱丁堡大学）
表格数据（如Web表格）的有用性主要取决于对其语义的理解。本文主要研究不含Meta数据的表的列类型预测。与传统的基于词汇匹配的方法不同，我们提出了一种深度预测模型，它可以充分利用表的上下文语义，包括由混合神经网络（HNN）学习的表局部性特征，以及由知识库（KB）查找和查询应答算法学习的列间语义特征。
2019-05-30 cs.DB cs.IR cs.LG
Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI
Zhejiang University（浙江大学）
本文系统综述了表格数据增强的进展与前景，提出增强前、增强、增强后三阶段架构视图，重点分析了生成式人工智能驱动的数据生成方法，并总结了未来研究方向。
2024-07-31 cs.AI cs.DB cs.LG
Table Foundation Models: on knowledge pre-training for tabular learning
Inria Saclay（法国国家科学研究中心萨克雷分部）；Institut Polytechnique de Paris（巴黎高等理工学院）；New York University（纽约大学）；Fundamental Technologies
本文提出表格基础模型TARTE，利用字符串捕获语义将表格转化为知识增强向量表示，在大型关系数据上预训练，可微调或与其他学习器结合，推动了最先进预测性能并改善了预测与计算的权衡。
2025-06-30 cs.LG
STRABLE: Benchmarking Tabular Machine Learning with Strings
SODA Team, INRIA Saclay（SODA团队，INRIA萨克莱实验室）；Probabl；University of Freiburg（弗赖堡大学）；Prior Labs；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Technion – Israel Institute of Technology（技术ion-以色列理工学院）
本文提出STRABLE基准数据集，通过评估445种表格学习管道，探讨字符串和数字混合数据的处理方法，发现基于字符串嵌入的模型在低计算成本下表现优异，而大语言模型在文本主导数据中更具竞争力。
2026-10-21 cs.LG
GReaTER: Generate Realistic Tabular data after data Enhancement and Reduction
针对表格数据生成中语义不足、多表关联难的问题，提出GReaTER框架，通过语义增强和跨表连接优化LLM的表格数据生成效果，性能优于GReaT框架。
2025-03-19 cs.LG
TableGPT2: A Large Multimodal Model with Tabular Data Integration
Zhejiang University（浙江大学）；Zhejiang University Institute of Computing Innovation（浙江大学计算机创新研究院）
针对表格数据集成不足的问题，提出 TableGPT2 大型多模态模型，利用大规模表格数据预训练和专用表格编码器，在 23 项基准上显著提升性能。
2024-11-07 cs.AI cs.DB cs.LG
UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science
The University of Hong Kong（香港大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Creatify AI
UniTabE提出统一表格预训练协议，用TabUnit模块和Transformer编码器处理异构表格，基于130亿样本预训练，在分类回归基准上优于多个基线。
2024-03-13 cs.AI cs.CL cs.LG
TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
Zhejiang University（浙江大学）
TableGPT提出一个统一微调框架，通过全局表格表示和表格-文本联合训练，使大语言模型能够借助命令链对表格进行问答、操作、可视化、报告生成和预测，并支持私有化部署与数据隐私保护。
2023-08-07 cs.AI cs.LG
Towards Cross-Table Masked Pretraining for Web Data Mining
Zhejiang University（浙江大学）
针对现有Web表格预训练多局限于单表的问题，提出跨表预训练框架CM2与pMTM预训练目标，构建真实表格数据集，实验验证其性能达SOTA且可提升下游任务效果。
2024-02-01 cs.LG
Tabular Embeddings for Tables with Bi-Dimensional Hierarchical Metadata and Nesting
Florida State University（佛罗里达州立大学）；University of South Florida（南佛罗里达大学）
针对含双维层次元数据与嵌套的表格，提出专用嵌入方法，在5个数据集和3个任务上MAP最高提升0.28，优于现有模型。
2025-02-20 cs.AI cs.CL cs.LG
iTBLS: A Dataset of Interactive Conversations Over Tabular Information
Georgia Tech（佐治亚理工学院）；Google Inc.（谷歌公司）
本文提出iTBLS交互式表格对话数据集及将表格操作重构为问答的新框架，在多个任务上显著超越基线，并在文本到表格任务中实现最高16%的性能提升。
2025-08-19 cs.AI cs.CL cs.LG
Tabular Data Understanding with LLMs: A Survey of Recent Advances and Challenges
College of Computing, Georgia Institute of Technology（计算学院、佐治亚理工学院）
该综述针对大语言模型表格理解领域因表格格式多样导致的方法零散问题，构建了输入表示分类体系并梳理相关任务，指出了当前存在的任务推理需求低、复杂场景处理难、跨格式泛化弱三大研究空白。
2025-07-31 cs.CL cs.DB cs.LG
CARTE: Pretraining and Transfer for Tabular Learning
Inria Saclay（法国国家信息与自动化研究所萨克雷分所）
针对表格数据迁移学习中的数据集成挑战，提出无需对应关系的神经架构CARTE，利用图表示和图注意力网络处理异构表格，在未匹配数据上预训练，性能优于树模型基线并支持跨表联合学习。
2024-05-31 cs.LG
Towards Universal Tabular Embeddings: A Benchmark Across Data Tasks
Technical University of Darmstadt（达姆施塔特工业大学）；IBM Research（IBM研究院）
该研究推出统一基准TEmBed，在四个表示层级评估多种表格模型，明确模型选择取决于任务和层级，为表格嵌入应用及通用模型开发提供指导。
2026-11-02 cs.DB cs.LG
Turning the Tables: Biased, Imbalanced, Dynamic Tabular Datasets for ML Evaluation
Feedzai；Faculdade de Ciências da Universidade do Porto（波尔图大学理学院）；INESCTEC Universidade do Porto（波尔图大学系统与计算机工程、技术与科学研究所）
在现实数据集上评估新技术在ML研究的发展及其被从业者更广泛采用方面起着至关重要的作用。近年来，用于计算机视觉和NLP任务的公开可用的非结构化数据资源显著增加。然而，表格数据-在许多高风险领域普遍存在-一直落后。为了弥合这一差距，我们提出了银行账户欺诈（BAF），这是第一个公开的隐私保护，大规模，现实的表格数据集套件。该套件是通过将最先进的表格数据生成技术应用于匿名的真实世界银行开户欺诈检测数据集而生成的。这种设置带来了一系列现实应用中常见的挑战，包括时间动态和显著的类不平衡。此外，为了允许从业者对ML方法的性能和公平性进行压力测试，BAF的每个数据集变体都包含特定类型的数据偏差。有了这个资源，我们的目标是为研究界提供一个更现实，完整和强大的测试平台，以评估新的和现有的方法。
2022-11-28 cs.LG
Multimodal Tabular Reasoning with Privileged Structured Information
School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）；National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学）；AI Business, Alibaba Group（阿里集团人工智能业务）
本文提出Turbo框架，利用训练时的特权结构化表格信息，通过基于DeepSeek-R1的结构感知推理轨迹生成和有利推理路径筛选，在仅9k数据下实现多模态表格推理性能提升7.2%。
2025-06-04 cs.AI cs.CL cs.CV
Rethinking Tabular Data Understanding with Large Language Models
UC San Diego（加州大学圣迭戈分校）；USC（南加州大学）；UC Davis（加州大学戴维斯分校）
本研究探讨LLMs在表格数据理解上的鲁棒性、文本与符号推理的比较，并提出结构归一化及混合自一致性聚合方法，在WIKITABLEQUESTIONS上达到73.6%的SOTA准确率。
2023-12-27 cs.AI cs.CL cs.DB
FERMI: Exploiting Relations for Membership Inference Against Tabular Diffusion Models
University of Waterloo（多伦多大学）；Vector Institute（向量研究所）
FERMI研究了在多表设置下利用关系信息提升成员推断攻击性能，通过特征映射增强单表特征，实验证明在白盒和黑盒设置下攻击性能显著提升。
2026-05-12 cs.CR cs.DB cs.LG
FCT-GAN: Enhancing Table Synthesis via Fourier Transform
TU Delft（代尔夫特理工大学）；ABB Research（ABB研究院）
合成表格数据作为共享知识的替代方案出现，同时遵守限制性数据访问法规，例如，欧洲通用数据保护条例（GDPR）。主流最先进的表格数据合成器从生成对抗网络（GANs）中汲取方法，生成对抗网络由生成器和生成器组成。虽然卷积神经网络被证明是一个更好的架构比全连接网络的表格数据合成，表格数据的两个关键属性被忽视：（i）跨列的全局相关性，和（ii）不变的合成列排列的输入数据。为了解决上述问题，我们提出了一个傅立叶条件表格生成对抗网络（FCT-GAN）。我们引入特征标记化和傅立叶网络来构建一个transformer风格的生成器和递归，并捕获跨列的局部和全局依赖关系。标记器捕获本地空间特征并将原始数据转换为标记。傅立叶网络将令牌转换到频域，并按元素乘以可学习的滤波器。对基准测试和真实数据的广泛评估表明，FCT-GAN可以合成具有高机器学习实用性（比最先进的基线高27.8%）和与原始数据高统计相似性（高26.5%）的表格数据，同时保持跨列的全局相关性，特别是在高维数据集上。
2022-10-12 cs.LG
Entity Linking in Tabular Data Needs the Right Attention
Heriot-Watt University（赫瑞-瓦特大学）；Amazon Alexa（亚马逊Alexa）
理解表格数据的语义含义需要实体链接（EL），以便将每个单元格值与知识库（KB）中的真实实体相关联。在这项工作中，我们专注于端到端的解决方案EL的表格数据，不依赖于事实查找在目标KB。表格数据包含异构和稀疏的上下文，包括列标题、单元格值和表格标题。我们使用各种模型进行实验，为要链接的每个单元格值生成一个矢量表示。我们的研究结果表明，它是至关重要的，以适用于注意力机制以及注意力面具，使该模型可以只关注最相关的上下文，避免信息稀释。最相关的上下文包括：同行单元格、同列单元格、标题和标题。然而，对于这样一个复杂的模型，计算复杂性随着表格数据的大小成二次方地增长。我们通过引入表格实体链接精简版模型（TELL）来实现恒定的内存使用，该模型仅基于单元格的值、表头和表标题来生成单元格的矢量表示。TELL在维基百科表格上达到了80.8%的准确率，仅比最先进的二次内存使用模型低0.1%。
2022-07-05 cs.CL cs.DB cs.LG
Beyond Extraction: Contextualising Tabular Data for Efficient Summarisation by Language Models
NLP Research Team Yellow.ai（Yellow.ai公司NLP研究团队）
本研究提出一种增强RAG系统复杂表格查询准确性的方法，通过单独提取表格并拼接表头与值进行上下文丰富，结合微调Llama-2-chat模型和ChatGPT 3.5 API单次提示生成摘要，显著提升了查询精度。
2024-02-10 cs.CL cs.LG
Privately generating tabular data using language models
Meta AI
本文提出将表格行视为句子并用差分隐私训练语言模型，以在多个数据集上实现具有竞争力的隐私表格合成效果。
2023-06-07 cs.CL cs.CR cs.LG
Typed Decision Models on Tabular Data
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Data Science, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
该研究在表格数据上对比了4种类型化决策模型与3种LLMs，发现决策模型性能相当、成本更低且对问题表述更鲁棒，是表格决策的实用选择，但对表格组织方式的鲁棒性仍待解决。
2026-10-15 cs.AI cs.CL cs.LG
Row Conditional-TGAN for generating synthetic relational databases
Croesus（克洛伊索斯）；Croesus Lab（克洛伊索斯实验室）
除了再现独立表的表格数据属性之外，合成关系数据库还需要对相关表之间的关系进行建模。在本文中，我们提出了行条件-表格生成对抗网络（RC-T GAN），这是一种新型生成对抗网络（GAN）模型，它扩展了表格式GAN以支持建模和合成关系数据库。RC-T GAN通过将父行的条件数据合并到子表的GAN的设计中来对表之间的关系信息进行建模。我们进一步扩展了RC-TGAN模型的影响，祖表行可能对他们的孙子行，为了防止这种连接的丢失时，父表的行未能传输此关系信息。使用8个真实的关系数据库的实验结果表明，与基准系统相比，合成的关系数据库的质量有了显著的提高，证明了RC-TGAN在保持原始数据库表之间关系方面的有效性。
2022-11-14 cs.DB cs.LG
Tabular foundation models for non-tabular tasks
Technische Universität Dresden（德累斯顿工业大学）；Maynooth University（梅努斯大学）；Universität Würzburg（维尔茨堡大学）
该研究探究表格基础模型TabPFN v3是否可用于非表格任务，将MNIST手写数字识别、法德语言识别、Tiny ImageNet图像分类转为表格形式，其在部分任务上达到了对应专用模型的相当准确率。
2026-08-25 cs.LG
RelICL: Training-free Relational Learning with Tabular Foundation Models
University of Mannheim（曼海姆大学）
本文提出RelICL方法，利用表格基础模型通过模式图逐步传播信息，解决深度特征合成中的特征爆炸与交互盲区问题，在RelBench任务上与最强DFS方法性能相当。
2026-10-02 cs.LG
TabGLM: Tabular Graph Language Model for Learning Transferable Representations Through Multi-Modal Consistency Minimization
Fujitsu（富士通）
TabGLM提出多模态架构，将表格行转为图与文本，通过联合自监督对齐增强特征学习，在25个基准上平均AUC-ROC提升5.56%。
2025-02-26 cs.LG
Making Pre-trained Language Models Great on Tabular Prediction
The Second Affiliated Hospital Zhejiang University School of Medicine（浙江大学医学院附属第二医院）；Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出TP-BERTa，一种专门为表格预测预训练的语言模型，通过相对幅度标记化和特征内注意力方法，在典型表格数据中性能领先于表格DNN，并与梯度提升决策树模型竞争。
2024-03-12 cs.CL cs.LG
TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
近年来，用于基于文本的自然语言理解任务的预训练语言模型（LM）蓬勃发展。这样的模型通常在自由形式的NL文本上训练，因此可能不适合于像结构化数据上的语义解析这样的任务，其需要对自由形式的NL问题和结构化表格数据（例如，数据库表）。在本文中，我们提出了TaBERT，这是一个预训练的LM，它可以联合学习NL句子和（半）结构化表的表示。TaBERT在2600万个表格及其英语上下文的大型语料库上进行训练。在实验中，使用TaBERT作为特征表示层的神经语义解析器在具有挑战性的弱监督语义解析基准WikiTableQuestions上取得了新的最佳结果，同时在文本到SQL数据集Spider上表现出色。该模型的实施将在http://fburl.com/TaBERT上提供。
2020-05-17 cs.CL cs.LG
Segment-driven Structural Induction and Semantic Alignment for Heterogeneous Tabular Representation
Department of Computer Science \& Engineering, Korea University, Seoul, South Korea
提出NAVI框架，通过掩码片段建模和熵驱动片段对齐，利用片段级结构归纳与语义对齐实现异构表格的表示学习。
2026-06-01 cs.LG
