Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
Shanghai Jiao Tong University（上海交通大学）
神经表格到文本生成方法是数据饥饿的，限制了它们对低资源现实世界应用的适应。以往的工作大多采用预训练的语言模型（PLM）来生成流畅的表格摘要。然而，由于PLM的不受控制的性质，它们通常包含幻觉内容。此外，表和序列之间的拓扑差异很少被研究。最后但并非最不重要的一点是，在PLM上使用少量实例进行微调可能会导致过度拟合和灾难性遗忘。为了缓解这些问题，我们提出了一种基于前缀的方法，前缀控制生成器（即，PCG），用于Few-Shot表格到文本生成。我们为PLM预先添加了一个特定于任务的前缀，以使表结构更好地适应预先训练的输入。此外，我们生成一个特定于输入的前缀来控制生成的文本的实际内容和词序。对Wikibio数据集的不同领域（人类，书籍和歌曲）的自动和人工评估都显示出比基线方法有实质性的改进。
2022-08-23 cs.CL
Towards Controlled Table-to-Text Generation with Scientific Reasoning
Shanghai Jiao Tong University（上海交通大学）；IGSNRR, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）
本文提出面向科学表格数据、符合用户偏好的表格到文本生成新任务，构建含高亮单元格和领域知识库的CTRLSciTab数据集，并设计新架构，实验表明大型模型仍难以准确对齐用户偏好。
2023-12-08 cs.CL
Controlling Hallucinations at Word Level in Data-to-Text Generation
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；BNP Paribas（法国巴黎银行）；University of Turin（都灵大学）；Criteo AI Lab（Criteo人工智能实验室）
数据文本生成（DTG）是自然语言生成的一个分支，旨在将结构化数据转换为自然语言描述。该领域最近通过使用基于神经元的生成器而得到了推动，这些生成器一方面表现出很好的语法技能，而不需要手工制作的管道;另一方面，生成的文本的质量反映了训练数据的质量，在现实环境中只提供不完全对齐的结构文本对。因此，最先进的神经模型在其输出中包含误导性陈述-通常称为幻觉。这种现象的控制是当今DTG的一个主要挑战，也是本文要解决的问题。以前的工作是在实例级别处理这个问题的：为每个表引用对使用对齐得分。相比之下，我们提出了一种更细粒度的方法，认为幻觉应该在单词水平上进行治疗。具体来说，我们提出了一个多分支解码器，它能够利用单词级标签来学习每个训练实例的相关部分。这些标签是根据一个简单而有效的评分过程的基础上共现分析和依存句法分析。广泛的评估，通过自动化的指标和人类的判断标准WikiBio基准，显示我们的对齐标签的准确性和建议的多分支解码器的有效性。我们的模型能够减少和控制幻觉，同时保持生成文本的流畅性和连贯性。对降级版本的ToTTo的进一步实验表明，我们的模型可以成功地用于非常嘈杂的设置。
2021-07-09 cs.AI cs.CL cs.LG
PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation
Tokyo Institute of Technology（东京工业大学）；Microsoft Research（微软研究院）
逻辑表到文本生成是一项涉及从表中生成逻辑上忠实的句子的任务，这需要模型通过逻辑推理从表记录中导出逻辑级事实。它对表到文本模型的逻辑级内容规划提出了新的挑战。然而，由于自然语言的模糊性和并行数据的稀缺性，直接从表-文本对中学习逻辑推理知识对于神经模型来说是非常困难的。因此，即使是大规模的预先训练的语言模型也会在逻辑表到文本上表现出低逻辑保真度。在这项工作中，我们提出了一个PLOG（预训练逻辑形式生成器）框架，以提高生成保真度。具体来说，PLOG首先在表到逻辑表单生成（表到逻辑）任务上进行预训练，然后在下游表到文本任务上进行微调。逻辑形式的形式化定义使我们能够在不需要人工标注的情况下从表格中收集大量准确的逻辑形式。此外，PLOG可以从表逻辑对学习逻辑推理比表文本对更明确。为了评估我们的模型，我们进一步收集了一个基于现有数据集的受控逻辑表到文本数据集CONTINUS。在两个基准测试LOGICNLG和CONTRACTOR上，PLOG在逻辑保真度上大幅优于强基线，证明了表到逻辑预训练的有效性。
2022-10-26 cs.CL
Diversity Enhanced Table-to-Text Generation via Type Control
IBM Research AI（IBM研究院人工智能部门）
本文针对表格到文本生成中输出多样性不足的问题，提出基于逻辑类型的类型控制生成模型，并在两个Logical NLG数据集上验证其在类型可控性、质量及事实性-多样性权衡方面优于现有最强基线。
2023-05-30 cs.CL
SleuthBench: Benchmarking Statistical LLM Evaluation Using Tabular Hidden Signals
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Intelligible；University of Cincinnati（辛辛那提大学）
SLEUTHBENCH通过注入可控模式到公共表格数据中，自动生成基准真相，评估LLM智能体在数据质量与特征贡献上的统计发现能力，并引入经验层预计算工件将特征贡献准确率从41.9%提升至68.0%。
2026-09-29 cs.LG
Same Content, Different Representations: A Controlled Study for Table QA
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Megagon Labs（Megagon实验室）
本研究通过受控实验探讨了表格表示对问答性能的影响，发现不同方法在结构化与半结构化数据间存在性能差异，强调了表示在表格问答中的核心作用。
2026-02-06 cs.CL
Texts or Images? A Fine-grained Analysis on the Effectiveness of Input Representations and Models for Table Question Answering
Bosch Center for Artificial Intelligence（博世人工智能中心）；Hochschule der Medien（媒体高等学校）；University of Augsburg（艾格斯堡大学）
针对表格问答中文本/图像输入表示与模型的效果差异缺乏细粒度对比的问题，本文构建新基准开展受控研究，发现最优组合随设置变化，提出动态选择表格表示的FRES方法，平均性能提升10%。
2025-05-20 cs.CL
From Tables to Quantified Statements: Evaluating LLM Inference Generation through Executable Verification
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出STAT-TO-TEXT任务，利用LLM从统计表格生成量化推理，并通过可执行Python代码验证，发现更大模型（如GPT-OSS-120B）在忠实度、覆盖率和多样性上表现更优。
2026-09-22 cs.CL
LLM-as-a-Judge Scores Are Unreliable Optimization Signals in Closed-Loop Table Recognition
Aidentyx Inc.（艾登蒂克斯公司）
研究闭环表格识别中LLM-as-a-judge的效用，发现其评判信号弱，无特定反馈也有严重损失，结构保留约束效果不佳，表明评估能力不意味着优化效用，迭代细化需确定性检测结构变化的验证信号。
2026-07-20 cs.AI cs.CL cs.LG
More Than Words: Compositional Tokenization for Efficient Language Models
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出组合式分词方法CoBPE，将短语表示为基础词元加修饰符，在同等计算下缩短序列30%并提升下游性能1.2个百分点，为高效语言模型开辟新设计空间。
2026-10-06 cs.CL
Synthetic Clarification and Correction Dialogues about Data-Centric Tasks -- A Teacher-Student Approach
Microsoft Research（微软研究院）；Cambridge UK（剑桥英国）
本文提出一种教师-学生框架，用于合成多轮对话以解决基于表格的问题回答任务，通过强教师模型验证生成对话质量，验证了其在前沿LLM基准中的有效性。
2025-03-18 cs.CL
When Large Language Models Know the Table: A Framework for Assessing Data Contamination in Tabular Datasets
Sapienza University of Rome（罗马大学）；tellmewAI
本文提出评估表格数据集污染的框架，通过生成控制查询和比较评估，发现四个数据集中存在污染，影响下游任务性能可靠性。
2026-08-07 cs.AI cs.CL
LCDS: A Logic-Controlled Discharge Summary Generation System Supporting Source Attribution and Expert Review
East China University of Science and Technology（东华大学）；Ruijin Hospital（瑞金医院）；Shanghai Jiaotong University School of Medicine（上海交通大学医学院）
针对LLM生成出院小结的幻觉和来源归因难题，提出LCDS系统，通过来源映射表和逻辑规则生成可靠小结，支持专家审查并用于模型微调。
2025-07-07 cs.AI cs.CL
Markup-to-Image Diffusion Models with Scheduled Sampling
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
基于图像生成的最新进展，我们提出了一个完全数据驱动的方法来渲染标记到图像中。该方法是基于扩散模型，参数化的分布数据使用一系列的去噪操作的高斯噪声分布的顶部。我们认为扩散去噪过程作为一个顺序的决策过程，并表明它表现出复合错误类似于暴露偏差问题中的模仿学习问题。为了缓解这些问题，我们将预定采样算法应用于扩散训练。我们在四个标记数据集上进行实验：数学公式（LaTeX），表格布局（HTML），乐谱（LilyPond）和分子图像（SMILES）。这些实验都验证了扩散过程的有效性和使用计划采样来解决生成问题。这些结果还表明，标记到图像的任务提出了一个有用的控制组成设置诊断和分析生成图像模型。
2022-10-11 cs.CL cs.CV cs.LG
Automated tabulation of clinical trial results: A joint entity and relation extraction approach with transformer-based language representations
University College London（伦敦大学学院）
循证医学是医疗保健专业人员在做出决策时参考最佳证据的实践，构成了现代医疗保健的基础。然而，它依赖于劳动密集型的系统评价，领域专家必须从数千篇出版物中汇总和提取信息，主要是随机对照试验（RCT）结果，并将其纳入证据表。本文研究了自动化的证据表生成的问题分解在两个语言处理任务：\textit{named entity recognition}，它确定文本中的关键实体，如药品名称，和\textit{relation extraction}，映射它们的关系，将它们分离成有序的元组。我们专注于从已发表的RCT摘要报告的研究结果的句子的自动制表。作为联合提取管道的一部分，开发了两个深度神经网络模型，使用了迁移学习和基于transformer的语言表示的原理。为了训练和测试这些模型，开发了一个新的金标准语料库，包括来自六个疾病领域的近600个结果句子。这种方法表现出了显著的优势，我们的系统在多个自然语言处理任务和疾病领域表现良好，并且在训练过程中看不到的疾病领域中表现良好。此外，我们还证明了这些结果是可以通过训练我们的模型来实现的，只要训练200个例句。最终的系统是一个概念证明，证据表的生成可以是半自动化的，代表着向完全自动化的系统评价迈出了一步。
2021-12-10 cs.AI cs.CL
Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge
National Laboratory for Scientific Computing (LNCC)（国家科学计算实验室）；Institute of Artificial Intelligence（人工智能研究所）
该研究推出第二代巴西葡萄牙语大语言模型Manacá-1B-Instruct-2，记录其三次负向DPO尝试，发现安全SFT的最优通用数据占比区间，证实其安全性能优于四个基准模型，还揭示LLM评判器存在隐性失效模式，相关资源均已公开。
2026-10-15 cs.CL
