In this work we study user controlled table-to-text generation where users explore the content in a table by selecting cells and reading a natural language description thereof automatically produce by a natural language generator. Such generation models usually learn from carefully selected cell combinations (clean cell selections); however, in practice users may select unexpected, redundant, or incoherent cell combinations (noisy cell selections). In experiments, we find that models perform well on test sets coming from the same distribution as the train data but their performance drops when evaluated on realistic noisy user inputs. We propose a fine-tuning regime with additional user-simulated noisy cell selections. Models fine-tuned with the proposed regime gain 4.85 BLEU points on user noisy test cases and 1.4 on clean test cases; and achieve comparable state-of-the-art performance on the ToTTo dataset.
Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations
AWS AI Labs（AWS人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在使用通过多任务学习训练的单个编码器-解码器模型来统一各种表格到文本任务方面已经取得了很大进展（Xie et al.，2022年）。然而，现有的方法通常使用简单的数据集名称作为编码器的前缀来编码任务信息。这不仅限制了多任务学习的有效性，而且还阻碍了模型推广到训练过程中未发现的新领域或任务的能力，这对现实世界的应用至关重要。在本文中，我们提出了组合任务配置，一组提示前置到编码器，以提高跨任务的统一模型的推广。我们设计的任务配置明确指定任务类型，以及其输入和输出类型。我们表明，这不仅允许模型在训练时更好地学习不同任务的共享知识，而且还允许我们通过构建新的配置来控制模型，这些配置以zero-shot方式应用新的输入输出组合。我们通过十个表到文本任务的实验证明，我们的方法在域内和zero-shot设置中的显著裕度优于UnifiedSKG基线，使用T5大主干的平均改进分别为+0.5和+12.6。
嵌入矩阵是神经自然语言处理（NLP）模型中的关键组件，负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中，我们分析了神经机器翻译（NMT）的背景下，这种矩阵的影响和效用。我们发现，从词嵌入中提取句法和语义信息，并使用随机嵌入运行NMT系统，并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识，从而提高NMT系统的性能。我们的研究结果表明，在交换性能可以忽略不计的恶化，任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求，因为不再需要存储大型嵌入表，这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入，并实现了$5.3$ x压缩率。尽管有一个相当小的架构，我们的模型在某些情况下甚至能够超越最先进的基线。
TACR: A Table-alignment-based Cell-selection and Reasoning Model for Hybrid Question-Answering
Tokyo Institute of Technology（东京工业大学）；Nanyang Technological University（南洋理工大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
Improving Robustness of Tabular Retrieval via Representational Stability
Department of Computer Science Rensselaer Polytechnic Institute（罗切斯特理工学院计算机科学系）；Department of Computer Science Arizona State University（亚利桑那州立大学计算机科学系）；ScaleAI
