Mathematical text is written using a combination of words and mathematical expressions. This combination, along with a specific way of structuring sentences makes it challenging for state-of-art NLP tools to understand and reason on top of mathematical discourse. In this work, we propose a new NLP task, the natural premise selection, which is used to retrieve supporting definitions and supporting propositions that are useful for generating an informal mathematical proof for a particular statement. We also make available a dataset, NL-PS, which can be used to evaluate different approaches for the natural premise selection task. Using different baselines, we demonstrate the underlying interpretation challenges associated with the task.
PVFH-Bench: Benchmarking Premise-Induced Visual Fixation Hallucinations in Vision-Language Models
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；ModelBest Inc.（ModelBest公司）；State Key Lab. of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Institute for AI, Tsinghua University（清华大学人工智能研究院）
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University College London（伦敦大学学院）；Università della Svizzera italiana（瑞士意大利语区大学）；University of Copenhagen（哥本哈根大学）；University of Oxford（牛津大学）；Ghent University - imec（根特大学-imec）
许多机器阅读和自然语言理解任务需要阅读支持文本以回答问题。例如，在问答中，支持文本可以是新闻或维基百科的文章;在自然语言推理中，前提可以被视为支持文本，假设可以被视为问题。提供一组在相关任务的单个框架中操作的有用原语将允许表达性建模，并且更容易进行模型比较和复制。为此，我们提出了Jack the Reader（Jack），这是一个机器阅读框架，可以通过组件重用来快速进行模型原型设计，在现有数据集上评估新模型，以及集成新数据集并将其应用于越来越多的已实现基线模型。Jack目前支持（但不限于）三个任务：问答、自然语言推理和链接预测。它的开发旨在提高研究效率和代码重用。
Flexible Generation of Natural Language Deductions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
一个可解释的开放领域推理系统需要以透明的形式表达其推理过程。自然语言是一种有吸引力的表示方法--它既具有高度的表达性，又易于人类理解。然而，以逻辑上一致的方式操纵自然语言语句是困难的：模型必须在保持精确的同时应对含义表达方式的变化。在本文中，我们描述了ParaPattern，一种用于构建模型的方法，该模型可以从不同的自然语言输入中生成演绎推理，而无需直接的人类监督。我们训练基于BART的模型（Lewis等人，2020）以生成将特定逻辑运算应用于一个或多个前提语句的结果。至关重要的是，我们开发了一个很大程度上自动化的管道，用于从维基百科构建合适的训练样本。我们使用来自QASC的域外句子成分来评估我们的模型（Khot et al.，2020）和EntailmentBank（Dalvi et al.，2021）数据集以及有针对性的扰动集。我们的研究结果表明，我们的模型比基线系统更准确和灵活。ParaPattern在不使用任何域内训练数据的情况下，对来自EntailmentBank的“替换”操作的示例实现了85%的有效性，与为EntailmentBank微调的模型的性能相匹配。我们的方法的完整源代码是公开的。
