首页/论文/2004.01174

arXiv 2004.011742020-04-02cs.CL

脚本知识的因果推理

Causal Inference of Script Knowledge

Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Maryland, College Park（马里兰大学帕克分校）

Noah Weber, Rachel Rudinger, Benjamin Van Durme

备注：: Pre-Print

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

一系列事件何时定义了一个日常场景，如何从文本中归纳出这种知识？先前的工作在诱导这样的脚本依赖于，在一种形式或另一种，在语料库中的事件的实例之间的相关性的措施。我们认为，从概念和实践意义上说，一个纯粹的相关性为基础的方法是不够的，而是提出了一种方法，脚本感应事件之间的因果关系的基础上，通过干预正式定义。通过人工和自动评估，我们表明基于因果效应的方法的输出更好地匹配脚本所代表的直觉

英文摘要：

When does a sequence of events define an everyday scenario and how can this knowledge be induced from text? Prior works in inducing such scripts have relied on, in one form or another, measures of correlation between instances of events in a corpus. We argue from both a conceptual and practical sense that a purely correlation-based approach is insufficient, and instead propose an approach to script induction based on the causal effect between events, formally defined via interventions. Through both human and automatic evaluations, we show that the output of our method based on causal effects better matches the intuition of what a script represents

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

使用句子级LSTM语言模型进行脚本推理

Using Sentence-Level LSTM Language Models for Script Inference

The University of Texas at Austin（德克萨斯大学奥斯汀分校）

有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。

2016-06-08cs.CL

大型语言模型与人类在基于脚本知识的因果推断中是否具有相似行为？

Do large language models and humans have similar behaviors in causal inference with script knowledge?

Saarland University（萨尔兰大学）

本研究通过自定步速阅读实验和多种LLM测试，发现人类能利用脚本知识轻松推断未明说的因果事件，而最新LLM虽在冲突条件下与人类行为相关，但整体仍难以整合脚本知识。

2023-11-13cs.AIcs.CL

将脚本学习为隐马尔可夫模型

Learning Scripts as Hidden Markov Models

已经有人提出了对叙事中的刻板事件序列进行建模的方法。它们可以用来进行各种推理，包括填补叙述中的空白和解决模糊的参考。本文提出了第一个基于隐马尔可夫模型的脚本形式化框架。我们的框架支持强大的推理和学习算法，这是缺乏以前的聚类模型。我们开发了一种基于期望最大化的结构和参数学习算法，并在一些自然数据集上对其进行了评估。结果表明，我们的算法是优于几个知情的基线预测部分观测序列中的缺失事件。

2018-09-11cs.CL

MCScript：一种基于脚本知识的机器理解评估数据集

MCScript: A Novel Dataset for Assessing Machine Comprehension Using Script Knowledge

Saarland University（萨尔兰大学）

我们引入了一个大型的叙事文本数据集和关于这些文本的问题，旨在用于需要使用常识知识进行推理的机器理解任务。我们的数据集补充了类似的数据集，因为我们专注于关于日常活动的故事，例如去看电影或在花园里工作，并且这些问题需要常识知识，或者更具体地说，脚本知识，才能回答。我们表明，我们的数据汇集模式，通过众包的结果在大量的这样的推理问题。该数据集构成了SemEval 2018组织的常识和脚本知识共享任务的基础，并为更广泛的自然语言理解社区提供了具有挑战性的测试案例。

2018-03-14cs.CL

生成合成文本数据评估因果推理方法

Generating Synthetic Text Data to Evaluate Causal Inference Methods

Johns Hopkins University（约翰斯·霍普金斯大学）

从观测数据中得出因果结论需要对真实的数据生成过程做出假设。因果推理研究通常考虑低维数据，例如结构化医疗记录中的分类或数值字段。高维和非结构化数据，如自然语言，使因果推理方法的评估复杂化;这种评估依赖于具有已知因果效应的合成数据集。用于自然语言生成的模型已经被广泛研究并且在经验上表现良好。然而，现有的方法不能立即适用于产生因果评估的合成数据集，因为它们不允许量化对文本本身的因果影响。在这项工作中，我们开发了一个框架，以适应现有的生成模型，以产生具有已知因果效应的合成文本数据集。我们使用这个框架进行实证比较最近提出的方法估计因果关系的文本数据。我们发布代码和合成数据集。

2021-02-10cs.CL

调整文本中的混淆因素：因果推理的挑战和实证评估框架

Adjusting for Confounders with Text: Challenges and an Empirical Evaluation Framework for Causal Inference

University of Washington（华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Adobe Research（Adobe研究院）

使用文本社交媒体数据的因果推理研究可以为人类行为提供可操作的见解。用文本进行准确的因果推断需要控制混杂，否则可能会产生偏见。最近，已经提出了许多不同的方法来调整混杂因素，我们表明，这些现有的方法不同意彼此的两个数据集的灵感来自以前的社交媒体研究。评估因果方法是具有挑战性的，因为地面真相反事实几乎是不可用的。目前，使用文本的因果方法没有经验评估框架，因此，从业者必须在没有指导的情况下选择他们的方法。我们贡献了第一个这样的框架，其中包括五个任务来自现实世界的研究。我们的框架使任何因果推理方法使用文本的评估。通过648个实验和两个数据集，我们评估了每一种常用的因果推理方法，并确定了它们的优缺点，以告知寻求使用这些方法的社交媒体研究人员，并指导未来的改进。我们公开所有任务、数据和模型，以告知应用程序并鼓励更多的研究。

2022-05-06cs.CL

更多相关论文收起更多论文

使用文本分类器进行因果推理的挑战

Challenges of Using Text Classifiers for Causal Inference

Johns Hopkins University（约翰斯·霍普金斯大学）

因果理解对于许多类型的决策都是必不可少的，但是从观测数据中进行因果推理通常只应用于结构化的低维数据集。虽然文本分类器产生低维输出，但它们在因果推理中的使用以前没有被研究过。为了促进基于语言数据的因果分析，我们认为文本分类器可以发挥的作用，通过建立建模机制，从缺失的数据和测量误差的因果关系文献的因果推理。我们演示了如何使用文本分类器对模拟数据和Yelp数据进行因果分析，并讨论了在因果推理中使用文本数据的未来工作的机遇和挑战。

2018-10-01cs.CLcs.LG

CausalNLP：一个文本因果推理实用工具包

CausalNLP: A Practical Toolkit for Causal Inference with Text

Institute for Defense Analyses (IDA)（美国国防分析研究所）

因果推断是估计治疗对结果的效果或影响的过程，其他协变量作为可能需要控制的潜在混杂因素（和介质）。用于因果推断的绝大多数现有方法和系统假设所考虑的所有变量都是分类的或数值的（例如，性别、价格、注册）。在本文中，我们介绍了Causal NLP，这是一个用于通过观察数据推断因果关系的工具包，除了传统的数值和分类变量外，还包括文本。Causal NLP使用Meta学习器进行治疗效果估计，并支持使用原始文本及其语言属性作为治疗，结果或“受控”变量（例如，混杂物）。该库是开源的，可在https://github.com/amaiya/causalnlp上获得。

2022-05-03cs.CLcs.LG

基于大语言模型的因果推断：综述

Causal Inference with Large Language Model: A Survey

Case Western Reserve University（凯斯西储大学）

本文综述了大语言模型在因果推断中的应用，梳理了不同因果层次上的主要任务、方法及评估结果，并展望了未来研究方向。

2025-02-09cs.AIcs.CL

基于大语言模型的自然语言反事实因果推断

Counterfactual Causal Inference in Natural Language with Large Language Models

NAOInstitute, University of Auckland（奥克兰大学NAO研究所）；Jožef Stefan Institute, Slovenia（斯洛文尼亚约瑟夫·斯蒂芬研究所）

本研究针对非结构化自然语言因果推断难题，提出基于大语言模型的端到端方法，通过提取因果变量、构建并融合多源因果图开展反事实推断，可降低模型偏差，同时揭示了LLM反事实推理局限的成因并给出缓解方向。

2024-10-08cs.CLcs.LG

万事皆有因：法律文本分析中因果推理的运用

Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis

Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）

因果推理是捕捉变量之间因果关系的过程。现有的大多数工作集中在处理结构化数据，而非结构化数据，如文本，挖掘因素之间的因果关系，已经很少检查，但非常重要，特别是在法律领域。在本文中，我们提出了一种新的基于图的因果推理（GCI）框架，该框架从事实描述中构建因果图，而无需太多的人工参与，并使因果推理能够帮助法律从业者做出正确的决策。我们评估一个具有挑战性的类似收费消歧任务的框架。实验结果表明，GCI能够从事实描述中捕捉到多个混淆指控之间的细微差别，并提供可解释的区分，特别是在Few-Shot设置中。我们还观察到GCI中包含的因果知识可以有效地注入到强大的神经网络中，以获得更好的性能和可解释性。

2021-04-21cs.CLcs.LG

大语言模型与因果推断的协作：一项综述

Large Language Models and Causal Inference in Collaboration: A Survey

University of Maryland（马里兰大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（奥多比研究院）

该综述探讨因果推断与大语言模型（LLMs）的双向协作：既从因果视角评估、改进LLMs的推理、公平安全、可解释性及多模态能力，也利用LLMs助力因果推断研究，推动更先进公平的AI系统发展。

2025-03-21cs.AIcs.CL

自然语言处理中的因果推理：估计、预测、解释及其他

Causal Inference in Natural Language Processing: Estimation, Prediction, Interpretation and Beyond

Technion - Israel Institute of Technology（以色列理工学院）；Princeton University（普林斯顿大学）；Williams College（威廉姆斯学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Microsoft（微软）；Columbia University（哥伦比亚大学）；Northwestern University（西北大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Chicago（芝加哥大学）；Georgia Tech（佐治亚理工学院）

科学研究的一个基本目标是了解因果关系。然而，尽管因果关系在生命科学和社会科学中发挥着关键作用，但在自然语言处理（NLP）中却没有同样的重要性，NLP传统上更强调预测任务。这种区别正在逐渐消失，一个新兴的跨学科研究领域正在融合因果推理和语言处理。尽管如此，对自然语言处理中因果关系的研究仍然分散在各个领域，没有统一的定义，基准数据集和清晰的表述，将因果推理应用于文本领域的挑战和机遇，具有其独特的属性。在这项调查中，我们整合了学术领域的研究，并在更广泛的NLP领域进行了研究。我们介绍了估计与文本的因果关系的统计挑战，包括设置文本被用作一个结果，治疗，或解决混淆。此外，我们还探索了因果推理的潜在用途，以提高NLP模型的鲁棒性，公平性和可解释性。因此，我们为NLP社区提供了一个统一的因果推理概述。

2022-07-30cs.CLcs.LG

关于利用文本数据进行因果推理的一些思考：人类主体与有组织文本之间的相似性

Some Reflections on Drawing Causal Inference using Textual Data: Parallels Between Human Subjects and Organized Texts

University of Pennsylvania（宾夕法尼亚大学）

我们研究的作用，文本数据作为研究单位进行因果推理时，绘制人类受试者和有组织的文本之间的相似之处。%的人口研究。我们详细阐述了关键的因果概念和原则，并揭示了一些模糊性，有时甚至是谬误。为了便于更好地构建因果查询，我们讨论了两种策略：（i）从不变的特征转移到对它们的感知，以及（ii）从一些抽象概念/属性转移到其组成部分，即，从建构主义的角度看待抽象概念。我们希望这篇文章能提高人们对阐明和澄清基本概念的重要性的认识，然后再深入研究使用文本数据进行因果推理时的方法。

2022-02-02cs.CLcs.LGstat.AP

如何使用文本进行因果推断

How to Make Causal Inferences Using Texts

Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）

新的文本作为数据技术提供了一个很大的承诺：归纳发现措施，是有用的测试感兴趣的社会科学理论从大量的文本集合的能力。我们介绍了一个概念框架，使因果推断与发现的措施作为一种治疗或结果。我们的框架使研究人员能够发现高维文本干预，并估计观察到的治疗影响基于文本的结果的方式。我们认为，几乎所有基于文本的因果推断依赖于文本的潜在表征，我们提供了一个框架来学习的潜在表征。但是，我们发现，估计这种潜在的代表性会产生新的风险：我们可能会引入识别问题或过拟合。为了解决这些风险，我们描述了一个分裂样本的框架，并将其应用于估计因果关系的影响，从实验移民的态度和官僚的反应研究。我们的工作为基于文本的因果推断提供了严格的基础。

2018-02-06cs.CLstat.MEstat.ML