Enhancing Complex Causality Extraction via Improved Subtask Interaction and Knowledge Fusion
Harbin Institute of Technology(哈尔滨工业大学);Huawei Cloud(华为云)
本文提出统一框架UniCE,通过子任务交互机制、双模态知识融合机制和独立解码器同时解决复杂因果关系抽取、子任务交互与知识融合三大挑战,在三个基准上超越ChatGPT至少30% F1,并可通过上下文学习提升ChatGPT性能。
2024-08-06 cs.AI cs.CL
Preserving Commonsense Knowledge from Pre-trained Language Models via Causal Inference
South China University of Technology(华南理工大学)
针对微调中的灾难性遗忘,本文通过因果图发现其源于预训练数据缺失因果效应,提出统一微调目标以恢复因果关系,在六个常识问答数据集上超越现有方法,并可作插件提升模型性能。
2023-06-19 cs.AI cs.CL
From Unstructured Text to Causal Knowledge Graphs: A Transformer-Based Approach
SIFT
定性因果关系复杂地表达了世界上离散或连续相互作用的方向、依赖性、时间约束和单调性约束。在日常或学术语言中,我们可以表达数量之间的相互作用(例如,睡眠减少压力),在离散事件或实体之间(例如,一种蛋白质抑制另一种蛋白质的转录),或者在有意的或功能性的因子之间(例如,医院的病人祈祷减轻他们的痛苦)。提取和表示这些不同的因果关系对于从科学发现到社会科学的认知系统至关重要。本文提出了一种基于transformer的NLP架构,该架构联合提取知识图谱,包括(1)语言中描述的变量或因素,(2)这些变量上的定性因果关系,(3)限制这些因果关系的限定符和量值,以及(4)词义,以在大型本体中定位每个提取的节点。我们并不声称我们的基于变换器的架构本身就是一个认知系统,但是,我们提供了证据,其准确的知识图提取在现实世界的领域和实用性的认知系统,执行基于图的推理所产生的知识图谱。我们展示了这种方法,并在两个用例中包括有希望的结果,处理来自学术出版物,新闻文章和社交媒体的文本输入。
2022-02-23 cs.AI cs.CL
CausalLP: Learning causal relations with weighted knowledge graph link prediction
针对因果网络常存在关系缺失的问题,本文提出CausalLP方法,将其转化为加权知识图谱链接预测任务,支持因果解释与预测,实验验证了加权因果关系可提升预测性能。
2024-07-12 cs.AI
DAPrompt: Deterministic Assumption Prompt Learning for Event Causality Identification
Huazhong University of Science and Technology(华中科技大学)
针对事件因果关系识别任务,提出名为DAPrompt的确定性假设提示学习模型,通过先假设因果关系存在再评估合理性的方式利用预训练语言模型知识,在两个基准语料库上取得了优于现有最优算法的性能。
2023-07-19 cs.CL
DKCD: Domain Knowledge-Enhanced Causal Discovery from Unstructured Data
University of Technology Sydney(悉尼科技大学)
针对高专业领域非结构化数据因果发现难题,提出DKCD框架,通过知识挖掘、知识引导的因果推理和因果结构发现三个组件,有效应对潜在因素识别不足和因素注释不可靠问题,实验证明其显著提升了因果发现效果。
2026-07-13 cs.CL
Paths to Causality: Finding Informative Subgraphs Within Knowledge Graphs for Knowledge-Based Causal Discovery
Fujitsu Limited(富士通有限公司)
针对现有基于大语言模型的知识型因果发现结果不稳定的问题,提出结合知识图谱与大语言模型的方法,通过识别并排序知识图谱中的元路径信息性子图融入零样本提示,在多数据集上F1分数最高提升44.4分。
2025-06-10 cs.AI cs.CL cs.IR
HyperCausalLP: Causal Link Prediction using Hyper-Relational Knowledge Graph
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出HyperCausalLP方法,将带中介变量的因果链接预测建模为超关系知识图谱补全,并在CLEVRER-Humans上验证其有效性。
2024-09-12 cs.AI
Collaborative Knowledge Graph Fusion by Exploiting the Open Corpus
Central University of Finance and Economics(中央财经大学);Huazhong University of Science and Technology(华中科技大学);Beijing Normal University(北京师范大学);Zhejiang Normal University(浙江师范大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of York(约克大学)
为了减轻从头开始构建知识图谱(KG)的挑战,更一般的任务是使用来自开放语料库的三元组来丰富KG,其中所获得的三元组包含噪声实体和关系。在保持知识表示的质量的同时,用新收获的三元组来丰富KG是具有挑战性的。本文提出了一个系统,以完善KG使用从一个额外的语料库收获的信息。为此,我们制定我们的任务为两个耦合的子任务,即连接事件提取(JEE)和知识图谱融合(KGF)。然后,我们提出了一个合作的知识图谱融合框架,让我们的子任务,以交替的方式互相帮助。更具体地说,探索者在地面实况注释和监督者提供的现有KG的监督下执行JEE。然后,管理员评估由探索者提取的三元组,并使用排名高的三元组来丰富KG。为了实现这一评估,我们进一步提出了一个翻译关系对齐评分机制,对齐和翻译提取的三元组先前KG。实验证明,这种协作可以同时提高JEE和KGF的性能。
2022-06-15 cs.AI
How Rules Represent Causal Knowledge: Causal Modeling with Abductive Logic Programs
Eberhard-Karls-Universität Tübingen(图宾根大学);German University of Digital Science(德国数字科学大学)
本文将Pearl的因果干预理论扩展到分层溯因逻辑程序,通过翻译为因果系统并证明稳定模型语义符合因果充分性等哲学原则,为逻辑程序用于因果建模和干预效果预测奠定理论基础。
2025-07-07 cs.AI
causalgraph: A Python Package for Modeling, Persisting and Visualizing Causal Graphs Embedded in Knowledge Graphs
Fraunhofer Institute for Machine Tools and Forming Technology IWU(弗劳恩霍夫机床与成形技术研究所);Technische Universität Dresden(德累斯顿工业大学)
本文介绍了一种新的Python包,命名为causegraph,建模和保存因果图嵌入在知识图谱。该软件包的目的是提供一个因果学科之间的接口,如因果发现和因果推理。使用这个包,用户可以创建和保存因果图,并导出生成的图,以用于其他基于图的包。拟议的一揽子办法的主要优点是能够便利将更多的信息和元数据与因果结构联系起来。此外,该软件包还提供了用于图形建模和绘图的各种功能,例如编辑、添加和删除节点和边。它还与广泛使用的图形数据科学库(如NetworkX和Tigramite)兼容,并在后台集成了专门开发的cathetraphontology。本文概述了该包的主要特性、功能和使用示例,使读者能够在实践中有效地使用该包。
2023-01-20 cs.AI
A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction
Rensselaer Polytechnic Inst.(伦斯勒理工学院);IBM Research(IBM研究院)
本文系统评估了因果知识抽取方法,发现预训练语言模型嵌入显著提升性能,且基于跨度的模型在4个跨领域数据集上优于简单序列标注模型。
2023-08-07 cs.CL
GeoAI for Knowledge Graph Construction: Identifying Causality Between Cascading Events to Support Environmental Resilience Research
Arizona State University(亚利桑那州立大学);University of California Santa Barbara(加州大学圣巴巴拉分校);Kansas State University(堪萨斯州立大学)
知识图谱技术被认为是一种强大的、语义上使能的链接实体的解决方案,允许用户通过根据各种类型的推理规则对数据进行推理来获得新的知识。然而,在构建这样一个知识图谱时,事件建模(例如灾害建模)通常仅限于单个孤立事件。现有的知识图谱往往缺乏级联事件之间的联系。本文介绍了我们的GeoAI(地理空间人工智能)解决方案,以确定事件之间的因果关系,特别是灾害事件,基于一组空间和时间启用的语义规则。通过因果灾害事件建模的用例,我们展示了这些定义的规则,包括基于主题的相关事件识别,时空共现约束,以及事件元数据的文本挖掘,使不同事件之间的因果关系的自动提取。我们的解决方案丰富了事件知识库,并允许在大型知识图谱中探索链接的级联事件,从而增强知识查询和发现的能力。
2022-11-11 cs.AI
CausalARC: Abstract Reasoning with Causal World Models
CausalARC通过因果世界模型进行低数据和分布外推理,结合原则性数据增强提供少量示例反馈,用于评估语言模型在抽象推理、反事实推理、程序合成和因果发现中的表现。
2026-03-19 cs.AI cs.CL cs.LG
What Do Large Language Models Know? Tacit Knowledge as a Potential Causal-Explanatory Structure
Eindhoven University of Technology(埃因霍温理工大学);Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所)
本文探讨大语言模型(LLMs)的“知识”本质,指出其可获得Martin Davies定义的默会知识,虽Davies否认神经网络具备此能力,但LLMs架构满足相关约束,默会知识可作为解释干预其行为的框架。
2025-04-16 cs.AI cs.CL cs.LG
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
CausalKG: Causal Knowledge Graph Explainability using interventional and counterfactual reasoning
人类在日常决策、计划和理解生活事件时使用因果关系和假设性回顾。人类的头脑在回顾一个特定的情况时,会思考这样的问题:“特定情况的原因是什么?“、“我的行动会产生什么影响?“,或者“是什么行为导致了这种结果?".它开发了一个世界的因果模型,它可以用更少的数据点学习,进行推理,并考虑反事实的场景。看不见的、未知的场景被称为反事实。AI算法使用基于知识图谱(KG)的表示来表示时间、空间和事实的概念。KG是一个图形化的数据模型,它捕获诸如事件、对象或概念之类的实体之间的语义关系。现有的知识库表示从文本中提取的因果关系,基于名词短语的语言模式的原因和影响,如在概念网和WordNet。目前的因果关系表示在KG中,支持反事实推理是一个挑战。需要使用基于KG的方法来更丰富地表示AI系统中的因果关系,以获得更好的可解释性,并支持干预和反事实推理,从而提高人类对AI系统的理解。因果表征需要一个更高的表征框架来定义上下文、因果信息和因果效应。提出的因果知识图谱(Causal KG)框架,利用因果关系和KG的可解释性的最新进展。CauseKG旨在解决缺乏领域适应性因果模型的问题,并使用KG中的超关系图表示来表示复杂的因果关系。我们表明,CauseKG的干预和反事实推理可以使用的AI系统的域的可解释性。
2022-01-06 cs.AI
Knowledge-Driven Agentic Scientific Corpus Distillation Framework for Biomedical Large Language Models Training
Computer Network Information Center, Chinese Academy of Sciences, Beijing, China(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);Duke-NUS Medical School, National University of Singapore, Singapore(新加坡国立大学杜克-新加坡医学部)
本文提出一种知识驱动的代理框架,用于生物医学大语言模型训练中的语料库精简,通过多代理协作提升问答任务性能。
2025-12-18 cs.AI cs.CL q-bio.QM
Geo-Situation for Modeling Causality of Geo-Events in Knowledge Graphs
Arizona State University(亚利桑那州立大学);University of Maine(缅因大学)
本文提出了一个框架表示和推理的地理事件之间的因果关系,通过引入地理局势的概念。这一概念与代表各种条件的观测快照相联系,既可以作为地质事件的背景,也可以影响地质事件的发生。我们设想在代表地理实体的知识图谱中使用这个框架将有助于回答为什么发生地理事件的重要问题。
2022-06-27 cs.AI
Enterprise domain ontology learning from web-based corpus
University Politehnica Bucuresti(布加勒斯特理工大学)
企业知识是竞争和快速变化的企业环境中的一项关键资产。学习、储存和传播隐性和显性知识的能力可能是成功与失败的区别。虽然企业知识管理是一个定义明确的研究领域,但目前的实施缺乏对中小企业的定位。我们提出了一个语义搜索引擎,在企业中的相关文件,自动生成的领域本体的基础上。在本文中,我们专注于本体学习和人口的组成部分。
2021-01-29 cs.AI cs.SE
CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis
Peking University(北京大学);LLM-Core
针对LLM法律知识可靠性问题,提出CLaw基准,含306部中国法律细粒度语料与254个案例推理实例,发现模型复现法条困难,强调知识检索与推理协同。
2025-09-25 cs.CL
Embracing Background Knowledge in the Analysis of Actual Causality: An Answer Set Programming Approach
Texas Tech University(得克萨斯理工大学);University of Nebraska at Omaha(内布拉斯加大学奥马哈分校)
该研究提出一种知识表示语言及原因定义,借助 Answer Set Programming 形式化实际因果性基准示例,并基于动作序列分析变化的实际原因。
2023-06-06 cs.AI cs.LO
CausalRAG2: Hierarchical Causal Knowledge Graph Design for RAG
Department of Computer and Data Sciences, Case Western Reserve University, Cleveland, OH, USA(计算机与数据科学系,凯斯西储大学,克利夫兰,OH,USA);Design and Innovation Department, Case Western Reserve University, Cleveland, OH, USA(设计与创新部门,凯斯西储大学,克利夫兰,OH,USA)
提出CausalRAG2框架,通过分层模块间的因果门控机制显式建模因果关系,抑制虚假相关,实现大规模知识图谱上的可扩展推理,并引入HolisQA基准,实验表明其优于现有图基RAG方法。
2026-06-25 cs.AI cs.IR
Knowledge-Augmented Language Models for Cause-Effect Relation Classification
The George Washington University(乔治华盛顿大学);Meta AI
先前的研究已经表明了知识增强方法在预训练语言模型中的有效性。但是,这些方法在域和下游任务中的行为不同。在这项工作中,我们研究了增强预训练的语言模型与常识知识的因果关系分类和常识因果推理任务。在自动语言化ATOMIC 2020,一个广泛覆盖的常识推理知识图,和GLUCOSE,一个隐含的常识因果知识的数据集,我们不断预训练BERT和RoBERTa与语言化的数据。然后,我们评估产生的模型上的因果对分类和回答常识因果推理问题。我们的研究结果表明,用常识知识增强的持续预训练的语言模型在两个常识因果推理基准(COPA和BCOPA-CE)以及时间和因果推理(TCR)数据集上的表现优于我们的基线,而无需对模型架构进行额外改进或使用质量增强的数据进行微调。
2022-06-02 cs.CL
Causal Discovery in Knowledge Graphs by Exploiting Asymmetric Properties of Non-Gaussian Distributions
Digital University Kerala (IIITMK)(喀拉拉数字大学(印度信息技术与管理学院喀拉拉邦分院))
近年来,因果建模已被广泛用于提高泛化能力和提供机器学习模型的可解释性。为了在没有随机试验的情况下确定因果关系,我们可以在给定足够的领域知识的情况下,用反事实和干预来建模因果系统。然而,有几种情况下,领域知识几乎是不存在的,唯一的办法是使用统计方法来估计因果关系。虽然在非结构化数据中估计因果关系方面已经做了一些工作,但我们还没有找到一个定义良好的框架来估计知识图谱(KG)中的因果关系。它通常用于为具有复杂域间关系的数据提供语义框架。在这项工作中,我们定义了一个混合的方法,使我们能够发现KG中的因果关系。所提出的方法是基于周围的发现的瞬时因果结构的非实验矩阵使用非高斯模型,即发现因果排序的变量在非高斯设置。非实验矩阵是通过分解KG的邻接张量获得的低维张量投影。我们使用两种不同的预先存在的算法,一个用于因果发现,另一个用于分解KG并将它们组合以获得KG中的因果结构。
2021-06-02 cs.AI cs.LG
Causal knowledge graph analysis identifies adverse drug effects
Computer, Electrical and Mathematical Sciences & Engineering(计算机、电气与数学科学与工程);King Abdullah University of Science and Technology(卡布斯科学技术大学);University of Cambridge(剑桥大学);SDAIA–KAUST Center of Excellence in Data Science and Artificial Intelligence(数据科学与人工智能卓越中心);KAUST Center of Excellence for Smart Health (KCSH)(智能健康卓越中心)
提出融合形式化因果语义与演绎推理的因果知识图谱 CKG,并基于 DD-CKG 在 UK Biobank 和 MIMIC-IV 中开展大规模中介分析,高精度复现并发现药物不良反应。
2025-05-11 cs.AI q-bio.BM
How Rules Represent Causal Knowledge: Causal Modeling with Probabilistic Logic Programming
研究如何将珀尔的因果方法引入概率逻辑编程,通过与不依赖时间概念的哲学基础对齐,提出形式因果语义等,使其语义与分层ProbLog程序的P-log语义一致,解决因果知识在不同形式主义中的应用问题。
2026-07-24 cs.AI cs.LO cs.PL
Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models
该研究提出语料库级 Wikipedia 不一致检测任务,构建结合 LLM 推理与检索的 CLAIRE 系统,并发布 WIKICOLLIDE 基准,量化真实矛盾比例及基线性能。
2025-09-27 cs.CL
Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer
Kazan Federal University(喀山联邦大学)
为解决阿拉伯语和俄语科学交流的语言障碍,构建了约2.7万句对的混合平行语料库,微调mT5、NLLB和Qwen2.5-7B模型,Qwen2.5-7B+QLoRA达到BLEU 23.15,推动跨语言知识转移与可持续发展。
2026-09-15 cs.CL
FO(C): A Knowledge Representation Language of Causality
KU Leuven(鲁汶大学);Hasselt University(哈瑟尔特大学);transnational University of Limburg(林堡跨国大学)
因果关系是人类知识的重要组成部分。在现实生活中,人类经常会推理与复杂结果相关的复杂原因。相比之下,现有的表示因果关系知识的形式主义在它们所允许的因果关系的规范方面是非常有限的。在本文中,我们提出了新的语言C-Log,它提供了一个显着更具表现力的表示效果,包括创建新对象等功能。我们展示了C-Log如何与一阶逻辑集成,从而产生FO(C)语言。我们还比较了FO(C)与几个相关的语言和范式,包括归纳定义,析取逻辑编程,业务规则和扩展的数据库。
2014-05-09 cs.AI cs.LO
Persian Causality Corpus (PerCause) and the Causality Detection Benchmark
Shahid Beheshti University(沙希德·贝赫什提大学)
识别文本中的因果元素和因果关系是自然语言处理中具有挑战性的问题之一,特别是在波斯语等低资源语言中。在这项研究中,我们准备了一个因果人类注释语料库的波斯语,其中包括4446个句子和5128因果关系和三个标签的原因,效果和因果标记-如果可能的话-指定为每个关系。我们已经使用这个语料库训练系统检测因果元素的边界。此外,我们提出了一个因果关系检测基准的三个机器学习方法和两个深度学习系统基于这个语料库。性能评估表明,我们最好的总体结果是通过CRF分类器获得的,其F-测量值为0.76,通过Bi-LSTM-CRF深度学习方法获得的最佳准确度为91.4。
2021-06-27 cs.CL
Norm Based Causal Reasoning in Textual Corpus
基于真值的蕴涵不足以很好地理解自然语言。事实上,它并不能推导出理解语篇所必需的隐含信息。另一方面,基于规范的蕴涵能够达到这一目的。这个想法是70年代Frames(Minsky 75)和Schank(Schank 77,Schank 79)的发展背后的原因。但这些理论还不够形式化,对新形势的适应性还很不明显。在本文中,我们提出了一个推理系统,它使用规范的因果推理过程中,以找到事故的原因,从描述它的文本。
2006-10-04 cs.AI cs.CL
BoschAI @ Causal News Corpus 2023: Robust Cause-Effect Span Extraction using Multi-Layer Sequence Tagging and Data Augmentation
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Augsburg(奥格斯堡大学)
本文提出基于预训练 transformers、堆叠序列标注与合成数据增强的因果关系抽取系统,在 Causal News Corpus 2023 子任务 1 中获第三、子任务 2 中以 F1 72.8 夺冠。
2023-12-11 cs.AI cs.CL
Learning to refine domain knowledge for biological network inference
Shenzhen International Graduate School(深圳国际研究生院);Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于数据观测的摊销算法来精炼领域知识,在有限干预数据下比基线方法更准确地恢复因果图并识别先验知识错误。
2024-10-18 cs.AI cs.LG q-bio.QM
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute(Idiap研究所);Brno University of Technology(布尔诺理工大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Universidad Autónoma Metropolitana Unidad Cuajimalpa(大都会自治大学夸希马尔帕校区);Universidad Nacional de San Luis(圣路易斯国立大学)
在本文中,我们描述了我们在CASE-2022中的子任务2的共享任务提交,事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组,总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身,我们考虑不同的因果关系,如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练,但我们的方法仍然取得了有竞争力的性能,在比赛中排名第二。此外,我们表明,假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore(新加坡国立大学);Koc University(科奇大学);Rijksuniversiteit Groningen(格罗宁根大学);Radboud University(拉德堡德大学);National Institute of Japanese Literature(日本文学研究所);Birmingham City University(伯明翰城市大学);Instituto Politécnico Nacional(国立理工学院);Mersin University(梅尔辛大学);University of East Anglia(东英吉利大学);ETH Zürich(苏黎世联邦理工学院)
尽管理解因果关系的重要性,语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此,我们提出了一个事件因果关系的注释模式,解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子,并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库(CNC)。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%,在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换:CauseTimeBank(CTB)和Penn Discourse Treebank(PDTB)。利用这些外部数据集进行训练,我们在CNC测试集上实现了高达约64%的F1,而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后,我们展示了我们的任务的困难,在一个众包注释练习的外行。我们的注释语料库是公开的,因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
Event Causality Identification with Causal News Corpus -- Shared Task 3, CASE 2022
University of Groningen(格罗宁根大学);Mersin University(梅尔辛大学);University of East Anglia(东英吉利大学);Radboud University(拉德堡德大学)
CASE 2022的事件因果关系识别共享任务涉及两个子任务,它们在因果新闻语料库上工作。子任务1要求参与者预测一个句子是否包含因果关系。这是一个有监督的二元分类任务。子任务2要求参与者识别每个因果句的原因、结果和信号跨度。这可以被看作是一个有监督的序列标记任务。对于这两个子任务,参与者上传了他们对一个测试集的预测,并分别根据子任务1和2的二进制F1和宏F1分数进行排名。本文总结了17个团队的工作,提交了他们的结果,我们的竞争和12个系统描述文件,收到。子任务1和2的最佳F1得分分别为86.19%和54.15%。所有表现最好的方法都涉及预先训练的语言模型,这些模型针对目标任务进行了微调。我们在本文中进一步讨论了这些方法,并分析了参与者系统中的错误。
2022-11-22 cs.CL
Generalisation of language and knowledge models for corpus analysis
本文对语料库语言学的语言和知识建模进行了新的探讨。利用Chaitin的思想,提出了反对自然语言处理中语言/知识分离的论点。一个简单的模型,概括的方法,语言和知识,提出。这个模型的假设结果之一是强AI。
2012-03-14 cs.AI cs.CL
PubMedCausal: A Span-Level Annotated Corpus for Causal Relation Extraction in Biomedical Text
Edyah Limited(Edyah有限公司);University of Ibadan(伊巴丹大学);Indiana University(印第安纳大学);Creighton University(克雷顿大学)
为解决现有资源将因果关系与广义关联混淆、限制句子级标注或仅关注显式因果线索的问题,构建了基于PubMed摘要的跨度级因果关抽取语料库PubMedCausal,包含30,000段落级行、3,945因果行和6,491个裁决的因果对,并基准测试了判别式编码器和开源生成模型。
2026-10-28 cs.CL
IDIAPers @ Causal News Corpus 2022: Efficient Causal Relation Identification Through a Prompt-based Few-shot Approach
Idiap Research Institute(Idiap研究所);Universidad Nacional de San Luis (UNSL)(圣路易斯国立大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Universidad Autónoma Metropolitana Unidad Cuajimalpa(墨西哥都会自治大学夸伊马尔帕分校);Brno University of Technology(布尔诺理工大学)
本研究针对因果关系识别任务,提出将其转化为掩码语言建模问题的基于提示的少样本微调方法,仅用15.7%的训练数据就取得了接近全量数据集成模型的优异性能。
2022-10-14 cs.AI cs.CL cs.LG
1Cademy @ Causal News Corpus 2022: Enhance Causal Span Detection via Beam-Search-based Position Selector
University of Michigan(密歇根大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Carleton College(卡尔顿学院)
在本文中,我们提出了我们的方法和经验观察因果信号跨度检测-子任务2的共享任务3~ \cite{tan-etal-2022-event}在案例2022。共享任务旨在从给定的因果句中提取原因、结果和信号跨度。我们将任务建模为阅读理解(RC)问题,并将基于标记水平RC的广度预测范式应用于任务作为基线。我们探索不同的训练目标来微调模型,以及基于语言模型(LM)的数据增强(DA)技巧来提高性能。此外,我们提出了一个有效的束搜索后处理策略,由于跨度检测的缺点,以获得进一步的性能增益。我们的方法实现了平均$F_1$得分为54.15和排名\textbf{$1^{st}$}在CASE竞争。我们的代码可在\url{https://github.com/Gzhang-umich/1CademyTeamOfCASE}上找到。
2022-10-31 cs.CL
Knowledge Corpus Error in Question Answering
Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出知识语料库误差概念,解释LLM生成段落优于检索段落的原因,并通过改写实验在三个QA基准上验证了该误差的存在及性能提升。
2023-10-27 cs.AI cs.CL
CAMS: An Annotated Corpus for Causal Analysis of Mental Health Issues in Social Media Posts
Thapar Institute of Engineering & Technology(塔帕尔工程技术学院);The Chinese University of Hong Kong(香港中文大学);University of Petroleum And Energy Studies(石油与能源研究大学);Indian Institute of Technology, Patna(印度理工学院巴特那分校);Amity University Rajasthan(拉贾斯坦阿米蒂大学);Lakehead University(湖首大学);University of Florida(佛罗里达大学)
研究界从社交媒体的分析中发现了大量的心理健康问题及其相关原因。我们引入了一个新的数据集,用于社交媒体帖子中心理健康问题的因果分析(CAMS)。我们对因果分析的贡献是双重的:因果解释和因果分类。我们引入了一个注释模式的因果分析任务。我们在两个不同的数据集上证明了我们的模式的有效性:(i)抓取和注释3155个Reddit帖子,(ii)重新注释1896个实例的公开SDCNL数据集,以进行可解释的因果分析。我们进一步将这些组合到CAMS数据集中,并将此资源与相关源代码一起公开提供:https://github.com/drmuskangarg/CAMS。我们展示了从CAMS数据集学习的模型的实验结果,并证明经典的Logistic回归模型比次优模型(CNN-LSTM)的准确率高出4.9%。
2022-07-11 cs.CL
1Cademy @ Causal News Corpus 2022: Leveraging Self-Training in Causality Classification of Socio-Political Event Data
University of Michigan(密歇根大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Cademy Community(1Cademy社区);Carleton College(卡尔顿学院)
本文详细介绍了我们参与的挑战和应用自动提取社会政治事件从文本(CASE)研讨会@EMNLP 2022,在那里我们参加了子任务1共享任务3。我们提出了一个自我训练管道,遵循师生分类器方法的事件因果关系检测的给定任务。更具体地说,我们首先在真实的原始任务数据上训练教师模型,并使用该教师模型自标记数据,以用于训练单独的学生模型,以进行最终的任务预测。我们测试了在自训练过程中限制正面或负面自标记示例的数量如何影响分类性能。我们的最终结果表明,使用自训练在事件因果关系序列分类任务中测试的所有模型和自标记训练集上都产生了全面的性能改善。最重要的是,我们发现,自我训练的表现并没有减少,即使在训练中使用的积极/消极的例子限制。我们的代码可在www.example.com上公开获取。
2022-11-04 cs.CL
Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本文针对开放域问答模型在知识更新和跨领域迁移中的泛化难题,提出语料库不变调优(CIT)策略,通过控制训练时检索上下文的似然来缓解知识过度记忆,在多个基准上验证了其在不损失原有性能的前提下显著提升泛化能力。
2024-04-02 cs.AI cs.CL
This before That: Causal Precedence in the Biomedical Domain
University of Arizona(亚利桑那大学)
生物化学相互作用之间的因果关系在生物医学领域至关重要,因为它改变了个体相互作用的集合,例如,结合和磷酸化,到因果机制需要通知有意义的搜索和推理。在这里,我们分析了生物医学领域的因果优先性,有别于开放域,时间优先性。首先,我们描述了一个新的,手工注释的文本语料库的因果关系优先在生物医学领域。其次,我们使用这个语料库调查电池的优先级模型,包括基于规则的,基于特征的,和潜在的表示模型。表现最好的个体模型获得了43分的微观F1,接近简单的时间优先任务的最佳表现者。基于规则的模型和潜在表示模型的性能都优于基于规则的模型,但它们的性能是互补的。我们采用了基于筛子的架构来利用这种缺乏重叠的情况,实现了46分的微观F1得分。
2016-06-26 cs.CL
A Corpus-based Evaluation of Lexical Components of a Domainspecific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学)
本文的目的是评估的文本知识图谱(TKM)原型的词汇成分。原型是特定领域的,其目的是将教学文本映射到知识域。原型的知识领域的背景是物理学,特别是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。该原型现在达到了需要使用称为语料库的代表性语言数据集进行评估的阶段。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发了一个有代表性的语料库,并用语言信息对其进行注释。原型的评估认为它的两个主要组成部分之一-词汇知识库。借助语料库,评价丰富了词汇、语法结构等词汇知识资源。这导致原型解析语料库中合理数量的句子。
2012-04-28 cs.CL cs.IR
Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery
Faculty of Information Technology(信息技术学院);Monash University(莫纳什大学)
在本文中,我们进行了第一次研究虚假相关的开放域响应生成模型的基础上,语料库CGDIALOG策划在我们的工作。目前的模型确实存在虚假的相关性,并且有产生不相关和通用响应的趋势。受因果发现算法的启发,我们提出了一种新的模型不可知的方法,使用条件独立分类器的响应生成模型的训练和推理。该分类器是由一个约束的自我训练方法,创造约束,以克服数据稀缺。基于人工和自动评估的实验结果表明,我们的方法显着优于竞争基线的相关性,信息量和流畅性。
2023-03-02 cs.AI cs.CL
A Corpus-based Evaluation of a Domain-specific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学);the University of Bolton(博尔顿大学);University of Dhaka(达卡大学)
本文的目的是评估一个文本到知识映射(TKM)的原型。原型是特定领域的,其目的是将教学文本映射到知识域。知识领域的背景是直流电路。在开发过程中,原型已经用来自域的有限数据集进行了测试。原型达到了一个阶段,它需要与一个有代表性的语言数据集称为语料库进行评估。语料库是从典型源中提取的文本的集合,其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库,我们开发并注释了一个具有代表性的语料库。原型的评价考虑了它的两个主要组成部分-词汇成分和知识模型。对词汇成分的评价丰富了原型的词汇、语法结构等词汇资源。这导致原型解析语料库中合理数量的句子。虽然处理词汇是直接的,但识别和提取适当的语义关系要复杂得多。因此,有必要手动开发领域的概念结构,以制定特定领域的语义关系框架。语义关系框架由55个关系组成,其中42个关系为反向关系。我们还对语料进行了修辞分析,以证明其在语义表达上的代表性。最后,我们对语料进行了主题分析和语篇分析,分析原型对语篇的覆盖情况。
2012-04-28 cs.CL
KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
知识驱动的会话系统的研究在很大程度上是有限的,由于缺乏对话数据,包括多轮对话的多个主题和知识注释。本文提出了一个基于知识驱动的中文多领域会话数据集KdConv,它将多轮会话中的话题建立在知识图谱上。我们的语料库包含来自三个领域(电影,音乐和旅行)的4.5K对话和86K话语,平均回合数为19.0。这些对话包含对相关主题的深入讨论以及多个主题之间的自然过渡。为了便于对该语料库的后续研究,我们提供了几个基准模型。对比结果表明,背景知识的引入可以增强模型的性能,但利用背景知识对多话轮会话进行建模仍有很大的研究空间。研究结果还表明,不同领域的学习效果存在明显差异,表明迁移学习和领域自适应值得进一步探索。语料库和基准模型是公开的。
2020-04-08 cs.AI cs.CL
Cross-context News Corpus for Protest Events related Knowledge Base Construction
我们描述了一个黄金标准语料库的抗议事件,包括来自不同国家的英语各种本地和国际来源。语料库包含文档、句子和标记级别的注释。该语料库有助于创建机器学习模型,自动分类新闻文章和提取抗议事件相关信息,构建知识库,使比较社会和政治科学研究。对于每个新闻源,注释从新闻文章的随机样本开始,并继续使用主动学习绘制的样本。每批样本都由两名社会和政治科学家进行注释,由注释监督员进行裁决,并通过半自动识别注释错误进行改进。我们发现,语料库的品种和质量的发展和基准文本分类和事件提取系统在跨上下文设置,这有助于自动化文本处理系统的泛化性和鲁棒性。这个语料库和报告的结果将设置目前缺乏自动抗议事件收集研究的共同点。
2020-08-01 cs.CL
Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
以前的工作数据到文本生成,知识图谱(KG)三元组转换为自然文本的任务,集中在特定领域的基准数据集。然而,在本文中,我们将对整个英文维基数据KG进行动词化,并讨论与广泛,开放领域,大规模动词化相关的独特挑战。我们进一步表明,verbalizing一个全面的,像Wikidata的语法KG可以用来整合结构化的KG和自然语言语料库。与已经开发的集成这两个源的许多架构相比,我们的方法将KG转换为自然文本,使其能够无缝集成到现有的语言模型中。它还具有提高事实准确性和降低最终语言模型毒性的优点。我们评估这种方法,通过增加检索语料库中的检索语言模型,并显示显着的改进知识密集型任务的开放领域QA和LAMA知识探针。
2021-03-13 cs.CL
gBuilder: A Scalable Knowledge Graph Construction System for Unstructured Corpus
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出 gBuilder 系统,通过用户自定义流水线、多类内置与可编程算子及云端自适应调度,实现跨领域非结构化语料的大规模可扩展知识图谱构建。
2023-12-11 cs.CL
CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
最近的工作已经成功地将预训练的模型(如BERT)整合到NLP系统中。然而,现有的预训练模型缺乏因果知识,这阻碍了今天的NLP系统像人类一样思考。在本文中,我们研究了将因果知识注入到预训练模型中的问题。有两个基本问题:1)如何从非结构化文本中收集各种粒度的因果对; 2)如何有效地将因果知识注入预先训练的模型。为了解决这些问题,我们从以前的研究中扩展了CauseBERT的思想,并在各种数据集上进行实验以评估其有效性。此外,我们采用了一种基于正则化的方法,在注入因果知识的同时,用一个额外的正则化项来保留已经学习到的知识。在7个数据集上进行的广泛实验,包括4个因果对分类任务、2个因果QA任务和1个因果推理任务,证明了CauseBERT捕获了丰富的因果知识,优于所有基于预训练模型的最先进方法,实现了新的因果推理基准。
2021-08-08 cs.CL