Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
University of New South Wales(新南威尔士大学)
提出RRR强化学习框架,结合结构主义叙事学与标量叙事性,通过d-RLAIF从文本特征中获取训练信号,无需参考输出,提升LLM故事复述的逻辑性、合理性和完整性。
2026-10-14 cs.AI cs.CL
Experiences Build Characters: The Linguistic Origins and Functional Impact of LLM Personality
University of Sheffield(谢菲尔德大学);University of Oklahoma(俄克拉荷马大学)
本研究通过持续预训练和大五人格框架,揭示了大语言模型人格的形成机制,发现模型能力在特定性格类型中表现最佳,并揭示了训练数据语言特征对推理性能的影响。
2026-03-06 cs.AI cs.CL
SLAM: Structural Linguistic Activation Marking for Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
SLAM通过在结构几何中嵌入水印而非词频,实现了高检测准确率且低质量损失,优于现有方案。
2026-05-08 cs.AI cs.CL
CausalDetox: Causal Head Selection and Intervention for Language Model Detoxification
Department of Computer Science(计算机科学系)
本文提出CausalDetox框架,通过因果分析识别并干预导致有毒生成的特定注意力头,利用PNS方法隔离必要且充分的头部,结合局部推理干预和PNS引导微调策略,有效提升去毒效果并保持语言流畅性。
2026-04-16 cs.AI cs.CL
Linguistic Properties of Truthful Response
University of Pennsylvania(宾夕法尼亚大学)
本文利用220个手工语言特征分析GPT-3回答,发现不同规模模型的真实性语言特征相似,并训练仅依赖风格的SVM验证不评估内容即可检测真实性的可能。
2023-06-02 cs.AI cs.CL
In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);CSAI, Tilburg University(蒂尔堡大学认知科学与人工智能系)
研究探讨了语音模型中上下文学习中语音特征、语言结构和归纳头的影响,发现语速显著影响学习效果,而音高和强度影响较小,归纳头在语音上下文学习中起因果作用。
2026-04-07 cs.AI cs.CL
Competence-Based Analysis of Language Models
Siebel School of Computing and Data Science(西贝尔计算与数据科学学院);The Grainger College of Engineering(格兰杰工程学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对LLM预训练语言结构表示不明确导致意外行为的问题,提出因果探测分析框架CALM,通过基于梯度的对抗攻击干预内部表示,测量模型与真实因果模型的对齐,有效解释了词汇推理任务中的模型行为。
2024-12-20 cs.CL
Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining
EPFL(瑞士联邦理工学院);Boston University(波士顿大学)
通过稀疏交叉编码器追踪LLM预训练中语言表示的演变,引入RelIE指标分析特征对任务性能的因果影响,实现对表示学习的可解释性分析。
2026-04-30 cs.AI cs.CL cs.LG
Do Language Models Encode Knowledge of Linguistic Constraint Violations?
IMS, University of Stuttgart, Stuttgart, Germany(斯图加特大学IMS研究所,斯图加特,德国)
研究探讨语言模型是否在参数中编码语言约束违规的表示,通过稀疏自编码器分析激活特征,发现未满足统一违规检测器的条件。
2026-05-14 cs.CL
How does the pre-training objective affect what large language models learn about linguistic properties?
University of Sheffield(谢菲尔德大学)
已经提出了几个预训练目标,例如掩码语言建模(MLM),以预训练语言模型(例如BERT),目的是学习更好的语言表示。然而,据我们所知,到目前为止,还没有以前的工作已经调查了不同的预训练目标如何影响BERT学习语言学属性。我们假设,语言动机的目标,如MLM应该帮助BERT获得更好的语言知识相比,其他非语言动机的目标是不直观的或难以猜测的输入和标签之间的关联进行预测。为此,我们预先训练BERT有两个语言动机的目标和三个非语言动机的。然后,我们探测语言特征编码的表示所产生的模型。我们发现强有力的证据表明,有两种不同类型的目标学习的表示之间的探测性能只有很小的差异。这些令人惊讶的结果质疑了语言信息预训练的主导叙事。
2022-03-20 cs.CL
MorphPiece : A Linguistic Tokenizer for Large Language Models
Ludwig Maximilian University(路德维希-马克西米利安大学)
提出基于语言学形态切分的MorphPiece分词器,训练GPT风格模型MorphGPT,在多项NLP任务上以约半数训练迭代超越GPT-2。
2024-02-03 cs.CL
CausalGym: Benchmarking causal interpretability methods on linguistic tasks
Stanford University(斯坦福大学)
本文提出 CausalGym 基准,通过扩展 SyntaxGym 任务评估可解释性方法对语言模型行为的因果影响,并利用表现最优的 DAS 揭示 pythia-1b 中否定极性项许可与填充语-空位依存机制呈离散阶段式学习。
2024-02-19 cs.AI cs.CL
Industrial-Grade Smart Troubleshooting through Causal Technical Language Processing: a Proof of Concept
Alstom(阿尔斯通公司);La Salle, Universitat Ramon Llull(拉塞尔大学(拉蒙·柳利大学));Universitat de Barcelona(巴塞罗那大学)
本文提出一种基于经验反馈记录技术语言的因果诊断方法,利用大型语言模型的向量化语言知识与工业资产故障机制的因果关联,构建因果感知的检索增强生成系统,并在真实预测性维护环境中验证,为工业级智能故障排查提供概念验证。
2024-07-30 cs.AI cs.CL cs.LG
Identifying Influential N-grams in Confidence Calibration via Regression Analysis
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);The University of Tokyo(东京大学)
本文通过回归分析识别与置信度相关的语言表达,发现LLM在推理时仍保持高置信度,并通过抑制这些表达可实现置信度校准。
2026-04-07 cs.CL
Load-Bearing Context: The Question Damage Score for Evaluating Context Reliance in Linguistic Reasoning
CUNY(纽约城市大学)
该研究提出基于53道英国语言学奥林匹克谜题的诊断框架,用问题损伤分数评估大型语言模型的上下文依赖,发现前沿模型在承载上下文移除后仍常产生正确答案,推动相关推理与可解释性研究。
2026-08-31 cs.CL
From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs
School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
研究通过分析LLMs内部空间表示机制,发现其空间推理能力有限且依赖上下文,揭示了空间推理的计算原语及跨语言机制退化问题。
2026-03-27 cs.AI cs.CL
Almost Clinical: Linguistic properties of synthetic electronic health records
University of Leeds(利兹大学);University of Exeter(埃克塞特大学);King’s College London(伦敦国王学院)
本研究探讨合成电子健康记录在心理健康领域中的语言特性与临床适用性,分析了LLMs在构建医疗权威和患者代理方面的语法表现及存在的局限性。
2026-02-03 cs.CL
Mitigating Hallucinations in Large Language Models via Causal Reasoning
针对大型语言模型(LLMs)的逻辑不一致幻觉问题,提出因果DAG构建与推理(CDCR-SFT)监督微调框架,通过显式建模变量级因果关系提升推理能力,在CLADDER上准确率超人类且在HaluEval上减少幻觉。
2025-11-12 cs.AI cs.CL cs.LG
The language of prompting: What linguistic properties make a prompt successful?
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本研究探究不同规模、训练类型的LLM在语义等价但语言结构不同的提示下的表现,发现性能与常见的语言属性假设不符,进而提出更稳健的提示研究评估标准。
2023-11-03 cs.AI cs.CL cs.LG
Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation
确定小句之间因果关系的可解释性是一项需要复杂推理能力的常识推理任务。此任务的一般方法是在特定数据集上训练大型预训练语言模型。然而,任务的可用训练数据往往是稀缺的,这导致模型训练的不稳定性或依赖于数据集的浅层特征。本文提出了一些技术,使模型更强大的因果推理领域。首先,我们通过同义词替换生成扰动输入来进行对抗训练。其次,基于语篇连接词的语言学理论,我们使用语篇分析器来检测大文本中的因果连接子句,并使用生成语言模型来生成干扰词,从而执行数据增强。这两种方法都提高了模型在合理选择(COPA)数据集和平衡COPA数据集上的性能,平衡COPA数据集是原始数据的修改版本,旨在避免表面线索,从而产生更具挑战性的基准。我们在两个数据集上的性能和鲁棒性都有统计学上的显著改善,即使只有少量额外生成的数据点。
2021-01-13 cs.CL
An Overview on Language Models: Recent Developments and Outlook
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
本文综述传统语言模型与预训练语言模型,从语言单元、架构、训练方法、评估和应用五方面对比,并展望预训练时代未来方向。
2023-07-03 cs.CL
X-Blocks: Linguistic Building Blocks of Natural Language Explanations for Automated Vehicles
Queensland University of Technology (QUT)(昆士兰科技大学);ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)(农村和偏远地区自动化车辆培训中心)
X-Blocks框架通过分层分析识别自动驾驶车辆自然语言解释的构建块,提供场景感知解释的设计原则,提升透明性和用户信任。
2026-02-02 cs.AI cs.CL cs.RO
Linguistic Steganalysis via LLMs: Two Modes for Efficient Detection of Strongly Concealed Stego
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
针对现有语言隐写分析难以检测强隐蔽隐写文本的问题,提出双模式方法LSGC,生成模式利用LLM生成能力判断隐写,分类模式通过causalLM单次提取特征加线性层分类,达SOTA性能且分类模式训练效率更高。
2024-06-21 cs.CL
Translation Indeterminacy and the Distributional Fallacy
Kent State University(肯特州立大学)
本文批判分布假设的因果倒置,提出翻译可仅凭跨语言分布对应关系成功,并基于生态-生成主义论证指称与意义需通过智能体-环境交互获得。
2026-09-09 cs.CL
CasualSynth: Generating Structurally Sound Synthetic Data
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Institute of Logic and Computation, TU Wien(维也纳技术大学逻辑与计算研究所)
本文提出CasualSynth框架,通过解耦因果结构生成与语义实现,生成既符合因果机制又语义丰富的合成数据,解决了LLM在生成合成数据时无法保证因果正确性的问题。
2026-05-17 cs.AI cs.CL cs.LG
Causal-SAM-LLM: Large Language Models as Causal Reasoners for Robust Medical Segmentation
City University of Hong Kong, Hong Kong, China(香港城市大学);Xi’an Jiaotong-liverpool University, Suzhou, China(西安交通大学利物浦大学)
Causal-SAM-LLM利用大型语言模型作为因果推理器,提升医学图像分割的鲁棒性和泛化能力。
2026-01-16 cs.AI cs.CL cs.CV
Causality for Large Language Models
Zhejiang University(浙江大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
本文综述了如何将因果性融入大语言模型从词元嵌入、预训练到微调、对齐、推理和评估的全生命周期,以克服虚假相关导致的偏见与幻觉问题,并展望了六个未来研究方向。
2024-10-20 cs.AI cs.CL stat.ML
Causal Micro-Narratives
University of Chicago(芝加哥大学);Northwestern University(西北大学);Hoover Institution, Stanford University(斯坦福大学胡佛研究所)
本文提出从文本中分类因果微观叙事的新方法,仅需特定因果本体,通过微调 Llama 3.1 8B 在通胀叙事检测与分类任务上取得高 F1 分数,为社会科学研究建立了从真实数据提取因果微观叙事的框架。
2024-10-07 cs.AI cs.CL cs.IR
LIEDER: Linguistically-Informed Evaluation for Discourse Entity Recognition
Yale University(耶鲁大学)
该研究提出LIEDER数据集,用于评估大语言模型对语篇实体的四项核心语义属性的认知,发现前沿模型仅对新颖性不敏感,尚未达到人类级语言理解水平。
2024-08-10 cs.CL
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而,目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现:(i)预训练的语言模型确实编码了几种类型的语言信息用于推理,但也有一些类型的信息是弱编码的,(ii)语言模型可以通过微调有效地学习缺失的语言信息。总的来说,我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外,我们已经证明了语言模型的潜在语义和背景知识基础,支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Unveiling Language Competence Neurons: A Psycholinguistic Approach to Model Interpretability
The Chinese University of Hong Kong(香港中文大学);Brain and Mind Institute, The Chinese University of Hong Kong(香港中文大学脑与认知科学研究所)
本研究采用心理语言学范式探究大语言模型的神经元级语言能力表征,发现GPT-2-XL的特定语言能力对应专属神经元,首次从神经元粒度揭示Transformer类大模型语言能力的内在机制,推进了模型可解释性研究。
2024-12-11 cs.CL
Diagnosis Is Not Prescription: Linguistic Co-Adaptation Explains Patching Hazards in LLM Pipelines
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院);NAVER Corp.(NAVER公司)
本文研究了多模块LLM代理失败时,诊断与修补之间的矛盾,发现路由模块虽为瓶颈,但注入修正示例反而降低性能,而修正查询重写模块则更有效,提出了语言合同假说解释这种现象。
2026-05-21 cs.CL
Counterfactual reasoning: Do language models need world knowledge for causal understanding?
University of California Irvine(加州大学欧文分校);Meta;University of Chicago(芝加哥大学)
目前的预训练语言模型已经在下游任务中实现了显着的改进,但仍然很难区分统计相关性的影响与基于对现实世界的理解的更系统的逻辑推理。在本文中,我们通过利用反事实条件句来梳理这些因素,反事实条件句迫使语言模型基于假设命题来预测不寻常的结果。我们引入了一组来自心理语言学实验的测试,以及更大规模的受控数据集,以探索来自各种流行的预训练语言模型的反事实预测。我们发现,在反事实场景中,模型始终能够覆盖真实世界的知识,并且在更强的基线世界知识的情况下,这种效果更加强大-然而,我们还发现,对于大多数模型,这种效果似乎主要是由简单的词汇线索驱动的。当我们减轻世界知识和词汇线索的影响,以测试知识的语言细微差别的反事实,我们发现,只有GPT-3显示这些细微差别的敏感性,虽然这种敏感性也是不平凡的词汇联想因素的影响。
2022-12-06 cs.CL
Some Tokens Behave like Magnets: Revealing Linguistic Organization in the Layers of Language Models
University of Toronto(多伦多大学)
本文发现LLM中存在磁向量,通过吸引或排斥组织词元,其极性随层变化且与任务相关,移除它们会破坏相应任务,为理解语言几何组织提供新路径。
2026-09-09 cs.CL
Linguistic Minimal Pairs Elicit Linguistic Similarity in Large Language Models
Université Paris Cité(巴黎西岱大学);Sorbonne Université(索邦大学);CUHK(香港中文大学);HKUST(香港科技大学);Cohere;Brain and Mind Institute, CUHK(香港中文大学脑与心智研究所)
本研究利用语言最小对立体探究大语言模型的内部语言表征,通过大规模实验从四方面揭示语言相似性特性,阐明了LLM与语言学理论的关系。
2024-12-13 cs.CL
SLANG: New Concept Comprehension of Large Language Models
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Merced(加利福尼亚大学默塞德分校);University of Chinese Academy of Sciences(中国科学院大学)
针对LLMs难以适应互联网俚语快速演变的问题,提出SLANG基准与基于因果推断的FOCUS方法,通过现实语言变迁实例建立新兴表达与含义的精确关联,显著提升了对新概念的理解精确性与相关性。
2024-11-12 cs.CL
Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries
EPFL(苏黎世联邦理工学院);ETH Zürich(苏黎世联邦理工学院);University of Washington(华盛顿大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Michigan(密歇根大学);MPI for Intelligent Systems, Tübingen, Germany(图宾根智能系统研究所)
本文提出Quriosity数据集,收集13.5K条来自搜索引擎、人际交互和人机对话的自然问题,分析好奇心驱动提问中的因果问题(最高42%),并开发迭代提示改进框架识别因果查询。
2025-11-09 cs.AI cs.CL cs.LG
Identifying Causal Influences on Publication Trends and Behavior: A Case Study of the Computational Linguistics Community
National Security Directorate(国家安全局);Pacific Northwest National Laboratory(太平洋西北国家实验室)
从观察到的真实世界数据中得出因果结论是一项非常理想但具有挑战性的任务。在本文中,我们提出了混合方法的分析,调查因果关系的影响,出版趋势和行为的采用,持久性和退休的某些研究焦点-方法,材料和任务,是感兴趣的计算语言学(CL)社区。我们的主要发现突出了研究界向快速新兴方法过渡的证据(例如,双向LSTM的采用影响LSTM的退出),与趋势任务和技术的持续参与(例如,深度学习、嵌入、生成和语言模型),来自美国以外的科学家位置的影响,例如,中国研究英语以外语言的倾向,以及资助大规模研究项目的潜在影响。我们预计这项工作将提供有关出版趋势和行为的有用见解,并提高对计算语言学和更广泛的科学界中因果推理潜力的认识。
2021-10-15 cs.CL cs.CY
How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs
University of Minnesota(明尼苏达大学);Hamline University(哈姆林大学);University of Wisconsin-Stout(威斯康星州立大学斯托特分校)
本研究通过实验发现,大语言模型在处理叙述中的时间意义时,过度依赖原型性,导致不一致的判断和因果推理困难,表明其与人类在理解叙述方面存在根本差异。
2025-07-18 cs.CL
Grammatical "grandmother neurons" are rare in LLMs
Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学祖克曼心智脑行为研究所)
本研究提出无探针框架及神经元可分性指数(NSI),在68个语言范式中发现LLM中强选择性“祖母神经元”罕见,且单神经元选择性与行为能力分离。
2026-09-25 cs.CL
Causal Interventions Reveal Shared Structure Across English Filler-Gap Constructions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
本研究将因果可解释性方法应用于语言模型,通过分布式交换干预实验发现语言模型对英语填充语-空位结构存在相似抽象分析,揭示了此前被忽略的影响因素,证明对语言模型的机制性内部分析可推动语言学理论发展。
2025-09-30 cs.AI cs.CL
The Confounder Trap: Treatment-Encoding Representations in Causal Inference with Text
Duke University(杜克大学)
本文针对文本因果推断中因处理状态由文本编码引发的混淆陷阱,提出掩码调整表征方法,经模拟验证可改善重叠诊断、稳定因果效应估计并降低偏差。
2026-07-30 cs.CL stat.AP stat.ME
A Design-based Solution for Causal Inference with Text: Can a Language Model Be Too Large?
Duke University(杜克大学);Netflix
针对文本因果推断中的潜在混杂和重叠偏差,提出一种新的实验设计,并实证发现LLM方法不如词袋模型,同时揭示了政治传播中谦逊表达的因果说服效应。
2025-10-09 cs.CL cs.LG stat.AP
Analyzing Individual Neurons in Pre-trained Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU Research Complex(哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
虽然已经进行了大量的分析来证明在深度NLP模型中学习的表示所捕获的语言知识,但很少关注单个神经元。我们使用预测形态,语法和语义的核心语言任务对预训练的语言模型进行神经元级分析,问题如下:i)预训练模型中的单个神经元是否捕获语言信息?(2)网络的哪些部分对某些语言现象了解更多?(三)信息的分布和重点如何?以及iv)不同的体系结构在学习这些属性方面有何不同?我们发现了小的神经元子集来预测语言任务,与预测语法的高级任务相比,较低级别的任务(例如形态学)位于更少的神经元中。我们的研究还揭示了有趣的跨架构比较。例如,我们发现XLNet中的神经元在预测属性时比BERT和其他神经元更局部化和不相交,在其他神经元中它们更分散和耦合。
2020-10-06 cs.CL
Investigating Causal Cues: Strengthening Spoofed Audio Detection with Human-Discernible Linguistic Features
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文利用带社会语言学标注的混合欺骗音频数据集,通过因果发现与推断识别人类可辨别的EDLFs与欺骗标签的关系,为增强AI检测器和自动化标注提供依据。
2024-09-09 cs.CL cs.SD eess.AS
Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Saarland University(萨尔大学);Leipzig University(莱比锡大学);Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
本研究利用机制可解释性技术,在四种多语言语言模型的三种句法结构上证实跨语言机制迁移,且迁移程度与语言类型学相似度正相关,为语言学理论提供新假说。
2026-09-01 cs.CL
Empirical Discovery in Linguistics
基于J.S. Mill.给定一组观察结果,系统在这些观察结果中归纳出“因果”相关的事实。它的应用经验语言发现的描述。
1995-06-26 cmp-lg cs.CL
Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
当语言模型处理句法复杂的句子时,它们是否以与语言语法一致的方式使用它们的句法表示?我们提出了AlterRep,一种基于干预的方法来解决这个问题。对于给定句子的任何语言特征,AlterRep通过改变特征的编码方式来生成反事实表示,同时保持原始表示的所有其他方面不变。通过测量当这些反事实表征取代原始表征时模型的单词预测行为的变化,我们可以得出有关语言特征对模型行为的因果影响的结论。我们应用这种方法研究了不同规模的BERT模型如何处理关系从句。我们发现,BERT变体使用RC边界信息在单词预测的方式是一致的英语语法规则,这种RC边界信息概括到相当大的程度在不同的RC类型,这表明BERT代表RC作为一个抽象的语言类别。
2021-09-15 cs.CL
DeVLBert: Learning Deconfounded Visio-Linguistic Representations
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Alibaba Group(阿里巴巴集团)
在本文中,我们建议研究域外语言预训练的问题,其中预训练数据分布与预训练模型将被微调的下游数据的分布不同。现有的方法对于这个问题是纯粹的可能性为基础的,导致虚假的相关性和伤害的泛化能力时,转移到域外的下游任务。所谓虚假相关,我们的意思是一个标记(对象或单词)给定另一个标记的条件概率可能很高(由于数据集偏差),而它们之间没有鲁棒的(因果)关系。为了减轻这种数据集偏差,我们提出了一个Deconfounded Visio-Linguistic BERT框架,简称为DeVLBert,以执行基于干预的学习。我们借用了因果关系研究领域的后门调整的思想,并提出了几种基于神经网络的架构,用于伯特式的域外预训练。在三个下游任务,图像检索(IR),Zero-shot IR,和视觉问答的定量结果,通过提高泛化能力的DeVLBert的有效性。
2020-10-02 cs.CL cs.CV
Causality Guided Representation Learning for Cross-Style Hate Speech Detection
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
CADET通过因果图解构仇恨言论,分离潜在因素并控制混杂变量,提升跨风格仇恨言论检测的泛化能力。
2026-02-03 cs.AI cs.CL cs.LG
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
CausalNLP: A Practical Toolkit for Causal Inference with Text
Institute for Defense Analyses (IDA)(美国国防分析研究所)
因果推断是估计治疗对结果的效果或影响的过程,其他协变量作为可能需要控制的潜在混杂因素(和介质)。用于因果推断的绝大多数现有方法和系统假设所考虑的所有变量都是分类的或数值的(例如,性别、价格、注册)。在本文中,我们介绍了Causal NLP,这是一个用于通过观察数据推断因果关系的工具包,除了传统的数值和分类变量外,还包括文本。Causal NLP使用Meta学习器进行治疗效果估计,并支持使用原始文本及其语言属性作为治疗,结果或“受控”变量(例如,混杂物)。该库是开源的,可在https://github.com/amaiya/causalnlp上获得。
2022-05-03 cs.CL cs.LG
Language Models as Models of Language
Macquarie University(麦考瑞大学)
本章批判性探讨现代语言模型对理论语言学的潜在价值,回顾实证证据表明其可习得层级句法等语言知识,指出用能力/表现区分否定其相关性为时过早,提出控制条件结合因果干预的实验可约束语言习得假说,呼吁跨学科合作以推动语言天赋论辩论。
2024-08-13 cs.CL
IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
IIIT Hyderabad(海德拉巴印度理工学院);University of Bonn(波恩大学);Microsoft(微软);Inria(法国国家信息与自动化技术研究院)
本文提出多语言基准数据集IndicSentEval,通过探测分析9个多语言Transformer模型在6种印度语系语言中8项语言特性的编码能力和13种扰动下的鲁棒性,发现通用模型鲁棒性更好而特定模型编码能力更强。
2025-11-01 cs.AI cs.CL cs.LG