Head-Specific Intervention Can Induce Misaligned AI Coordination in Large Language Models
University of Strathclyde(斯特拉思克莱德大学)
该研究提出通过特定注意力头的细粒度干预诱导大语言模型产生未对齐的AI协同,证明其比全层干预或监督微调更有效,还能阻止越狱攻击,为模型行为引导提供新方法。
2025-08-25 cs.AI cs.CL
Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems
Research Institute of Criminal Psychiatry / Sex Offender Medical Center(犯罪精神病研究所以及性犯罪医疗中心);Department of Neuropsychiatry, Kyoto University(京都大学神经精神病学系)
本研究发现,在不同语言的LLM多智能体系统中,对齐干预可能导致安全措施的逆转,揭示了语言空间对对齐效果的决定性影响。
2026-03-05 cs.AI cs.CL
Whispering Experts: Neural Interventions for Toxicity Mitigation in Language Models
Apple(苹果公司);KU Leuven(鲁汶大学)
本文提出AUROC适应(AurA)干预方法,通过按神经元区分有毒内容的能力成比例降低其激活水平,有效缓解大型语言模型的毒性,同时保持常识零样本能力,并可与预提示策略结合增强效果。
2024-07-02 cs.AI cs.CL
Can Large Language Models Help Experimental Design for Causal Discovery?
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));MBZUAI(穆罕默德·本·扎耶德人工智能大学);Hong Kong Baptist University(香港浸会大学);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
针对因果发现中干预目标选择因初始数据有限导致数值方法效果不佳的问题,提出结合大型语言模型世界知识的LeGIT框架以增强现有数值方法,在4个基准上显著提升性能并超越人类。
2025-03-04 cs.AI cs.LG stat.ME
Triggering Chain-of-Thought via Latent Feature Interventions in Large Language Models
University of Virginia(弗吉尼亚大学)
研究发现大型语言模型中的推理能力由潜在内部激活支持,通过引导特定潜在特征可提升性能,CoT提示并非唯一触发方式。
2026-09-01 cs.AI cs.CL
CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models
Department of Informatics, Universität Hamburg(汉堡大学信息学院);The University of Sydney(悉尼大学);Alibaba International Digital Commerce(阿里巴巴国际数字商业);Institute of Psychology, Chinese Academy of Sciences(中国科学院心理研究所)
本研究从认知视角分析LLM表征,提出CogSteer框架,通过启发式选择最优引导层进行选择性层干预和隐式层对比干预,在多项任务和模型上有效提升了模型引导的效率、安全性与可解释性。
2025-05-31 cs.AI cs.CL
CausalDetox: Causal Head Selection and Intervention for Language Model Detoxification
Department of Computer Science(计算机科学系)
本文提出CausalDetox框架,通过因果分析识别并干预导致有毒生成的特定注意力头,利用PNS方法隔离必要且充分的头部,结合局部推理干预和PNS引导微调策略,有效提升去毒效果并保持语言流畅性。
2026-04-16 cs.AI cs.CL
Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions
Carnegie Mellon University(卡内基梅隆大学)
针对预训练语言模型传播性别偏见且重新训练成本高的问题,本文提出仅用10个去偏样本进行微调的少样本数据干预方法,在尽量保持语言建模能力的同时取得优于现有基线的去偏效果。
2023-06-07 cs.CL cs.LG
Enhanced Language Model Truthfulness with Learnable Intervention and Uncertainty Expression
University of Michigan(密歇根大学)
本文提出可学习干预方法LITO,通过自动调整每个查询上下文的最优干预强度并引入不确定性表达下的拒绝回答机制,在保持任务准确率的同时提升大语言模型的真实性。
2024-06-07 cs.CL
Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
University at Buffalo(布法罗大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对科学文献中干预措施人工识别效率低易疏漏的问题,提出融合渐进式本体提示算法与双LLM智能体的自动化框架,在言语-语言病理领域语料上效果优于基线,构建了公开干预知识库。
2025-05-20 cs.AI cs.CL
VCounselor: A Psychological Intervention Chat Agent Based on a Knowledge-Enhanced Large Language Model
Kunming University of Science and Technology(昆明理工大学)
本研究提出基于知识增强大型语言模型的心理干预聊天智能体VCounselor,通过引入情感交互结构和知识增强结构,有效解决了ChatGPT等模型在心理干预领域的局限性,显著提升了干预的有效性与可信度。
2024-03-20 cs.AI cs.HC
Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Monash University(莫纳什大学)
本文提出推理时跨语言干预框架INCLINE,通过最小二乘优化学习对齐矩阵,在推理时将低性能语言表示转换至高性能语言空间,无需预训练或微调,在九个基准上显著提升多语言性能且极具成本效益。
2024-10-16 cs.CL
Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models
Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心);Harbin Institute of Technology(哈尔滨工业大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出信息增益引导的因果干预去偏框架(ICD),通过因果干预重写数据以消除指令微调数据集偏差,提升LLM的泛化能力。
2025-05-27 cs.AI cs.CL
A Causal View of Entity Bias in (Large) Language Models
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校);University of California, Davis(加州大学戴维斯分校)
本文提出一种参数更易估计的结构化因果模型及因果干预方法,通过邻近实体扰动缓解白盒和黑盒语言模型中的实体偏差,并在关系抽取和机器阅读理解任务上取得显著提升。
2023-10-26 cs.AI cs.CL cs.LG
Eliminating the Language Bias for Visual Question Answering with fine-grained Causal Intervention
Beijing University of Posts and Telecommunications(北京邮电大学)
针对VQA中现有方法忽视细粒度信息导致无法充分捕捉语言偏差的问题,提出CIBi因果干预方案,将偏差分为上下文和关键词两类,结合对比学习与反事实生成分别消除,提升了多模态表征与模型性能。
2024-10-14 cs.AI cs.CV
Toward Controlling Biology with Language: Offline Learning of Prompt-Conditioned Interventions for Cells, Organoids, and Biobots
University of Vermont(佛蒙特大学);Tufts University(塔夫茨大学);Allen Discovery Center(艾伦发现中心)
本研究证明,利用视觉语言模型的判断作为唯一奖励,可离线学习将自然语言指令映射到生物干预的接口,并在异种机器人上实现80%的保留准确率。
2026-11-10 cs.AI cs.CV cs.NE
CALLM: Understanding Cancer Survivors' Emotions and Intervention Opportunities via Mobile Diaries and Context-Aware Language Models
University of Virginia(弗吉尼亚大学)
本文提出上下文感知框架CALLM,结合大语言模型与检索增强生成分析癌症幸存者的移动日记,以理解其情绪状态并预测情绪调节意愿和干预可用性,从而实现个性化即时支持。
2025-05-06 cs.AI cs.CL cs.HC
Activation-Guided Neuron Intervention to Induce Alzheimer's-Related Computational Language Phenotypes in a Large Language Model
本研究基于Qwen3-8B构建激活引导干预框架,通过缩放权重调节AD相关神经元,发现放大该神经元会导致多认知域功能损伤,减弱则多保留性能,为AD计算表型提供了概念验证。
2026-08-07 cs.CL
CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Central South University(中南大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对大视觉语言模型多语言对象幻觉问题,提出近免训练的CLAIM方法,通过对齐跨语言注意力模式缓解幻觉,在多基准上取得显著提升,并发现中间层对多语言场景至关重要。
2025-06-03 cs.AI cs.CL cs.CV
From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models
McGill University(麦吉尔大学);Dalian University of Technology(大连理工大学)
本研究针对语言模型的语境夹带问题,发现其机制存在跨关系共享的注意力头,提出用异构攻击提示揭示共享干预目标,可减少有害复制并保留模型常规能力。
2026-10-14 cs.AI cs.CL
Controlling Equational Reasoning in Large Language Models with Prompt Interventions
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);National Biomarker Centre(国家生物标志物中心);CRUK-MI(英国癌症研究中心曼彻斯特研究所)
本研究提出通过符号数据生成框架实施提示干预以控制LLM数学推理幻觉,实验发现T5-Large在相关任务上可超过GPT-4少样本表现,并结合多维度评估建立干预特征与推导质量的关联,为细粒度调控模型数学能力提供可能。
2025-01-13 cs.CL math.HO
The Impact of Editorial Intervention on Detecting Native Language Traces
University of Cambridge(剑桥大学);University of Zurich(苏黎世大学)
本文研究了编辑干预对母语识别鲁棒性的影响,发现深层母语特征在轻微编辑中仍能保持,而流畅性编辑和改写会显著降低识别性能。
2026-07-23 cs.CL
Long-Tail Knowledge in Large Language Models: Taxonomy, Mechanisms, Interventions and Implications
Google(谷歌)
本文探讨了大语言模型中长尾知识的定义、机制、干预及影响,提出统一框架以理解其表现和挑战。
2026-02-18 cs.AI cs.CL cs.CY
RealTCD: Temporal Causal Discovery from Interventional Data with Large Language Model
Alibaba Cloud(阿里云);SIGS, Tsinghua University(清华大学深圳国际研究生院);DCST, Tsinghua University(清华大学信息科学技术学院);BNRist, Tsinghua University(清华大学北京信息科学与技术国家研究中心)
针对工业场景中无干预目标且含文本信息的时序因果发现难题,提出RealTCD框架,结合基于评分的方法与LLM引导的元初始化,在模拟和真实数据上优于现有基线。
2024-05-26 cs.AI cs.LG stat.ME
SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention
Arizona State University(亚利桑那州立大学);NC State University(北卡罗来纳州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
SCALE通过大语言模型代理和人工干预,实现了社会科学中复杂内容分析的高效模拟与提升。
2025-07-06 cs.AI cs.CL cs.MA
The Shape of Beliefs: Geometry, Dynamics, and Interventions along Representation Manifolds of Language Models' Posteriors
研究揭示了语言模型中信念的几何结构,通过干预展示了如何在流形上保持信念的一致性,表明LLMs中自然涌现出复杂结构。
2026-02-02 cs.CL
CIVeX: Causal Intervention Verification for Language Agents
The Tesseract Academy(泰塞克特学院)
CIVeX通过结构因果查询验证语言代理的干预行动,解决因果效应识别问题,实验显示其在对抗性混淆下具有高准确性和可靠性。
2026-05-09 cs.AI cs.LG
Non-Linear Inference Time Intervention: Improving LLM Truthfulness
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
本文提出非线性推理时干预方法 NL-ITI,通过非线性多 token 探测与干预改进 LLM 真实性,在 TruthfulQA 上较基线 ITI 提升超 16% 相对 MC1。
2024-06-06 cs.CL cs.LG
LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models
Purdue University(普渡大学);The Chinese University of Hong Kong(香港中文大学)
针对LLMs去偏中公平性与流畅性的权衡问题,本文从信息论角度提出LIDAO框架,以可证明的更好流畅性实现去偏,并在对抗场景下增强鲁棒性。
2024-06-01 cs.CL cs.LG
Leveraging Language Models and Bandit Algorithms to Drive Adoption of Battery-Electric Vehicles
Toyota Research Institute(丰田研究院)
本研究结合大语言模型与上下文老虎机算法,开发针对用户价值观的个性化电池电动汽车推广对话干预方案,通过大语言模型模拟用户离线训练算法,验证了其相比无靶向干预的大语言模型说服效果更优。
2024-10-30 cs.CL
Some Emotions Run Deeper: Layer-wise Probing and Causal Intervention in Large Language Models
Université Sorbonne Paris Nord(巴黎北大学);CNRS(法国国家科学研究中心);LORIA(洛里亚实验室);Université de Lorraine(洛林大学)
该研究针对三类情感表达数据集与八款开源大模型,结合分层探测等方法发现情感探测层随语料库偏移,干预选定频段可显著降准,选定频段可跨数据集迁移,早出口表示性能优于全深度出口。
2026-09-02 cs.AI cs.CL
Giving Simulated Cells a Voice: Evolving Prompt-to-Intervention Models for Cellular Control
University of Vermont(佛罗里达大学);Tufts University(塔夫茨大学)
针对引导生物系统至期望状态的挑战,本研究提出结合大型语言模型与可进化神经控制器的P2I模型,实现自然语言提示转空间矢量场引导模拟细胞群体,为自然语言驱动细胞控制奠定基础。
2025-05-05 cs.AI cs.NE cs.RO
Truth Forest: Toward Multi-Scale Truthfulness in Large Language Models through Intervention without Tuning
Beihang University(北京航空航天大学);Tencent Inc.(腾讯公司);University of Macau(澳门大学)
本文提出无需微调的 Truth Forest,利用多维正交探针和 Random Peek 干预 LLM 内部真实性表征,显著提升 Llama-2-7B 及微调模型在 TruthfulQA 上的真实性。
2024-01-14 cs.AI cs.CL
From Observation to Intervention: Memory in Brains and Large Language Models
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);The University of Tennessee Health Science Center(田纳西大学健康科学中心)
该研究对比大脑与LLMs的记忆系统,提出可利用LLMs在实验访问上的优势,将记忆相关功能问题转化为更精准的生物学假设,核心是转移实验逻辑而非解剖结构。
2026-08-14 cs.AI cs.CL q-bio.NC
Inference-Time Intervention in Large Language Models for Reliable Requirement Verification
University of Strathclyde(思克莱德大学);International Space University(国际空间大学)
本文提出在推理时修改少量注意力头并结合自洽性,使 LLM 能基于 Capella SysML 图表示可靠验证空间任务需求,测试集精确率达到完美。
2025-03-18 cs.AI cs.SE
A mechanistic study of language model introspection
Shandong University(山东大学);Tsinghua University(清华大学);Northeastern University(东北大学);The University of Hong Kong(香港大学)
本研究通过受控任务揭示LLM内省机制:中间层门控头决定是否报告内部扰动,后层路由头定位位置,且概念定位准确性影响报告精度。
2026-09-29 cs.AI cs.CL
SPREG: Structured Plan Repair with Entropy-Guided Test-Time Intervention for Large Language Model Reasoning
Meituan(美团)
SPREG通过熵引导的测试时干预,解决大语言模型在长链推理中的逻辑幻觉和随机漂移问题,通过动态修复机制提升推理准确性。
2026-04-20 cs.AI
Enhancing Adaptive Behavioral Interventions with LLM Inference from Participant-Described States
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出利用参与者自然语言状态描述和大语言模型推理来扩展自适应行为干预的状态空间,在不牺牲数据效率的前提下提升在线策略学习性能,并通过新型身体活动干预模拟环境验证了方法的有效性。
2025-07-05 cs.AI cs.HC cs.LG
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model
Alibaba Group(阿里巴巴集团);The University of Manchester(曼彻斯特大学)
提出非侵入式参数插入方法Otter,在Transformer中插入参数以同时预测奖励信号,节省86.5%空间和98.5%时间,并兼容现有推理引擎。
2024-08-20 cs.CL
LLM-Mediated Guidance of MARL Systems
Aleph Alpha Research(Aleph Alpha研究机构);Google DeepMind(谷歌DeepMind)
本文提出利用大语言模型介导的干预,通过自然语言和规则控制器提升多智能体强化学习系统的训练效率和性能。
2026-02-11 cs.AI cs.CL cs.MA
Understanding the Impact of Long-Term Memory on Self-Disclosure with Large Language Model-Driven Chatbots for Public Health Intervention
University of California, Irvine(加州大学欧文分校);NAVER Cloud(NAVER 云);NAVER AI Lab(NAVER 人工智能实验室)
本研究探讨了长期记忆(LTM)对LLM驱动的公共健康聊天机器人自我披露的影响,通过分析CareCall的通话记录与用户访谈,发现LTM能增强健康披露但也面临慢性病和隐私挑战,为LTM整合提供了设计考量。
2024-02-17 cs.AI cs.CL cs.HC
Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
本文研究人机协作下的LLM文本数据生成,发现logit抑制和温度采样能提升多样性但降低准确性,而标签替换可显著提高模型准确率,范围外过滤效果有限。
2023-06-07 cs.CL
The Last JITAI? Exploring Large Language Models for Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Conceptual Cardiac Rehabilitation Setting
Ludwig Boltzmann Institute for Digital Health and Prevention(路德维希·玻尔兹曼数字健康与预防研究所);Paris-Lodron-University of Salzburg(萨尔茨堡巴黎洛顿大学);AIT Austrian Institute of Technology GmbH(奥地利技术研究院);University of Southern Denmark(南丹麦大学);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Salzburg Research Forschungsgesellschaft(萨尔茨堡研究公司);LMU Munich(慕尼黑大学);University Institute for Sports Medicine, Prevention and Rehabilitation(体育医学、预防与康复大学研究所);Paracelsus Medical University(帕拉塞尔苏斯医科大学);Newcastle University(纽卡斯尔大学)
本研究探索用大语言模型GPT-4生成即时自适应干预,在心脏康复场景中优于人类专家,证明生成式AI可提升个性化健康干预的效能。
2025-02-26 cs.AI cs.HC
TruthPrInt: Mitigating Large Vision-Language Models Object Hallucination Via Latent Truthful-Guided Pre-Intervention
Drexel University(德雷塞尔大学);University of Electronic Science and Technology of China(电子科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));LLNL(劳伦斯利弗莫尔国家实验室);Lehigh University(莱斯大学)
TruthPrInt通过学习真相方向并引导解码过程,有效缓解大视觉-语言模型中的对象幻觉问题。
2026-02-08 cs.AI cs.CL cs.CV
V-ITI: Mitigating Hallucinations in Multimodal Large Language Models via Visual Inference-Time Intervention
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Baidu Inc.(百度公司)
V-ITI通过视觉推理时间干预框架,有效缓解多模态大语言模型中的视觉相关幻觉问题,同时保持任务性能。
2025-12-03 cs.AI cs.CV
Estimating Causal Effects of Text Interventions Leveraging LLMs
本文提出CausalDANN方法,通过大语言模型处理复杂文本数据,解决传统因果推断方法在高维文本数据中的不足,实现对文本干预效果的稳健估计。
2026-03-14 cs.AI cs.CL
Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models
Alibaba Cloud Computing(阿里巴巴云计算);College of Software, Zhejiang University(浙江大学软件学院);Zhejiang University of Technology(浙江工业大学)
本文研究少样本 CoT 示范中局部 token 干扰 LLM 推理的问题,通过动态追踪注意力机制提出 FAI,识别并调整误导性 token 的注意力权重,在多个基准上取得稳定提升。
2025-03-14 cs.AI cs.CL
Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning
Yale University(耶鲁大学)
提出一种对连续变量进行因果干预的方法,通过定位低维方向并编辑向量实现反事实目标值,应用于动词偏向特征,证明其在语言模型中的因果表示,并探讨与上下文学习的关系。
2026-05-28 cs.CL
In-Distribution Steering: Balancing Control and Coherence in Language Model Generation
针对现有激活引导方法固定强度导致控制不足或文本质量下降的问题,提出分布内引导(IDS)方法,根据输入在表示空间中的分布动态调整干预强度,实现自适应干预,在分类任务上取得高准确率并保持生成文本连贯性。
2025-10-15 cs.CL
Activation Space Interventions Can Be Transferred Between Large Language Models
Nvidia;Singapore University of Technology and Design(新加坡技术与设计大学)
本文提出通过激活空间映射在不同大语言模型间迁移安全干预,涵盖后门移除、有害提示拒绝和受损能力任务,并证明小模型可高效对齐大模型,自编码器映射可作为轻量级安全开关。
2025-09-19 cs.AI
Large Language Model Agents for Improving Engagement with Behavior Change Interventions: Application to Digital Mindfulness
University of Toronto(多伦多大学);Northwestern University(西北大学)
本研究通过两项随机实验验证了大型语言模型智能体(特别是提供信息型)能有效提升用户对数字正念练习的参与度,从而弥补数字健康干预中的社会支持缺口。
2024-07-03 cs.AI cs.CY cs.HC
Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Shanghai Advanced Research Institute, Chinese Academy of Sciences(上海先进研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出PTI方法,在预填充阶段干预KV缓存以减少幻觉,通过模态感知方向修正错误表示,提升模型可靠性。
2026-04-28 cs.AI cs.CV
MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Intervention
Tsinghua University(清华大学);University of Washington(华盛顿大学);Beijing University of Posts and Telecommunications(北京邮电大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 MindShift,利用 LLM 结合用户实时行为、情境与心理状态生成个性化说服内容,实验证明其能提升干预接受率并减少手机使用。
2024-02-28 cs.AI cs.CL cs.HC