ConInstruct: Evaluating Large Language Models on Conflict Detection and Resolution in Instructions
该研究针对现有LLMs指令遵循评估忽略冲突约束场景的问题,提出ConInstruct基准以评估LLMs的冲突检测与解决能力,实验发现专有LLMs冲突检测能力强但很少主动通知用户冲突,为LLMs改进提供方向。
2025-11-19 cs.CL
ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM
Institute of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出首个系统评估LLM知识冲突的综合基准ConflictBank,从检索知识冲突、模型内部知识冲突及两者交互三个维度,构建超745万声明-证据对,揭示了模型规模与冲突类型对幻觉的影响。
2024-08-22 cs.AI cs.CL
Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);The Ohio State University(俄亥俄州立大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文首次系统研究了大型语言模型在外部证据与参数记忆冲突时的行为,发现LLMs既能接受连贯有说服力的冲突证据,也会因部分一致信息而表现出确认偏误,为工具增强LLMs的开发提供了重要启示。
2024-02-27 cs.AI cs.CL
Investigating Tool-Memory Conflicts in Tool-Augmented LLMs
University of Massachusetts Lowell(马萨诸塞大学洛约拉分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出工具-记忆冲突的概念,发现现有LLMs在STEM任务中存在该问题,并评估了现有解决方法的不足。
2026-01-14 cs.AI cs.SE
Exploring Knowledge Conflicts for Faithful LLM Reasoning: Benchmark and Method
School of Computer Science and Technology, Xi'an Jiaotong University(西安交通大学计算机科学与技术学院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Hunan University(湖南大学);National University of Singapore(新加坡国立大学)
本文提出ConflictQA基准,揭示LLM在处理跨源知识冲突时的不足,并提出XoT框架以提升异构冲突证据推理的可靠性。
2026-04-13 cs.AI cs.CL
ECon: On the Detection and Resolution of Evidence Conflicts
The Hong Kong University of Science and Technology(香港科技大学);Westlake University(西湖大学);Shanghai Jiaotong University(上海交通大学);Amazon AWS AI(亚马逊AWS人工智能)
本研究针对大语言模型兴起带来的证据间冲突问题,提出ECon方法生成多样化经验证的证据冲突以模拟现实场景,评估了NLI、FC模型及LLM的冲突检测效果,分析了LLM的冲突消解行为并得出多项关键发现。
2024-10-05 cs.AI cs.CL
Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs
Singapore University of Technology and Design(新加坡科技设计大学);University of Cambridge(剑桥大学)
本研究首次系统评估了检索增强大语言模型在冲突证据下的事实核查性能,构建了CONFACT数据集,并证明整合来源可信度能显著提升模型解决冲突和核查事实的能力。
2025-05-23 cs.CL cs.IR
Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models
Tsinghua University(清华大学)
本文构建KNOT数据集,将冲突知识推理分为直接提取、显式推理和隐式推理三个层次,并通过大量实验为大语言模型在复杂情境下解决知识冲突提供经验性指导。
2024-04-04 cs.CL
Large Language Models are Skeptics: False Negative Problem of Input-conflicting Hallucination
Seoul National University(首尔大学);Data Science & AI Laboratory(数据科学与人工智能实验室);ASRI;INMC;AIIS
该研究发现大语言模型存在假阴性偏差(输入冲突型幻觉的一种),即评估陈述时倾向否定且过度自信,同时验证了上下文调整与查询改写可有效缓解该问题。
2024-06-20 cs.AI cs.CL cs.LG
Which Knowledge Should LLMs Trust? Uncovering a Generalizable Steering Direction Across Knowledge Conflicts
Peking University(北京大学);Southern University of Science and Technology(南方科技大学);YIXIN(亿信科技)
该研究揭示LLMs在知识冲突间存在可泛化的引导方向,沿此方向引导可提升模型对外部提示信息的使用效果,适用于多任务族与模型族。
2026-10-15 cs.AI cs.CL
Tracking the Limits of Knowledge Propagation: How LLMs Fail at Multi-Step Reasoning with Conflicting Knowledge
EPFL(苏黎世联邦理工学院);Stony Brook University(石溪大学)
TRACK基准测试揭示了LLMs在存在冲突知识的多步骤推理中因无法有效整合更新信息而性能下降的问题。
2026-01-21 cs.AI cs.CL
Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict
Center for Language and Speech Processing, Data Science and AI Institute(语言与语音处理中心,数据科学与人工智能研究所)
研究探讨了任务类型如何影响LLM在上下文与记忆冲突中的表现,发现任务对知识的依赖和冲突合理性共同影响性能,提出任务感知方法以平衡上下文与记忆。
2026-04-19 cs.AI cs.CL
Compositional Failure in Audio-Visual LLMs: Late-Layer Prior Dominance Under Cross-modal Conflict
本研究针对AV-LLMs,以音频-视觉冲突为组合泛化测试,发现模型存在先验主导的组合式失效,开展可解释性分析并验证时间对齐无法提升冲突解决能力,提供了相关代码与数据。
2026-09-23 cs.AI cs.CL
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
Peking University(北京大学);Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
针对大语言模型生成时外部上下文与参数先验之间的知识冲突,提出冲突感知范式,通过动态分配先验与上下文的权重,并设计自适应机制解决不同冲突状态下的不对称问题。
2026-06-09 cs.AI cs.CL
PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs
School of Electrical Engineering;Computer Science (SEECS), National University of Sciences
提出PRIME框架,通过生成校准冲突(响应长度、输出格式、推理)并采用确定性行为分类法,分析大语言模型处理冲突指令的行为,发现冲突类型比模型规模对行为影响更大。
2026-06-23 cs.AI
How do Large Language Models Navigate Conflicts between Honesty and Helpfulness?
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本研究利用心理模型和实验分析LLMs在诚实与有用性间的权衡,发现RLHF能同时提升两者,而CoT提示偏向有用性,GPT-4 Turbo表现出类似人类的响应模式且可通过零样本提示引导其抽象价值观。
2024-02-13 cs.AI cs.CL cs.LG
Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning
Department of Machine Learning(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
本研究探讨了大语言模型在反事实推理中整合参数知识的能力,发现其普遍挣扎并存在知识退化问题。
2026-02-03 cs.AI cs.LG
Tug-of-War within A Decade: Conflict Resolution in Vulnerability Analysis via Teacher-Guided Retrieval-Augmented Generations
Beijing Electronic Science and Technology Institute(北京电子科学技术研究所)
本文提出CRVA-TGRAG框架,通过改进检索准确性和教师引导的偏好优化,解决CVE检测中的知识冲突问题,提升漏洞检索的准确性和一致性。
2026-03-25 cs.AI cs.CL
RoleConflictBench: A Benchmark of Role Conflict Scenarios for Evaluating LLMs' Contextual Sensitivity
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出RoleConflictBench基准,通过生成13000个角色冲突场景,评估LLM在角色冲突中的上下文敏感性,发现模型更倾向于遵循角色偏好而非动态上下文线索。
2026-04-17 cs.AI cs.CL cs.CY
Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN
University of Glasgow(格拉斯哥大学);University of Strathclyde(斯特拉斯克莱德大学)
本文通过复现DYNAMICQA和MULAN的实验,揭示了时间事实冲突的解决依赖于数据集设计和模型规模,发现不同方法框架下的结果差异显著。
2026-03-16 cs.CL cs.IR
Language Bias under Conflicting Information in Multilingual LLMs
Stockholm University(斯德哥尔摩大学);RISE Research Institutes of Sweden(瑞典RISE研究机构)
本研究通过扩展“干草堆中的冲突针”范式至多语言环境,评估了不同规模的多语言大模型在回答问题时对冲突信息中不同语言的偏好,发现模型普遍存在语言偏见,尤其是对俄语的普遍偏见和对中文的偏好,且提示语言与信息语言匹配时更受青睐。
2026-06-02 cs.CL
From Evidence to Judgment: Trace-Augmented Reasoning under Conflicting Evidence
Birla Institute of Technology and Science, Pilani(皮拉尼博拉理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种增强RAG框架,通过结构化推理和冲突分析提升模型在冲突信息下的回答准确性与可解释性。
2026-11-17 cs.AI cs.CL cs.CY
QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
SqueezeBits Inc.(SqueezeBits公司)
本文提出QUICK,一组新型优化CUDA内核,通过离线交错量化权重矩阵以跳过反量化后的共享内存写回,解决了混合精度矩阵乘法的共享内存库冲突问题,在多种NVIDIA GPU上实现了最高1.91倍加速和1.94倍吞吐量提升。
2024-02-15 cs.AI cs.CL cs.LG
Who's Who: Large Language Models Meet Knowledge Conflicts in Practice
VinAI Research(VinAI研究院);Nanyang Technological University(南洋理工大学)
本文提出WhoQA基准数据集,通过同名实体属性问题诱发知识冲突,评估大语言模型在RAG场景下面对冲突信息时的表现,发现知识冲突会显著降低模型性能。
2024-10-21 cs.AI cs.CL cs.IR
Analysing the Residual Stream of Language Models Under Knowledge Conflicts
University of Edinburgh(爱丁堡大学);The Chinese University of Hong Kong(香港中文大学);Sapienza University of Rome(罗马大学);University College London(伦敦大学学院)
本文通过探测残差流发现LLMs能内部识别知识冲突,并可根据残差流模式预测模型依赖上下文知识还是参数化知识,从而在生成答案前检测冲突并防止意外输出。
2025-02-09 cs.CL
That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究将知识冲突研究拓展至代码生成领域,提出领域无关的冲突构建解读框架及适配的评估方法与数据集,实现最高80.65%的冲突检测准确率,激活层引导较随机基线最高提升12.6%的成功率。
2025-10-21 cs.AI cs.CL cs.LG
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文,发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差,并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs
该研究针对大语言模型多任务学习,通过理论与实证分析揭示SFT存在任务冲突而RL可稳定共存的机制,进而提出Parallel-RL范式以解耦多任务训练,提升效率与灵活性。
2026-08-07 cs.CL cs.LG
Are LLMs Ready for Conflict Monitoring? Empirical Evidence from West Africa
研究评估多个大语言模型在尼日利亚和喀麦隆冲突事件分类中的表现,发现普通模型有错误合法化偏差,领域适应模型有行为者选择偏差,输出对地理特定词汇框架敏感,当前模型不适用于冲突监测,呼吁针对性改进。
2026-05-05 cs.CL cs.LG
Enhancing Conflict Resolution in Language Models via Abstract Argumentation
School of Philosophy, Zhejiang University(浙江大学哲学系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);The State Key Lab of Brain-Machine Intelligence(脑机智能国家重点实验室)
针对大语言模型难以处理信息不完整/不一致引发冲突的问题,本文结合抽象论证框架构建带计算过程解释的数据集微调模型,提升了冲突解决泛化准确率与模型透明度。
2025-11-13 cs.AI
Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts
Singapore Management University(新加坡管理大学);Harbin Institute of Technology(哈尔滨工业大学);University of South China(南华大学)
本研究借鉴认知理论,通过构建基准框架探究LLMs面对冲突提示时的依赖型、直觉型及理性/非理性行为风格,并发现角色扮演干预可改变风格,为优化模型与提示提供依据。
2024-02-20 cs.CL
Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs
Indiana University Bloomington(印第安纳大学伯明顿分校)
研究大语言模型面对矛盾输入时的认知失调解决机制,提出信任弹性(TE)度量模型被说服的倾向,并发现内部不确定性指标(如置信度校准和内部不确定性变化)与行为变异相关。
2026-06-23 cs.AI
Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
Google Cloud AI Research(谷歌云人工智能研究);University of Southern California(南加州大学)
针对不完美检索导致的错误传播与知识冲突问题,提出Astute RAG方法,通过自适应提取内部知识、迭代整合内外知识并依据可靠性生成答案,显著提升了LLM在最坏情况下的鲁棒性与可信度。
2025-05-31 cs.AI cs.CL cs.LG
CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs
School of Computer Science, Shanghai Jiao Tong University, Shanghai, China(上海交通大学计算机科学学院);Shanghai KEY Laboratory of Integrated Administration Technologies for Information Security, Shanghai, China(上海信息安全集成管理技术重点实验室);School of Politics, National Defense University, Shanghai, China(国防大学政治学院)
针对复杂声明验证,提出CRAVE框架,利用LLM推理冲突理由,结合SLM法官模块,提高准确性和可解释性,实验优于现有方法。
2025-04-21 cs.CL
Poli-Bias: Understanding and Measuring Large Language Model Biases in International Political Conflicts
Technical University Munich(慕尼黑工业大学)
本研究提出细粒度反事实框架Poli-Bias,通过交换国家身份的成对提示对比响应,分解偏差维度,发现13个LLMs存在因国家身份导致的政治偏差,可用于审计LLMs的政治公正性与谄媚性。
2026-10-19 cs.AI cs.CL
Normative Conflicts and Shallow AI Alignment
Raphaël Millière
本文指出LLMs的对齐方法仅强化浅层行为倾向,缺乏规范性审慎能力,因而易受利用规范冲突的对抗攻击,并强调该浅层对齐问题对AI安全与监管的深远影响。
2025-06-05 cs.CL
Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs
本文提出基于多智能体协商的对齐框架,通过集体代理(CA)目标提升大语言模型的集体价值对齐能力,并改进冲突解决能力,实验表明其在冲突解决性能上有显著提升。
2026-04-09 cs.AI cs.CL
Overlap, Unique and Conflict: Can LLMs Extract What They Can Recognize?
University of Central Florida(中佛罗里达大学)
提出重叠-独特-冲突(OUC)跨叙述提取任务,构建约2.2万叙述对基准,评估14个开源LLM发现独特信息易提取而重叠与冲突难,微调可显著提升性能但仍有挑战。
2026-10-01 cs.CL
Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge
Nanjing University(南京大学)
本研究系统分析大语言模型对知识冲突数据的学习偏好,发现其偏好正式、拼写错误少的文本,该偏好跨模型语言通用且大模型更显著,还可通过调整数据与多数的一致性操控偏好。
2024-10-07 cs.CL
Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs
University of California, Irvine(加州大学伊文斯顿分校);TikTok Inc.(TikTok公司)
研究个性化大语言模型中显式风格指令与隐式用户偏好冲突问题,提出轻量级插件PsPLUG,它能在考虑风格后学习用户特定残差并可调整个性化强度,实验证明其能更好平衡个性化与风格遵循,保留用户偏好。
2026-09-22 cs.AI
Large Language Models in Resolving Contextual Knowledge Conflicts
Northwestern University(西北大学);New York University(纽约大学);University of Florida(佛罗里达大学)
该研究针对上下文知识内部的冲突,构建了ContextConflict数据集,分析9种LLM的冲突处理能力,揭示其偏向早期证据的偏差,并提出无训练无标签的引导方法提升冲突解决效果。
2026-09-04 cs.CL
Harsher on Male? Evaluating LLMs on Gender-Asymmetric Moral Framing Across Diverse Conflict Scenarios
University of Science and Technology of China(中国科学技术大学);Eastern Institute of Technology, Ningbo(宁波东方理工大学)
提出GAMA-Bench基准,通过性别镜像场景评估LLM对相同负面行为的回应,发现模型对男性更倾向于惩罚和责备,对女性则更强调共情和治疗。
2026-06-15 cs.CL
When Abundance Conceals Weakness: Knowledge Conflict in Multilingual Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Hangzhou Dianzi University(杭州电子科技大学)
研究提出CLEAR框架,分析多语言模型在跨语言知识冲突中的解决机制,揭示任务类型对冲突解决的影响,显示语言资源丰富度与语言亲和力在不同任务中的决定性作用。
2026-01-11 cs.CL
"Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过构建参数化知识图谱并引入多种外部干扰因素,系统研究LLMs在外部知识与参数化知识冲突时的响应行为,发现模型易受干扰并产生偏离甚至幻觉,揭示了整合外部知识的潜在风险。
2023-09-15 cs.CL
Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models
University of Bari Aldo Moro(巴里阿尔多莫罗大学)
通过探针技术分析LLM内部表示,发现幻觉激活模式不能完全归因于知识冲突,但探针可提升模型可解释性。
2026-06-07 cs.CL
Rewired or Gated? How Instruction Tuning Shapes Knowledge-Conflict Circuits in LLMs
IvLabs, VNIT(伊夫实验室,维萨拉亚国家理工学院)
本研究首次对比基础与指令微调模型的知识冲突电路,发现微调通过门控重加权而非重连电路,增强对简短反事实的拒绝,但该鲁棒性受框架限制。
2026-09-23 cs.CL cs.LG
ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs
School of Computing \& AI, Arizona State University, Tempe, AZ, USA
研究受监管行业中工具调用大语言模型智能体的安全对齐冲突,构建含128个场景的基准测试,发现安全对齐开源模型有时会违背部署指令,擦除可降低举报率,揭示多元对齐矛盾,发布基准测试框架。
2026-07-17 cs.AI cs.SE
Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering
University of Edinburgh(爱丁堡大学);The Chinese University of Hong Kong(香港中文大学);Sapienza University of Rome(罗马大学);University College London(伦敦大学学院)
本文提出免训练的表示工程方法SpARE,利用稀疏自编码器识别并编辑LLM内部激活中的知识选择功能特征,在推理时有效解决上下文-记忆知识冲突,性能超越现有表示工程和对比解码方法。
2025-02-09 cs.CL
Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
研究对比强化学习与监督微调训练的大语言模型的合并行为,经五项任务评估发现强化学习能减少任务冲突及合并后性能下降。通过实验和分析揭示三个关键因素,表明强化学习在模型合并中更具优势。
2026-07-27 cs.CL
Insight Over Sight: Exploring the Vision-Knowledge Conflicts in Multimodal LLMs
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Tencent(腾讯);Renmin University of China(中国人民大学);Johns Hopkins University(约翰霍普金斯大学)
本文研究多模态大语言模型中的常识级视觉-知识冲突问题,提出自动化框架构建含374张图像和1,122个QA对的诊断基准,评估九个代表性模型并发现约20%查询过度依赖参数知识,同时提出Focus-on-Vision提示策略以缓解冲突。
2025-05-31 cs.CL cs.CV
MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs
School of Computer Science and Engineering, Nanjing University of Science and Technology, China(计算机科学与工程学院,南京理工大学)
针对MEMIT批量编辑中同主题键值冲突导致性能下降的问题,提出MEMIT-Merge方法,通过合并共享主题的值计算过程,将编辑成功率从约50%提升至90%以上。
2025-09-09 cs.CL cs.LG
Probing the Structure and Dynamics of LLM Value Expression through Value Conflicts
East China Normal University(华东师范大学)
本研究提出冲突驱动的价值探测框架,通过干预价值冲突探究十个LLM的价值表达,发现表达二元性、功能可引导性和有限可塑性三种模式,揭示了价值表达的结构与动态边界。
2026-09-09 cs.CL
LLMs as mediators: Can they diagnose conflicts accurately?
Emory University(埃默里大学);INSEAD(欧洲工商管理学院);Kadir Has University(卡迪尔哈斯大学)
本文研究了大语言模型在诊断冲突根源方面的准确性,发现GPT 4在特定条件下对因果分歧的判断存在偏差,而GPT 3.5表现较弱。
2024-12-19 cs.CL
Towards Proactive Detection of User-Side Implicit Conflicts in Human-LLM Dialogue
University of Science and Technology Beijing(北京科技大学);University of South China(南华大学)
针对人机对话中用户侧隐性冲突检测难题,构建基准UC-Bench并提出约束引导合成方法SynUC,生成训练集UC-Data,使轻量模型Qwen3.5-4B超越更大模型。
2026-09-18 cs.CL