Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）
针对大型语言模型处理结构化知识任务时推理链缺失和实体语义理解不足的问题，提出知识图谱注入的微调框架，融合图神经网络编码的结构知识与语言模型上下文表示，通过门控机制平衡语义与知识贡献，提升了结构化推理任务的性能与稳定性。
2025-08-20 cs.CL
We Care: Multimodal Depression Detection and Knowledge Infused Mental Health Therapeutic Response Generation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出Extended D-vlog多模态数据集和基于CBT的虚拟代理，结合Mistral与TVLT模型实现抑郁检测与治疗响应生成，缓解LLM在现实心理健康应用中的风险。
2024-06-15 cs.CL
A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing Prediction of Political Polarity in Multilingual News Headlines
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Jožef Stefan International Postgraduate School（约热夫·斯泰凡国际研究生院）
本文提出一种通过翻译-检索-翻译策略注入推理性常识的语言无关学习框架，结合注意力机制与多语言预训练模型，在五种语言、超62.6K条新闻标题上显著提升了政治极性预测性能，并揭示了翻译质量对低资源语言表现的影响。
2022-12-01 cs.AI cs.CL
Stance Detection with Collaborative Role-Infused LLM-Based Agents
Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心）
针对 LLM 直接进行立场检测时知识与推理不足的问题，提出多角色协作、辩论增强的三阶段 COLA 框架，在多个数据集上达到最先进性能。
2024-04-16 cs.AI cs.CL
Reason first, then respond: Modular Generation for Knowledge-infused Dialogue
ETH Zürich（苏黎世联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
大语言模型可以产生流畅的对话，但经常会产生事实不准确的幻觉。虽然检索增强模型有助于缓解这个问题，但它们仍然面临着同时推理以提供正确知识和生成对话的困难挑战。在这项工作中，我们提出了一个模块化的模型，知识响应（K2R），将知识转化为会话代理，它将这个问题分解为两个更容易的步骤。K2R首先生成一个知识序列，给定一个对话上下文，作为一个中间步骤。在这个“推理步骤”之后，模型然后处理自己生成的知识序列以及对话上下文，以产生最终的响应。在详细的实验中，我们发现，这样的模型幻觉较少知识为基础的对话任务，并在可解释性和模块化方面的优势。特别是，它可以用来融合QA和对话系统在一起，使对话代理，以提供知识渊博的答案，或QA模型，以提供会话响应中的zero-shot设置。
2021-11-09 cs.AI cs.CL cs.LG
Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge
Baichuan Inc.（百川智能）；Peking University（北京大学）
Clover提出一种轻量级推测解码算法，通过回归连接和注意力解码器将序列知识融入并行解码，并利用增强块调整隐藏状态，从而显著提升候选token命中率与生成效率，在Baichuan模型上大幅超越Medusa。
2024-05-01 cs.AI cs.CL cs.LG
Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）
Cerberus提出自适应并行解码框架，通过门控机制动态选择解码策略，并在保持并行执行的同时引入顺序知识，实现最高2.12倍加速，在加速比和生成质量上均优于Medusa。
2024-10-17 cs.AI cs.CL
Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Nanyang Technological University（南洋理工大学）
本文提出动态认知协调解码方法，通过分析注意力图预测潜在冲突并选择解码路径，提升LLM在处理上下文内存冲突时的准确性和效率，同时构建ConflictKG基准测试集验证效果。
2026-05-12 cs.AI cs.CL
Retrieval-Constrained Decoding Reveals Underestimated Parametric Knowledge in Language Models
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）；Université Paris-Saclay, CentraleSupélec, Inria（巴黎萨克雷大学，中央理工-SUPÉLEC，Inria）
针对严格评估因答案表层形式不同而低估语言模型参数知识的问题，提出 RCD 解码策略，并通过 YAGO-QA 数据集证明其可显著提升开源 LM 的问答 F1。
2025-09-27 cs.AI cs.CL
KSAT: Knowledge-infused Self Attention Transformer -- Integrating Multiple Domain-Specific Contexts
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
提出知识注入的自注意力Transformer（KSAT），通过专用自注意力层引入外部知识引导偏置，实现多领域上下文整合，在可解释性和性能上均优于微调基线。
2023-06-24 cs.AI cs.CL
DeepEdit: Knowledge Editing as Decoding with Constraints
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California Davis（加利福尼亚大学戴维斯分校）
针对大语言模型多步推理中知识编辑的挑战，提出基于深度优先搜索的约束解码框架DEEPEDIT，并构建两个新基准，显著提升推理连贯性与编辑效果。
2024-11-09 cs.AI cs.CL
Neuro-Symbolic Procedural Planning with Commonsense Prompting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
程序计划旨在通过分解成顺序的简单低级别步骤来实现复杂的高级别目标。尽管过程规划是人类日常生活中的一项基本技能，但对于缺乏对过程中因果关系的深刻理解的大语言模型（LLM）来说，它仍然是一个挑战。先前的方法需要手动样本来从zero-shot设置中的LLM获取程序规划知识。然而，LLM中的这种引发的预训练知识会导致目标和步骤之间的虚假相关性，从而损害模型对看不见的任务的泛化。相比之下，本文提出了一种神经符号程序规划器（ESTA），从常识注入提示LLM的程序规划知识。为了减轻虚假的目标步骤的相关性，我们使用符号程序执行器的潜在的程序表示形式化提示从常识知识库的因果干预结构因果模型。WikiHow和RobotHow上的自动和人工评估都显示了在没有进一步培训或手动范例的情况下，机器人程序规划的优越性。
2023-02-16 cs.AI cs.CL cs.LG
MOHONE: Modeling Higher Order Network Effects in KnowledgeGraphs via Network Infused Embeddings
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
许多知识图谱嵌入方法对三元组进行操作，因此隐含地受到整个知识图谱的非常局部的视图的限制。我们提出了一个新的框架MOHONE有效地建模知识图中的高阶网络效应，从而使人们能够捕捉不同程度的网络连接（从本地到全球）。我们的框架是通用的，明确地模拟网络规模，并捕捉网络中相似性的两个不同方面：（a）共享的局部邻域和（b）基于角色的结构相似性。首先，我们介绍了学习网络表示的知识图谱捕捉这些不同方面的相似性的实体的方法。然后，我们提出了一种快速，有效的方法，将这些网络表示捕获到现有的知识图谱嵌入的信息。我们表明，我们的方法一致和显着提高性能的链接预测的几种不同的知识图嵌入方法，包括TRANSE，TRANSD，DISTMULT，和复杂（至少4点或17%，在某些情况下）。
2018-11-01 cs.AI cs.CL cs.LG
BIG MOOD: Relating Transformers to Explicit Commonsense Knowledge
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们介绍了一种简单而有效的方法，集成上下文嵌入与常识图嵌入，被称为BERT注入图：匹配其他嵌入。首先，我们介绍了一种预处理方法，以提高查询知识库的速度。然后，我们开发了一种从每个知识库创建知识嵌入的方法。我们介绍了一种方法对齐两个未对齐的标记化方法之间的标记。最后，结合知识库嵌入，给出了一种BERT的上下文化方法。我们还显示BERT倾向于纠正准确性较低的问题类型。我们的模型实现了比BERT更高的准确率，我们在共享任务的官方排行榜上得分第五，在没有任何额外的语言模型预训练的情况下得分最高。
2019-10-17 cs.CL
DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
Massachusetts Institute of Technology（麻省理工学院）；Microsoft（微软公司）
针对大语言模型易产生幻觉的问题，提出无需外部知识和微调的DoLa对比层解码策略，通过对比前后层logits差异挖掘事实知识，在多类任务中显著提升模型真实性。
2024-03-11 cs.AI cs.CL cs.LG
KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs
Tsinghua University（清华大学）；Northeastern University（东北大学）
本文提出KG-Infused RAG框架，利用既有大规模知识图谱与扩散激活增强多源检索和生成，并通过偏好学习优化，在五个QA基准上显著优于普通RAG及GraphRAG等方法。
2025-10-18 cs.CL
Speculate, then Collaborate: Fusing Knowledge of Language Models during Decoding
University of Maryland, College Park（马里兰大学帕克分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对大语言模型跨领域性能受限的问题，提出无需额外训练的协作推测解码算法CoSD，通过草稿模型+决策规则调用辅助模型融合知识，提升准确率与推理效率，可跨域迁移且可解释性强。
2025-03-19 cs.AI cs.CL
CrisisKAN: Knowledge-infused and Explainable Multimodal Attention Network for Crisis Event Classification
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
本文提出CrisisKAN，一种融合Wikipedia外部知识、引导式交叉注意力与Grad-CAM可解释性的多模态危机事件分类网络，在CrisisMMD数据集上超越现有SOTA方法。
2024-01-11 cs.AI cs.CL cs.LG
Knowledge Infused Learning (K-IL): Towards Deep Incorporation of Knowledge in Deep Learning
University of South Carolina（南卡罗来纳大学）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
本文提出知识注入学习（K-IL）框架，旨在深度融合知识图谱与神经网络，以增强特征学习并推动神经符号智能系统及可解释AI的发展。
2020-02-29 cs.AI cs.CL cs.LG
GRAD: Graph-Retrieved Adaptive Decoding for Hallucination Mitigation
Applied Artificial Intelligence Initiative（应用人工智能计划）；Deakin University（德金大学）
本文提出解码时方法 GRAD，通过从检索语料构建稀疏 token 转移图并自适应融合 logits，在不重新训练的情况下缓解大语言模型幻觉，在多个问答基准上显著优于贪心解码等基线。
2025-11-05 cs.CL cs.LG
Towards Knowledge-Infused Automated Disease Diagnosis Assistant
本文提出知识注入、话语感知的双通道疾病诊断模型 KI-DDI，并构建共情医患对话语料库，证明额外症状提取与医学知识融合可显著提升诊断效果。
2024-05-18 cs.AI cs.CL
Scientific Knowledge-driven Decoding Constraints Improving the Reliability of LLMs
Nanjing University（南京大学）；Tsinghua University（清华大学）；Northeastern University（东北大学）
本文提出SciDC方法，通过整合领域知识与强约束提升LLM在科学任务中的可靠性，实验显示在工业配方设计、肿瘤诊断和逆合成规划中平均准确率提升12%。
2026-04-08 cs.AI cs.CL
Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Amazon（亚马逊）
本文提出一种在推理时结合对比解码与对抗性不相关段落负样本的方法，以增强大语言模型在开放域问答中的上下文锚定能力，实验证明其优于现有方法且无需额外训练。
2024-05-04 cs.AI cs.CL
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；The University of Hong Kong（香港大学）
针对大语言模型生成时外部上下文与参数先验之间的知识冲突，提出冲突感知范式，通过动态分配先验与上下文的权重，并设计自适应机制解决不同冲突状态下的不对称问题。
2026-06-09 cs.AI cs.CL
Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）
研究探索混合专家模型中基于专家感知的对比解码以减轻大语言模型幻觉问题。提出EAACD方法，利用MoE高层专家差异，将专家分组对比校准预测，放大低可靠性专家幻觉提供负面参考，在四个数据集上优于所有基线。
2026-07-24 cs.AI cs.CL
Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Beijing Wispirit Technology（北京智语科技）；Xuanwu Hospital（宣武医院）；Tsinghua University（清华大学）
本文提出无需训练的跨层熵增强解码方法END，通过逐词量化跨层概率变化来优先选择事实性更高的词，从而在保持问答准确率的同时显著缓解大语言模型的幻觉问题。
2025-02-05 cs.AI cs.CL
Experience and Evidence are the eyes of an excellent summarizer! Towards Knowledge Infused Multi-modal Clinical Conversation Summarization
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；All India Institute of Medical Sciences, Rishikesh（全印医学科学学院瑞诗凯诗分院）
本文提出多模态临床对话摘要任务及知识注入的多任务框架 MM-CliConSummation，并构建带意图、症状和摘要标注的语料库，验证视觉信息、知识注入及科室识别的作用。
2023-09-27 cs.AI cs.CL
Towards Ontology-Enhanced Representation Learning for Large Language Models
IQVIA（艾昆纬）
本文提出通过注入参考本体的语言与结构知识，利用生成式LLM编译概念定义集并结合对比学习微调嵌入大模型，有效提升了其在生物医学领域内的句子相似度评估能力且不损害领域外表现。
2024-05-30 cs.AI cs.CL
Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension
Rutgers University（罗格斯大学）
本文提出 K-(CSA)^2 框架，从正确性和置信度两个维度将大语言模型知识分为六类，并揭示思维链与 RLHF 对内部和外部知识结构的改变以及知识在不同网络层中的分布规律。
2025-01-02 cs.CL
Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains
The Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出无需训练的DoG框架，通过图感知约束解码让LLM在知识图谱上生成良构事实链，从而为KGQA提供忠实可靠的推理轨迹，并在多任务、多模型上表现优异。
2024-10-24 cs.CL
CODER: Knowledge infused cross-lingual medical term embedding for term normalization
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences / Peking Union Medical College（中国医学科学院/北京协和医学院）；Cornell University（康奈尔大学）
本文提出了CODER：知识图谱上的跨语言医学术语表示的对比学习。CODER是为医学术语规范化而设计的，它为不同的术语提供了接近的向量表示，这些术语代表了具有跨语言支持的相同或相似的医学概念。我们通过在名为统一医学语言系统的医学知识图谱（KG）上进行对比学习来训练CODER，其中利用KG中的术语和关系三元组来计算相似性。关系训练将医学知识注入到嵌入中，旨在提供潜在的更好的机器学习功能。我们评估CODER在zero-shot术语规范化，语义相似性和关系分类基准，这表明CODER优于各种最先进的生物医学词嵌入，概念嵌入和上下文嵌入。我们的代码和型号可在https://github.com/GanjinZero/CODER上获得。
2021-05-18 cs.CL
Hallucination Detection in Large Language Models Using Diversion Decoding
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Carnegie Mellon University（卡内基梅隆大学）
研究大语言模型中的幻觉检测问题，提出转移解码新方法，通过在解码阶段挑战模型响应提取特征，训练机器学习模型度量不确定性，该方法计算复杂度低，优于现有方法。
2026-08-20 cs.CL cs.LG
Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对大语言模型参数知识易过时的问题，提出新型解码技术ATBias，通过偏置知识相关token的logits增强上下文编辑效果，性能提升最高达32.3%且延迟减半，可低成本广泛应用。
2024-06-18 cs.AI cs.CL
All Entities are Not Created Equal: Examining the Long Tail for Ultra-Fine Entity Typing
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文研究了预训练语言模型在超细实体类型化任务中处理长尾实体的局限性，提出新的启发法近似预训练分布，并发现依赖参数知识的方法在长尾实体上表现不佳，而融合知识的方法能部分弥补不足。
2026-09-14 cs.CL
When to Speak, When to Abstain: Contrastive Decoding with Abstention
Seoul National University（首尔国立大学）；IntelliSys；Hanyang University（翰阳大学）
针对大语言模型在缺乏相关信息时鲁棒性不足的问题，提出无需训练的带弃权机制的对比解码方法CDA，可自适应判断知识相关性并选择生成或弃权，提升模型可靠性与用户信任。
2025-05-16 cs.CL
Triples and Knowledge-Infused Embeddings for Clustering and Classification of Scientific Documents
Home Lab, Galway, Ireland（爱尔兰加里维尔家庭实验室）
本文研究三元组知识是否提升科学论文的聚类和分类性能，通过四种文档表示方法评估了四种嵌入模型，发现纯摘要表现最佳，三元组添加未必有益，结果为知识增强模型的应用提供了指导。
2026-04-20 cs.AI cs.CL cs.DL
Process Knowledge-infused Learning for Clinician-friendly Explanations
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
针对语言模型用于社交媒体心理健康评估时缺乏临床诊断流程对照、解释不友好的问题，提出过程知识注入学习PK-iL范式，叠加临床过程知识生成临床医生友好型解释，实验验证其一致性优于现有XAI方法，并发布自杀倾向评估新数据集。
2023-06-16 cs.AI cs.CL
SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models
Duke University（杜克大学）；Google Research（谷歌研究）
针对大型语言模型输出的事实错误问题，提出无需外部知识库或微调的SLED解码框架，通过对比不同层对数概率并利用近似梯度引导自我优化，在多模型基准上提升事实准确性且保持流畅性与低延迟。
2025-08-19 cs.AI cs.CL stat.ML
Process Knowledge-Infused AI: Towards User-level Explainability, Interpretability, and Safety
AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
人工智能系统已被广泛应用于现实世界的各个领域。然而，在高价值、敏感或安全关键的应用中，例如用于个性化健康的自我管理或具有特定目的的食物推荐（例如，过敏意识食谱建议），它们的采用是不太可能的。首先，人工智能系统需要遵循专家制定的指导方针或明确定义的流程;仅凭数据是不够的。例如，为了诊断抑郁症的严重程度，精神卫生保健提供者使用患者健康问卷（PHQ-9）。因此，如果人工智能系统用于诊断，则需要使用PHQ-9所暗示的医疗指南。同样，营养学家的知识和步骤也需要用于指导糖尿病患者制定食物计划的人工智能系统。其次，当前许多人工智能系统典型的黑盒性质将无法工作;人工智能系统的用户需要能够给出用户可理解的解释，解释使用人类可以理解和熟悉的概念构建。这是激发对AI系统的信心和信任的关键。对于这样的应用程序，除了数据和领域知识之外，人工智能系统还需要访问和使用流程知识，这是人工智能系统需要使用或遵守的一组有序步骤。
2022-06-09 cs.AI cs.CL
AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
提出AdaCAD自适应解码方法，通过Jensen-Shannon散度动态推断调整权重以平衡LLM上下文与参数知识冲突，显著提升QA准确率和摘要事实性。
2025-04-28 cs.CL
Entropy-Based Decoding for Retrieval-Augmented Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；Tsinghua University（清华大学）
针对检索增强 LLM 易受内外部噪声干扰的问题，提出免训练的基于熵的文档并行集成与对比解码方法，提升可靠外部信息利用，并在开放域问答上验证优越性。
2025-02-17 cs.CL
CoCoA: Confidence and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large Language Models
Microsoft（微软）
本文提出CoCoA，一种置信度与上下文感知的自适应解码算法，通过熵差、上下文峰值度和广义散度解决大语言模型的知识冲突，在问答、摘要和长文本问答任务上显著超越AdaCAD等基线，提升准确率与事实性。
2025-08-27 cs.CL
Two eyes, Two views, and finally, One summary! Towards Multi-modal Multi-tasking Knowledge-Infused Medical Dialogue Summarization
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Clinical AI Assistance（临床人工智能辅助机构）
提出MMK-Summation模型，通过多模态多任务知识注入同时生成医疗关注、医生印象及整体摘要，超越多个基线，验证了知识引导的多任务多模态医疗对话摘要的有效性。
2024-07-21 cs.CL
Unlocking Latent Discourse Translation in LLMs Through Quality-Aware Decoding
University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
本研究针对大语言模型在篇章翻译中的不足，提出质量感知解码方法以提取模型内嵌的篇章知识，实验证明该方法优于其他解码方式，并能提升翻译的语义丰富度和人类偏好一致性。
2025-10-08 cs.CL
Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning
Georgia State University（佐治亚州立大学）；Adobe MDSR；Wright State University（怀特州立大学）；California Polytechnic State University（加州州立大学帕克校区）
本研究引入知识图谱的外部常识知识，结合紧凑型视觉语言模型增强多模态数据表征，以提升众筹活动成功预测性能，验证了跨模态上下文一致性对众筹成功的重要性。
2024-11-17 cs.AI cs.CL cs.CV
FlowBench: Revisiting and Benchmarking Workflow-Guided Planning for LLM-based Agents
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对LLM智能体在专业任务中易出现规划幻觉、现有工作流知识缺乏形式化与统一基准的问题，本文提出首个工作流引导规划基准FlowBench，涵盖6领域51种场景，设计多层级评估框架，发现当前LLM智能体规划能力仍有较大提升空间。
2024-06-21 cs.CL
"Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
由于大力宣传使用大麻对改善心理健康的好处，大麻合法化是立法者的优先事项。然而，初步的科学研究并没有最终将大麻与改善心理健康联系起来。在这项研究中，我们探讨了抑郁症和大麻消费之间的关系，在一个有针对性的社交媒体语料库中，涉及个人使用大麻，目的是获得其潜在的心理健康益处。我们使用的推文包含领域专家注释的三个类别之间的关联-原因，效果和成瘾。最先进的自然语言处理技术在提取大麻短语和抑郁指标之间的这些关系方面存在不足。我们试图通过使用领域知识来解决这一限制;具体来说，药物滥用本体论与精神疾病诊断和统计手册的心理健康词汇增强成瘾。由于领域专家的时间有限而缺乏注释，我们使用监督对比学习结合在大量语料库上训练的GPT-3，即使在监督有限的情况下也能提高性能。实验结果表明，我们的方法可以显着提取大麻抑郁症的关系比最先进的关系提取器。可以使用最近邻方法提供高质量的注释，该方法使用可被科学界用来更好地理解大麻与抑郁症之间的关联的学习表示。
2021-02-01 cs.AI cs.CL
Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts
University of Chinese Academy of Sciences（中国科学院大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
针对大语言模型知识易过时、上下文编辑受顽固知识限制的问题，提出知识对比解码方法DeCK，通过对比编辑前后知识的logits生成token分布，显著提升模型对编辑事实的置信度，强化知识编辑效果。
2024-05-21 cs.CL
ConceptNet infused DialoGPT for Underlying Commonsense Understanding and Reasoning in Dialogue Response Generation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）
预先训练的会话模型仍然无法捕获隐藏在对话交互中的隐含常识（CS）知识，即使它们是用巨大的数据集预先训练的。为了构建具有CS能力的对话代理，我们首先将外部知识注入到预先训练好的对话模型中，通过高效的适配器调优建立基本常识（第4节）。其次，我们提出了“双向学习”的方法，使CS知识和句子对之间的双向关系，使模型可以生成一个句子给定的CS三元组，也生成潜在的CS知识给定一个句子（第5节）。最后，我们利用这种集成的CS功能来提高开放域对话响应生成，使对话代理能够理解隐藏在对话历史中的CS知识，并推断相关的其他知识，以进一步指导响应生成（第6节）。实验结果表明，CS适配器融合有助于DialoGPT生成系列CS知识。从CommonGen训练中改编的DialoGPT+CS\_Adapter响应模型可以生成更适合对话上下文的底层CS三元组。
2022-09-29 cs.CL
Precision Empowers, Excess Distracts: Visual Question Answering With Dynamically Infused Knowledge In Language Models
Indian Institute of Science（印度科学学院）
本文面向KBVQA，在OFA中利用动态三元组抽取按问题需求注入知识图谱上下文，实验显示其在三个数据集上平均Exact Match提升4.75%，并具备良好泛化性。
2024-06-14 cs.CL
Knowledge-Infused Self Attention Transformers
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一种模块化框架，系统地将外部知识注入变换器的自注意力、编码器层等组件，并在GLUE基准上实验验证，以缓解幻觉和对齐问题。
2023-06-23 cs.CL
AMBEDKAR-A Multi-level Bias Elimination through a Decoding Approach with Knowledge Augmentation for Robust Constitutional Alignment of Language Models
Indian Institute of Information Technology, Kalyani（印度信息技术学院，卡里尼）；BITS Pilani Goa（比尔·斯图尔特学院，果阿）；IIT Madras（马德拉斯理工学院）；DTU（达丁理工大学）；Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Meta AI；Amazon GenAI（亚马逊生成人工智能）
针对印度语境下LLM存在的种姓、宗教偏见问题，提出AMBEDKAR框架，通过仅在推理阶段运行的宪法感知解码层与角色反转的推测解码机制，在不改动模型参数的情况下最高降低26.41%的偏见。
2025-09-02 cs.CL
Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
New York University（纽约大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Parma（帕尔马大学）；Duke University（杜克大学）
在本文中，我们使用强化学习来寻找有效的二进制线性码的译码策略。我们首先回顾了几种迭代解码算法，这些算法在每个步骤中都涉及决策过程，包括位翻转（BF）解码，残差置信传播和锚解码。然后，我们说明了如何将这些算法映射到马尔可夫决策过程，允许数据驱动的学习最佳决策策略，而不是基于直觉或直觉的决策。作为一个案例研究，我们认为BF解码的二进制对称和加性高斯白噪声信道。我们的研究结果表明，学习BF解码器可以提供一系列的性能复杂度权衡考虑Reed-Muller和BCH码，并在某些情况下实现接近最佳的性能。我们还展示了学习收敛速度时，偏向正确的解码决策的学习过程，而不是只依赖于随机探索和过去的知识。
2019-08-21 cs.AI cs.IT cs.LG
Synthesizing Instruction-Tuning Datasets with Contrastive Decoding
Department of Computer Science, School of Computing, Institute of Science Tokyo（东京科学大学计算机科学系）；National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院）；Research and Development Center for Large Language Models, NII（大型语言模型研究与开发中心，日本信息产业技术综合研究所）
本文提出CoDIT方法，通过对比解码分离预训练知识与指令遵循能力，提升指令微调效果。实验表明基于CoDIT构建的数据集在多个基准上表现更优。
2026-08-27 cs.CL
