SFR-RAG: Towards Contextually Faithful LLMs
Salesforce AI Research(Salesforce AI研究院)
该研究提出聚焦上下文忠实生成、减少幻觉的小型指令微调模型SFR-RAG,搭配统一评估框架ContextualBench,以更少参数量在多项RAG基准上取得SOTA,且通用任务表现具竞争力。
2024-09-16 cs.AI cs.CL
MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models
Mississippi State University(密西西比州立大学)
MedInsight是一个检索增强框架,通过整合患者记录、医学教科书和网络资源的多源上下文,增强LLM生成以患者为中心的医疗响应,实验证明其有效性。
2024-03-13 cs.AI cs.CL
Knowledge-Augmented Large Language Models for Personalized Contextual Query Suggestion
KAIST(韩国科学技术院);Microsoft Research(微软研究院)
本文提出一种利用用户搜索与浏览历史构建轻量级实体知识库以增强LLM提示的方法,在上下文查询建议任务中显著提升了建议的相关性、个性化和实用性。
2024-02-19 cs.AI cs.CL cs.IR
Token Trails: Navigating Contextual Depths in Conversational AI with ChatLLM
Stevens Institute of Technology(史蒂文斯理工学院);Amazon(亚马逊公司);Khulna University(库尔纳大学);Chittagong University of Engineering and Technology(吉大港工程技术大学)
本文提出 Token Trails 框架,通过 token 类型嵌入区分用户与机器人话语以增强上下文建模,实验表明其在对话理解和回复生成上达到最先进性能。
2024-04-03 cs.AI cs.CL cs.IR
SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval
Northeastern University(东北大学);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能);Meta
本文提出SKETCH方法,通过将语义文本检索与知识图谱结合,融合结构化与非结构化数据,显著提升了RAG系统的检索性能与上下文完整性,在多个数据集的关键RAGAS指标上超越基线。
2024-12-19 cs.CL
A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Electrical and Computer Engineering(电气与计算机工程学院)
提出CRILM方法,利用预训练语言模型为表格缺失值生成上下文描述符,提升下游任务性能,在多种缺失机制下最高提升10%。
2025-03-27 cs.CL cs.LG
REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing
NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所国家信息处理实验室、人工智能研究所);Cuiying Honors College, Lanzhou University(兰州大学萃英荣誉学院);Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系);Tencent(腾讯)
针对大语言模型知识编辑中的过拟合问题,REACT通过两阶段框架(提取潜在事实表示并计算信念转移向量,再以分类器门控的可控扰动进行编辑)在EVOKE、COUNTERFACT和MQuAKE基准上显著降低过拟合,同时保持编辑的可靠性、局部性和通用性。
2025-05-25 cs.AI cs.CL
Contextual Knowledge Pursuit for Faithful Visual Synthesis
Center for Innovation in Data Engineering and Science, University of Pennsylvania(宾夕法尼亚大学数据工程与科学创新中心)
本文提出上下文知识追求(CKPT)框架,结合外部检索与LLM参数化知识,通过上下文知识追求和过滤微调,减少文本到视觉生成中的幻觉,提升图像、3D和视频合成的忠实性与语义丰富度。
2024-11-05 cs.CL cs.CV cs.LG
Continuous Adversarial Text Representation Learning for Affective Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出一种连续效价-唤醒度标注与动态令牌扰动机制,增强Transformer模型的情感嵌入,在情感分类基准上提升15.5%。
2025-02-28 cs.AI cs.CL
Large Language Models for Virtual Human Gesture Selection
Northeastern University(东北大学);University of Glasgow(格拉斯哥大学);Flawless(弗劳利斯)
本文利用 GPT-4 的语义能力提出虚拟人协同语音手势选择方法,比较不同提示策略,并在虚拟智能体系统中实现手势选择与动画自动化。
2025-03-18 cs.CL cs.HC
Reasoning in Action: MCTS-Driven Knowledge Retrieval for Large Language Models
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本文提出一种基于MCTS的知识检索方法,通过增强LLM与对话逻辑结构的对齐,提升多轮对话中的推理能力和响应多样性。
2025-11-28 cs.AI cs.CL
Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
理解叙事需要对与文本中描述的情况的原因、影响和状态相关的内隐世界知识进行推理。在这一挑战的核心是如何访问上下文相关的知识的需求和原因在it.In本文中,我们提出了初步的研究走向zero-shot常识问答,制定了动态生成的常识知识图谱的推理任务。在以往的研究中,知识整合依赖于现有的知识从静态知识图谱检索,我们的研究需要常识的知识整合,上下文相关的知识往往不存在于现有的知识库。因此,我们提出了一种新的方法,生成上下文相关的符号知识结构的需求,使用生成神经常识知识模型。两个数据集上的实证结果表明,我们的神经符号的方法动态构建知识图谱推理的有效性。我们的方法比预训练的语言模型和普通知识模型实现了显著的性能提升,同时为其预测提供了可解释的推理路径。
2020-10-30 cs.CL
Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs
Terraprompt AI(泰拉prompt人工智能公司)
本文综述信息检索技术演变,聚焦LLMs如何弥合传统搜索与答案检索的鸿沟,并展望未来方向。
2024-02-07 cs.CL cs.IR cs.LG
DuanzAI: Slang-Enhanced LLM with Prompt for Humor Understanding
School of Computer Science, Fudan University(复旦大学计算机科学学院)
DuanzAI通过精选数据集和提示技术增强大语言模型对中文俚语与幽默的理解,并开发了聊天机器人ChatDAI,实验对比了LLM与PER系统的性能。
2024-05-23 cs.CL
MemeGuard: An LLM and VLM-based Framework for Advancing Content Moderation via Meme Intervention
Indian Institute of Technology Patna(印度理工学院巴特那分校);Amazon AI(亚马逊人工智能);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出MemeGuard框架,结合微调VLM和多模态知识选择排序机制,利用LLM生成模因干预,并构建ICMM数据集验证其对有毒模因的有效回应能力。
2024-06-08 cs.CL
Generalization of Medical Large Language Models through Cross-Domain Weak Supervision
University of Padua(帕多瓦大学)
提出ICFT框架,结合课程学习、双阶段记忆协调和参数高效微调,提升医疗LLMs的生成与泛化能力,在多任务中优于基线方法。
2025-02-02 cs.CL
PerkwE_COQA: Enhanced Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models
Isfahan University of Technology(伊斯法罕理工大学)
针对大语言模型在波斯语会话式问答中难捕捉语境细节的问题,提出结合上下文关键词提取与大语言模型的PerkwE_COQA方法,性能较现有方法和纯大语言模型基线最高提升8%。
2024-04-15 cs.AI cs.CL
TreePrompt: Leveraging Hierarchical Few-Shot Example Selection for Improved English-Persian and English-German Translation
Department of Computer Science(计算机科学系);Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
针对现有少样本翻译示例选择仅重相似度、忽略示例质量的问题,提出TreePrompt分层示例选择方法,结合LLM偏好与树结构筛选优质相关示例,搭配AFSP等策略在两个翻译数据集上实现性能提升。
2025-10-04 cs.AI cs.CL
TRAWL: External Knowledge-Enhanced Recommendation with LLM Assistance
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tencent(腾讯)
本文提出TRAWL方法,利用大语言模型从外部数据提取知识,并通过对比学习适配器训练,以增强基于行为的推荐系统,实验验证了其有效性。
2024-05-24 cs.AI cs.CL cs.IR
DiffuCOMET: Contextual Commonsense Knowledge Diffusion
EPFL(洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所);Sony Group Corporation(索尼集团公司)
本文提出 DiffuCOMET 系列模型,利用扩散过程重建叙事上下文与常识知识之间的隐式语义连接,以生成兼具上下文相关性和多样性的常识推断,并在 ComFact 和 WebNLG+ 上验证其在多样性、相关性与黄金参考对齐之间取得更好权衡。
2024-10-01 cs.CL
Constraint based Knowledge Base Distillation in End-to-End Task Oriented Dialogs
IIT Delhi(印度理工学院德里分校);IBM Research(IBM研究院)
端到端面向任务的对话系统基于对话历史和伴随的知识库(KB)生成响应。推断与话语最相关的那些KB实体对于响应生成是至关重要的。现有技术通过对不相关的KB信息进行软过滤来扩展到大KB。在本文中,我们提出了一种新的过滤技术,包括(1)一个成对的相似性为基础的过滤器,识别相关的信息,尊重的n元结构的知识库记录。以及(2)辅助损失,其有助于分离上下文无关的KB信息。我们还提出了一个新的度量--多集实体F1,它解决了现有实体F1度量中的正确性问题。三个公开的面向任务的对话数据集上的实验结果表明,我们提出的方法优于现有的国家的最先进的模型。
2021-09-15 cs.CL cs.LG
Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices
Google, Inc(谷歌公司)
提出一种基于FST的CTC词格重写拼写纠错技术,直接从词片段进行G2P转换,无需重训ASR模型,在上下文实体测试集上实现15.2%的SER相对降低。
2024-09-24 cs.CL cs.SD eess.AS
Knowledge Graph Fusion for Language Model Fine-tuning
University of Witwatersrand(金山大学);University of Johannesburg(约翰内斯堡大学);Institute for Intelligent Systems(智能系统研究所)
诸如BERT之类的语言模型由于其能够进行预训练并在广泛的自然语言处理任务上稳健地执行而越来越受欢迎。通常被视为对传统词嵌入技术的进化,它们可以产生文本的语义表示,对语义相似性等任务很有用。然而,最先进的模型通常具有高的计算要求,并且缺乏完整的语言理解所需的全局上下文或领域知识。为了解决这些限制,我们调查的好处知识纳入微调阶段的BERT。现有的K-BERT模型,它丰富的句子与三胞胎从知识图谱,适用于英语语言和扩展到注入上下文相关的信息到句子。作为一个副作用,对K-BERT进行的适应英语语言的更改也扩展到其他基于单词的语言。进行的实验表明,注入的知识引入噪声。当这种噪音被最小化时,我们看到知识驱动的任务在统计上有显著的改善。我们的证据表明,适当的任务,适度注入相关的,高质量的知识是最有效的。
2022-06-21 cs.AI cs.CL cs.LG
Knowledgeable Reader: Enhancing Cloze-Style Reading Comprehension with External Commonsense Knowledge
Research Training Group AIPHES(AIPHES研究培训小组);Department of Computational Linguistics, Heidelberg University(海德堡大学计算语言学系);Heidelberg, Germany(德国海德堡)
我们引入了一个神经阅读理解模型,它整合了外部常识知识,编码为键值记忆,在完形填空风格的设置。我们的模型不像以前的工作那样只依赖于文档到问题的交互或离散特征,而是关注相关的外部知识,并在推断答案之前将这些知识与上下文表示相结合。这允许模型从文本中没有明确说明但与推断答案相关的外部知识源中吸引和暗示知识。我们的模型在硬通用名词数据集上的非常强的基线上改进了结果,使其成为更复杂模型的强有力竞争对手。通过显式地包含知识,我们的模型还可以提供有关RC过程中使用的背景知识的证据。
2018-05-21 cs.CL
Exploring the Influence of Relevant Knowledge for Natural Language Generation Interpretability
University of Alicante(阿利坎特大学)
该研究聚焦自然语言生成的常识生成任务,构建KITGI基准,通过对比完整与过滤高相关知识下T5-Large模型的生成效果,证实相关外部知识对维持生成连贯性和概念覆盖率至关重要,为可解释知识增强NLG系统设计提供依据。
2025-10-28 cs.CL
Hallucination Mitigating for Medical Report Generation
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(信息产业部模式分析与机器智能重点实验室);The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education(教育部脑机智能技术重点实验室)
KERM框架通过知识检索、净化模块和细粒度奖励,有效缓解医疗报告生成中的幻觉问题,提升报告质量。
2026-01-22 cs.CL
BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models
University of Central Florida(中佛罗里达大学);Emory University(埃默里大学);Samsung Research America(三星美国研究院)
本文提出BadRAG攻击,通过注入恶意段落至RAG知识库,在触发词出现时引导模型输出,实现拒绝服务、情感操纵等攻击,仅注入0.04%数据即可达98.2%检索成功率。
2026-09-30 cs.AI cs.CL cs.CR
Vision-Based Natural Language Scene Understanding for Autonomous Driving: An Extended Dataset and a New Model for Traffic Scene Description Generation
Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系);School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学电气与计算机工程学院)
本文提出了一种基于视觉的自然语言场景理解模型,通过扩展数据集和混合注意力机制,提升自动驾驶中交通场景描述生成的准确性和丰富性。
2026-01-20 cs.AI cs.CL cs.CV
PAIRS: Parametric-Verified Adaptive Information Retrieval and Selection for Efficient RAG
PAIRS提出无需训练的自适应检索框架,通过双路径生成判断是否检索,并结合上下文引导检索与自适应选择,在六个QA基准上降低25%检索成本并提升准确率。
2025-08-06 cs.CL
Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
知识支撑推理。最近的研究表明,当相关的知识作为额外的背景下常识问答(QA),它可以大大提高性能,即使在最先进的。根本的挑战是在哪里以及如何找到这样的知识,是高质量的和点上的问题,从知识库检索的知识是不完整的和知识产生的语言模型是不一致的。我们提出雷尼尔,或强化知识内省,学习生成上下文相关的知识,以响应给定的问题。我们的方法从模仿GPT-3生成的知识开始,然后通过强化学习学习生成自己的知识,其中奖励是根据所产生的问答的性能提高而形成的。Rainier在9个不同的常识基准测试中表现出了实质性和一致的性能提升:包括在模型训练期间看到的5个数据集,以及4个未看到的数据集。我们的工作是第一个报告,由比GPT-3小几个数量级的模型生成的知识,即使没有对知识本身的直接监督,也可以超过GPT-3所产生的常识知识的质量。
2022-10-22 cs.AI cs.CL
Generating image captions with external encyclopedic knowledge
Utrecht University(乌得勒支大学)
准确地报告图像中描绘了什么对象在很大程度上是自动字幕生成中解决的问题。在实现真正人性化字幕的道路上,下一个巨大的挑战是能够将图像的背景和相关的现实世界知识结合起来。我们通过创建一个端到端的字幕生成系统来解决这一挑战,该系统广泛使用特定于图像的字幕数据。我们的方法包括一种新的方式,使用图像位置来识别相关的开放域的事实在外部知识库,其随后的集成到字幕管道在编码和解码阶段。我们的系统在一个新的数据集上进行了训练和测试,该数据集具有自然产生的知识丰富的字幕,并在多个基线上实现了显着的改进。我们的经验表明,我们的方法是有效的生成上下文的字幕与pedic知识,这是事实上准确和相关的图像。
2022-10-10 cs.CL cs.CV
Knowledge Graph-Driven Retrieval-Augmented Generation: Integrating Deepseek-R1 with Weaviate for Advanced Chatbot Applications
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Digital Science & Research Solutions Ltd(数字科学与研究解决方案有限公司)
针对大型语言模型输出未经验证的问题,提出结合结构化生物医学知识与检索增强生成的框架,构建AMD相关知识图谱并集成Deepseek-R1与Weaviate,显著减少幻觉、提升事实准确性,为生物医学聊天机器人提供稳健方案。
2025-02-16 cs.AI cs.CL
Enhancing Retrieval-Augmented Generation: A Study of Best Practices
University of Tübingen(蒂宾根大学)
该研究针对RAG系统组件配置影响未被充分探究的问题,开发融合查询扩展、新型检索策略及对比上下文学习的RAG设计,系统分析多类关键因素的影响,为高性能RAG系统开发提供实践指导。
2025-01-13 cs.AI cs.CL