PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs
Waseda University(早稻田大学)
提出PASTA框架,通过数据增强、问答生成和自学习DPO过程,将新闻事实知识集成到LLM中,实现知识覆盖与幻觉抑制,准确率从0.02提升至0.82。
2026-06-27 cs.CL
A Dynamic Knowledge Update-Driven Model with Large Language Models for Fake News Detection
Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University(天津认知计算与应用重点实验室,智能与计算学院,天津大学);Key Laboratory of Artificial Intelligence Application Technology, Qinghai Minzu University(人工智能应用技术重点实验室,青海民族大学);Hangzhou Institute of Medicine, Chinese Academy of Sciences(杭州医学研究院,中国科学院)
针对虚假新闻检测中知识更新滞后与检索噪声问题,提出动态知识更新驱动模型DYNAMO,结合知识图谱与大语言模型,利用蒙特卡洛树搜索验证并提取新知识,在两个真实数据集上取得最佳性能。
2025-09-15 cs.CL
Line of Duty: Evaluating LLM Self-Knowledge via Consistency in Feasibility Boundaries
Knowledgeverse AI(知识verse人工智能)
本文提出通过允许 LLM 灵活设定自身可行性边界并分析其一致性的新方法评估 LLM 自我认知,发现 GPT-4o 等前沿模型超 80% 时间不确定自身能力,且在时间意识与上下文理解上存在显著弱点。
2025-03-14 cs.AI cs.CL
Knowledge-Aware Self-Correction in Language Models via Structured Memory Graphs
Mississippi State University(密西西比州立大学)
针对大型语言模型易产生事实错误(幻觉)的问题,提出基于RDF三元组结构化记忆图的轻量级可解释框架,无需重新训练或微调,通过外部语义记忆后处理模型输出并纠正事实不一致,在DistilGPT-2上对简单事实提示取得良好结果。
2025-07-07 cs.AI cs.CL
Can I understand what I create? Self-Knowledge Evaluation of Large Language Models
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
受费曼“通过创造来理解”原则启发,本文提出一种自我知识评估框架,通过让模型回答自生成问题发现其自我知识存在显著差距,并表明自生成数学任务微调可提升模型表现。
2024-06-10 cs.CL cs.LG
Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality
Shanghai Jiao Tong University(上海交通大学)
本文通过对照人类反应模式检验LLM输出,评估其自述人格特质与真实场景行为倾向是否一致,以揭示传统人格问卷用于LLM人格测量的有效性及自我认知与行动的断裂。
2024-12-10 cs.CL cs.CY
Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs
eCampus University(eCampus大学)
本研究提出利用知识图谱提升大语言模型幻觉自检的鲁棒性,通过转换响应为图谱并估算幻觉可能性,实现准确率和F1分数的显著提升。
2025-12-29 cs.AI cs.CL
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University(阿alto大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心);System 2 AI
本文提出用提示蒸馏(一种自蒸馏方法)从自由文档向LLM注入新知识,无需更大教师模型或结构化格式,实验表明其优于监督微调甚至RAG,并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
Quantifying Self-diagnostic Atomic Knowledge in Chinese Medical Foundation Model: A Computational Analysis
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学)
本文构建了包含17类、14,048条知识的自诊断原子知识基准SdAK,评估中文医学基础模型,发现通用模型优于医学模型且两者均存在谄媚问题,并证明蒸馏数据微调效果最佳。
2024-04-02 cs.AI cs.CL
From Detection to Discovery: A Closed-Loop Approach for Simultaneous and Continuous Medical Knowledge Expansion and Depression Detection on Social Media
Shenzhen University(深圳大学);Iowa State University(爱荷华州立大学);University of Delaware(特拉华大学);University of Arizona(亚利桑那大学)
本研究提出LLM-知识图谱闭环框架,通过迭代循环同步实现社交媒体抑郁症检测与医学知识扩展,提升预测准确率的同时发现新的临床相关病症,为动态风险监测的自适应知识系统提供基础。
2025-10-23 cs.AI cs.CL cs.LG
SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
Transferring speech-generic and depression-specific knowledge for Alzheimer's disease detection
OPPO Research(OPPO研究院);Cambridge Trust(剑桥信托基金会)
本文针对AD语音检测训练数据稀疏问题,提出同时迁移语音通用基础模型知识和抑郁症检测任务知识的并行迁移框架,在ADReSSo数据集上取得0.928的F1分数。
2023-10-06 cs.CL cs.SD eess.AS
Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge
The University of Edinburgh(爱丁堡大学)
本文提出SKR方法,通过将LLM的输出从通用token生成转变为高效任务特定表达,提升非生成任务性能,实验显示在信息检索、目标检测和异常检测任务中取得显著提升。
2026-04-24 cs.AI cs.CL cs.CV
Agentic Knowledgeable Self-awareness
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Zhejiang Key Laboratory of Big Data Intelligent Computing(浙江省大数据智能计算重点实验室)
针对传统智能体规划方法盲目注入知识的问题,提出KnowSelf方法,通过启发式情境判断和两阶段训练使LLM智能体具备知识型自我意识,实现自主调节知识利用,在最小化外部知识使用下超越多种强基线。
2025-05-29 cs.AI cs.CL cs.CV
Infusing Knowledge from Wikipedia to Enhance Stance Detection
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Southern California(南加州大学)
姿态检测推断文本作者对目标的态度。当模型缺乏关于目标的背景知识时,这是具有挑战性的。在这里,我们展示了如何从维基百科的背景知识可以帮助提高性能的立场检测。我们介绍维基百科的立场检测BERT(WS-BERT),注入的知识到立场编码。覆盖社交媒体讨论和在线辩论的三个基准数据集上的广泛结果表明,我们的模型在目标特定的姿态检测,跨目标姿态检测和零/Few-Shot姿态检测方面显着优于最先进的方法。
2022-04-08 cs.CL
Collaborative Knowledge Infusion for Low-resource Stance Detection
Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心(CFAR));Institute of High Performance Computing (IHPC)(高性能计算研究所(IHPC));Agency for Science Technology and Research (A*STAR)(新加坡科技研究局(A*STAR))
本文提出一种低资源立场检测的协作知识注入方法,通过多源知识对齐和参数高效协作适配器,在三个公开数据集上显著提升了检测性能。
2024-03-28 cs.CL
Does Self-Consistency Improve the Recall of Encyclopedic Knowledge?
CyberAgent
本文通过建立MMLU基准的百科知识回忆分割,验证了自洽性在符号推理和百科知识回忆中的提升效果,使用GPT-4o达到MMLU 89%的准确率。
2026-04-21 cs.CL
SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
Tsinghua University(清华大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Beijing Institute of Technology(北京理工大学);Siemens Technology(西门子技术公司)
本文提出SeaKR模型,通过提取LLM内部状态的自感知不确定性来决定何时检索、重排序知识片段并选择推理策略,在多类问答数据集上优于现有自适应RAG方法。
2024-06-27 cs.CL
Improving Disfluency Detection by Self-Training a Self-Attentive Model
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
使用语境化词嵌入(例如ELMo或BERT)的自注意神经句法分析器目前在语音转录中的联合分析和不流利检测中产生最先进的结果。由于上下文化的词嵌入是在大量未标记数据上预先训练的,因此使用额外的未标记数据来训练神经模型似乎是多余的。然而,我们表明,自我训练-一种用于合并未标记数据的半监督技术-为不流利检测的自我关注解析器设置了一种新的最先进的技术,表明自我训练提供了与预训练的上下文化单词表示正交的好处。我们还表明,集成自我训练的解析器提供了进一步的收益不流利检测。
2020-04-29 cs.CL
Leveraging World Knowledge in Implicit Hate Speech Detection
Georgetown University(乔治城大学)
虽然人们非常重视识别明确的仇恨言论,但以编码或间接语言伪装的隐含仇恨言论很普遍,仍然是现有仇恨言论检测系统的一个主要挑战。本文首次尝试将实体链接(EL)技术应用于显式和隐式仇恨言论检测,其中我们表明,关于文本中实体提及的真实世界知识确实有助于模型更好地检测仇恨言论,并且当显式实体触发时(例如,KKK(三K党)出席。我们还讨论了现实世界的知识并没有增加价值的仇恨言论检测,这提供了更多的见解来理解和建模仇恨言论的微妙之处。
2022-12-28 cs.CL
Proposal Towards a Personalized Knowledge-powered Self-play Based Ensemble Dialog System
这是2019年亚马逊Alexa竞赛的申请文件。我们给出了我们的会话体验的整体愿景,以及我们希望我们的对话系统在比赛结束时实现的示例会话。我们相信个性化、知识和自我游戏是更好的聊天机器人的重要组成部分。我们详细的系统架构建议和新颖性部分进一步强调了这些。最后,我们描述了我们将如何确保一个引人入胜的经验,这项研究将如何影响该领域,以及相关的工作。
2019-09-11 cs.CL
Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency
SAP;School of Computing, National University of Singapore(国立新加坡大学计算机学院)
提出一种自监督框架,利用多语言自一致性和自我批评机制,从本地语言表示中提取文化知识并迁移到英语,以缩小跨语言文化知识差距,在BLEnD基准上平均提升英语查询性能5.03%。
2026-05-25 cs.CL
Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection
University of Warwick(华威大学);Southeast University(东南大学)
对话中的情感检测具有挑战性,因为它通常需要识别对话背后的主题、相关常识知识以及情感状态之间复杂的过渡模式。在本文中,我们提出了一个主题驱动的知识感知Transformer来处理上述挑战。我们首先设计了一个主题增强的语言模型(LM)与一个额外的层专门用于主题检测。主题增强的LM,然后与常识的语句从一个知识库的基础上的对话上下文信息。最后,一个基于转换器的编码器-解码器架构融合的主题和常识信息,并执行情感标签序列预测。该模型已在四个数据集上进行了实验,在对话情感检测,证明了其优越性经验超过现有的国家的最先进的方法。定量和定性的结果表明,该模型可以发现有助于区分情感类别的主题。
2021-06-02 cs.CL
Evaluation of Fake News Detection with Knowledge-Enhanced Language Models
City, University of London(伦敦大学城市学院)
假新闻检测的最新进展利用了大规模预训练语言模型(PLM)的成功。主要的最先进方法是基于对标记的假新闻数据集进行微调的PLM。然而,大型PLM通常没有经过结构化事实数据的训练,因此可能不具备基于事实准确知识的先验知识。因此,利用现有的知识库(KB)和丰富的人工事实信息,有可能使假新闻检测更加有效和强大。在本文中,我们研究了知识集成到PLM中对假新闻检测的影响。我们研究了几种最先进的知识整合方法,主要使用维基数据作为知识库,在两个流行的假新闻数据集上- LIAR,一个基于政治的数据集,以及COVID-19,一个在社交媒体上发布的与COVID-19流行病有关的消息数据集。我们的实验表明,知识增强模型可以显着提高LIAR上的假新闻检测,其中KB是相关的和最新的。COVID-19的好坏参半的结果突出了对文体特征的依赖以及特定领域和当前知识库的重要性。
2023-02-13 cs.CL
Noisy Self-Knowledge Distillation for Text Summarization
Microsoft Cognitive Services Research(微软认知服务研究院);University of California, Berkeley(加州大学伯克利分校);University of Edinburgh(爱丁堡大学)
在本文中,我们将自知识蒸馏应用到文本摘要中,我们认为这可以缓解在单一参考和噪声数据集上进行最大似然训练的问题。我们的学生摘要模型不是依赖于一个热门的注释标签,而是在老师的指导下进行训练,老师会生成平滑的标签来帮助规范训练。此外,为了在训练过程中改善模型的不确定性,我们为教师和学生模型引入了多个噪声信号。我们在三个基准测试上通过实验证明,我们的框架可以提高预训练和非预训练摘要器的性能,从而获得最先进的结果。
2021-07-27 cs.CL
Deep Learning-Based Knowledge Injection for Metaphor Detection: A Comprehensive Review
Guangxi University(广西大学)
本文全面综述了深度学习在隐喻检测任务中知识注入的研究进展,系统总结了主流知识及注入原则,考察了相关数据集与基准模型,并探讨了当前问题与未来方向。
2024-01-08 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi(爱奇艺)
神经机器翻译(NMT)模型通常通过单向解码器进行训练,这对应于优化一步预测。然而,这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题,我们提出了一种新的方法,自知识蒸馏与双向解码器的神经机器翻译(SBD-NMT)。我们部署了一个后向解码器,它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息,提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明,在多个机器翻译数据集上,我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Unsupervised Commonsense Question Answering with Self-Talk
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理解包括用隐含的背景知识来解读字里行间的意思。当前的系统要么依赖于预先训练的语言模型作为世界知识的唯一隐式来源,要么求助于外部知识库(KB)来合并额外的相关知识。我们提出了一个基于自我对话的无监督框架,作为多项选择常识任务的新替代方案。受基于探究的发现学习(Bruner,1961)的启发,我们的方法用一些信息寻求问题(如“$\textit{what is the definition of ...}$“)来查询语言模型,以发现额外的背景知识。实证结果表明,自我对话过程大大提高了性能的zero-shot语言模型基线上的四个常识基准,并与模型,从外部知识库获取知识。虽然我们的方法在几个基准测试中提高了性能,但即使在导致正确答案的情况下,自我对话诱导的知识也并不总是被人类判断者视为有用的,这就提出了关于常识推理的预训练语言模型的内部工作原理的有趣问题。
2020-09-15 cs.CL
Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration
Humboldt-Universität zu Berlin(柏林洪堡大学)
本文提出了一种新的校准探测框架,用于评估语言模型在关系知识上的置信度,揭示了大多数模型在置信度校准上的不足。
2026-10-12 cs.CL
Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);University of Washington(华盛顿大学)
讽刺是一种语言现象,指的是字面意义和隐含意图之间的矛盾。由于其复杂的性质,通常很难从文本本身中检测出来。因此,多模态讽刺检测在学术界和工业界都受到了越来越多的关注。然而,大多数现有技术仅对文本输入及其伴随图像之间的原子级不一致进行建模,而忽略了两种模态的更复杂的组合。此外,他们忽视了外部知识中包含的丰富信息,例如,图片说明。本文提出了一种新的层次化的讽刺检测框架,通过探索基于多头交叉注意力机制的原子级一致性和基于图神经网络的成分级一致性,将一致性较低的帖子识别为讽刺。此外,我们利用各种知识资源的讽刺检测的效果。基于Twitter的公共多模态讽刺检测数据集上的评价结果表明了该模型的优越性。
2022-10-17 cs.CL
Select to Know: An Internal-External Knowledge Self-Selection Framework for Domain-Specific Question Answering
University of Science and Technology of China(中国科学技术大学);Baidu Inc.(百度公司);Central South University(中南大学);Chongqing University(重庆大学)
针对特定领域问答中知识长尾分布及获取成本高的问题,提出Selct2Know框架,通过内外部知识自选择策略、选择性监督微调及GRPO增强推理,以更低成本匹敌领域预训练模型。
2025-09-18 cs.CL
Beam Search Decoding using Manner of Articulation Detection Knowledge Derived from Connectionist Temporal Classification
Department of Computer Science
使用深度神经网络的发音检测方式需要属性判别特征或恰当的音素对齐的先验知识。然而,产生一个适当的音素对齐是复杂的,其性能取决于选择的最佳数目的senones,高斯等,在我们的工作的第一部分,我们利用的方式使用连接主义的时间分类(CTC),不需要任何音素对齐的发音检测。之后,我们修改了国家的最先进的字符为基础的后验生成CTC使用的方式,清晰度CTC检测器。对修改后的后验进行束搜索解码,并观察其对AN4和LibriSpeech等开源数据集的影响。
2018-11-16 cs.CL
Cross-Task Knowledge-Constrained Self Training
School of Computing(计算学院);University of Utah(犹他大学)
我们提出了一个学习多个相关任务的算法框架。我们的框架利用了一种形式的先验知识,涉及这些任务的输出空间。我们提出了PAC学习结果,分析了这种学习是可能的条件。我们目前的结果学习浅解析器和命名实体识别系统,利用我们的框架,表现出一致的改进基线方法。
2009-07-04 cs.CL cs.LG
Adaptive Knowledge-Enhanced Bayesian Meta-Learning for Few-shot Event Detection
Southeast University(东南大学);Monash University(莫纳什大学)
事件检测(ED)旨在检测句子中的事件触发词,并将其分类为特定的事件类型。在现实世界的应用中,ED通常没有足够的标记数据,因此可以表述为少样本学习问题。针对Few-Shot ED中样本多样性低的问题,提出了一种基于知识的Few-Shot事件检测方法。此外,由于外部知识通常提供有限的和不完善的事件类型的覆盖范围,我们引入了一个自适应的知识增强贝叶斯元学习方法来动态调整事件类型的知识先验。实验表明,我们的方法一致,并大大优于至少15个绝对F1点在相同的Few-Shot设置下的一些基线。
2021-05-30 cs.AI cs.CL
SKILL-RAG: Self-Knowledge Induced Learning and Filtering for Retrieval-Augmented Generation
Tomoaki Isoda(独立研究者)
该研究针对RAG的幻觉问题,提出SKILL-RAG方法,通过强化学习框架引出模型自知识,过滤无关检索内容,在多个问答基准上提升生成质量并减少输入文档数量。
2026-08-24 cs.AI cs.CL
KSAT: Knowledge-infused Self Attention Transformer -- Integrating Multiple Domain-Specific Contexts
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
提出知识注入的自注意力Transformer(KSAT),通过专用自注意力层引入外部知识引导偏置,实现多领域上下文整合,在可解释性和性能上均优于微调基线。
2023-06-24 cs.AI cs.CL
Adaptive Retrieval Without Self-Knowledge? Bringing Uncertainty Back Home
Skoltech(斯科尔科沃科学技术研究院);AIRI(人工智能研究院);HSE University(高等经济大学);MTS AI(MTS人工智能公司);MIPT(莫斯科物理技术学院);University of Hamburg(汉堡大学)
针对现有自适应检索忽略效率评估及与不确定性技术对比的不足,研究对35种自适应检索方法在6个数据集上的综合分析,发现不确定性估计技术在保相当QA性能同时,效率和自我认知更优。
2025-02-21 cs.CL cs.LG
Self-supervised Knowledge Triplet Learning for Zero-shot Question Answering
Arizona State University(亚利桑那州立大学)
所有问答(QA)系统的目标都是能够概括看不见的问题。目前的监督方法依赖于昂贵的数据注释。此外,这样的注释可能会引入意想不到的注释者偏见,这使得系统更多地关注偏见而不是实际任务。在这项工作中,我们提出了知识三元组学习(KTL),一个自我监督的任务在知识图谱。我们提出了一种方法来为常识和科学知识创建合成图。我们提出了如何使用KTL来执行zero-shot QA的方法,我们的实验表明,在大型预训练的Transformer模型上有相当大的改进。
2020-09-17 cs.AI cs.CL cs.LG
KGAP: Knowledge Graph Augmented Political Perspective Detection in News Media
Xi’an Jiaotong University(西安交通大学);University of Technology Sydney(悉尼科技大学)
随着政治评论的快速增长和政治意识形态的日益两极化,识别新闻媒体的政治观点已成为一项重要任务。以前的方法侧重于文本内容,而忽略了在视角检测过程中必不可少的丰富的社会和政治背景。为了解决这个限制,我们提出了KGAP,这是一种结合外部领域知识的政治观点检测方法。具体而言,我们构建了一个政治知识图谱,作为特定领域的外部知识。然后,我们构建异构的信息网络来表示新闻文件,联合模型的新闻文本和外部知识。最后,我们采用关系图神经网络,并进行政治观点检测作为图级分类。大量的实验表明,我们的方法始终达到最佳性能的两个现实世界的角度检测基准。消融研究进一步证实了外部知识的必要性和我们基于图的方法的有效性。
2022-05-17 cs.AI cs.CL cs.CY
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University(清华大学);Bosch Center for AI(博世人工智能中心)
实体对齐是构建网络规模知识图的基本问题,其目的是在不同的知识图谱中识别等价实体。在其发展过程中,标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发,我们探讨了实体对齐可以在多大程度上摆脱监督。通常,标签信息(正实体对)用于监督将每个正对中的对齐实体拉得更近的过程。然而,我们的理论分析表明,实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现,我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略,以优化这一目标,调整实体没有标签监督。在基准数据集上进行的大量实验表明,没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明,自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
ECOL: Early Detection of COVID Lies Using Content, Prior Knowledge and Source Information
Institute WeST, University of Koblenz-Landau(科布伦茨-兰道大学WeST研究所)
社交媒体平台很容易受到假新闻传播的影响,这会在医疗保健领域造成恐慌和错误用药等负面后果。因此,在假新闻广泛传播之前的早期阶段自动检测假新闻非常重要。本文分析了将内容信息、先验知识和来源可信度纳入假新闻早期检测模型的影响。我们提出了一个框架建模这些功能,使用BERT语言模型和外部来源,即简单的英语维基百科和源可靠性标签。在CONSTRAINT数据集上进行的实验证明了整合这些特征对医疗保健领域假新闻早期检测的好处。
2021-01-14 cs.CL cs.LG
Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Institute of Dataspace, Hefei Comprehensive National Science Center(合肥综合性国家科学中心数据空间研究院)
针对检索增强生成(RAG)中外部检索知识与LLM内部参数化知识整合的挑战,提出自选择RAG框架及Self-Selection-RGP方法,通过DPO训练提升LLM的生成与选择能力,在NQ和TrivialQA数据集上优于基线方法。
2025-02-10 cs.CL cs.IR
KBAlign: Efficient Self Adaptation on Specific Knowledge Bases
Tsinghua University(清华大学);Northeastern University(东北大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自监督框架 KBAlign,通过多粒度自标注与自验证迭代调优,使 RAG 系统低成本适配特定小规模知识库,性能达到 GPT-4 监督适配增益的 90%。
2025-05-15 cs.AI cs.CL
Building and Using Personal Knowledge Graph to Improve Suicidal Ideation Detection on Social Media
Tsinghua University(清华大学)
世界上有大量的人患有自杀意念。有很多原因背后为什么一个人可能会遭受自杀意念。作为最受欢迎的自我表达,情绪释放和个人互动的平台,个人可能会在社交媒体上表现出许多自杀意念的症状。然而,来自数据和知识方面的挑战仍然是障碍,限制了基于社交媒体的检测性能。数据的隐式性和稀疏性使得人们很难根据个人的帖子来发现其内心的真实意图。受心理学研究的启发,我们建立并统一了一个高层次的自杀导向知识图谱与深度神经网络,用于社交媒体上的自杀意念检测。我们进一步设计了一个两层的注意力机制来明确地推理和建立个体自杀意念的关键危险因素。在微博和Reddit上的性能研究表明:1)通过构建个人知识图谱,基于社交媒体的自杀意念检测可以达到93%以上的准确率; 2)在6类个人因素中,职位、性格和经历是前3位的关键指标。在这些类别下,张贴的文字,压力水平,压力持续时间,张贴的图像,反刍思维有助于一个人的自杀意念检测。
2020-12-16 cs.AI cs.CL
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh(爱丁堡大学);Amazon(亚马逊);Zoom Video Communications, Inc.(祖姆视频通信公司)
本文提出基于知识蒸馏的设备端自监督语音表示学习架构,通过师生框架和双视图互相关蒸馏,在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Knowledge-Centric Self-Improvement
Caltech(加州理工学院)
研究以知识为中心的自我改进范式,通过简单协议让智能体尝试任务后为知识库贡献见解并提炼知识,提高了解决率、降低成本,且知识可转移,表明进步可由持久知识驱动。
2026-07-23 cs.AI cs.CL cs.LG
Self-Knowledge Distillation in Natural Language Processing
Handong Global University(韩东国际大学)
自从深度学习成为自然语言处理(NLP)的关键角色以来,许多深度学习模型在各种NLP任务中表现出了卓越的性能,在某些情况下,它们甚至超过了人类。如此高的性能可以通过深度学习模型的高效知识表示来解释。虽然已经提出了许多方法来学习更有效的表示,但从预训练的深度网络中知识蒸馏表明,我们可以使用来自软目标概率的更多信息来训练其他神经网络。在本文中,我们提出了一种新的知识蒸馏方法自知识蒸馏,基于训练模型本身的软目标概率,其中多模信息是从softmax层下面的词嵌入空间中提取的。由于时间复杂度,我们的方法近似的软目标概率。在实验中,我们将所提出的方法应用于两个不同的和基本的NLP任务:语言模型和神经机器翻译。实验结果表明,我们提出的方法提高了性能的任务。
2019-08-02 cs.CL cs.LG stat.ML
SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization
Tsinghua University(清华大学)
SE-Bench通过构建封闭书本训练环境,揭示了知识内化过程中开放书本悖论、RL差距及自博弈的有效性,为自我进化能力评估提供了严谨的诊断平台。
2026-05-09 cs.AI cs.CL cs.LG
Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection
Fudan University(复旦大学);Microsoft Corporation(微软公司);Sun Yat-Sen University(中山大学)
我们研究了新闻文章中宣传性文本片段的检测。而不是仅仅从训练数据中的输入输出数据点学习,我们引入了一种方法来注入细粒度宣传技术的声明性知识。具体来说,我们利用一阶逻辑和自然语言表达的声明性知识。前者指的是粗粒度和细粒度预测之间的逻辑一致性,用于通过命题布尔表达式来正则化训练过程。后者是指每个宣传技术的字面定义,用于获得正则化模型参数的类表示。我们进行实验的宣传技术语料库,一个大的手动注释数据集细粒度的宣传检测。实验表明,我们的方法实现了卓越的性能,证明利用声明性知识可以帮助模型做出更准确的预测。
2020-10-05 cs.AI cs.CL cs.IR
Stereotypical Bias Removal for Hate Speech Detection Task using Knowledge-based Generalizations
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
随着社交媒体平台上仇恨传播的案例不断增加,设计滥用检测机制以主动避免和控制此类事件至关重要。虽然存在用于仇恨言论检测的方法,但它们对单词进行刻板印象,因此受到固有偏见的训练。传统上已经研究了结构化数据集的偏差去除,但我们的目标是从非结构化文本数据中减轻偏差。在本文中,我们做了两个重要的贡献。首先,我们系统地设计方法来量化任何模型的偏见,并提出算法来识别模型定型的单词集。其次,我们提出了新的方法,利用基于知识的泛化无偏学习。基于知识的概括提供了一种有效的方式来编码知识,因为它们提供的抽象不仅概括了内容,而且还促进了从仇恨语音检测分类器中撤回信息,从而减少了不平衡。我们实验了多种知识泛化策略,并分析了它们对一般性能和减轻偏见的影响。我们对两个真实世界的数据集进行了实验,一个大小约为96k的维基百科讨论页面数据集(WikiDetox)和一个大小约为24k的Twitter数据集,结果表明,使用基于知识的泛化通过迫使分类器从泛化内容中学习来获得更好的性能。我们的方法利用现有的知识基础,可以很容易地扩展到其他任务
2020-01-15 cs.AI cs.CL cs.LG
Hexa: Self-Improving for Knowledge-Grounded Dialogue System
Korea University(高丽大学);Kakao Brain;KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
针对知识接地对话中中间步骤真值数据缺失的问题,本文提出Hexa自我改进方法,通过引导式提示与改进损失函数进行自举训练,提升中间及最终回复生成性能。
2024-04-02 cs.AI cs.CL cs.LG
Ensemble knowledge distillation of self-supervised speech models
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
近年来,蒸馏自监督模型显示出具有竞争力的性能和效率。然而,在联合提取多个自监督语音模型方面缺乏经验。在我们的工作中,我们对各种自监督语音模型(如HuBERT,RobustHuBERT和WavLM)进行了Ensemble Knowledge Distillation(EKD)。我们尝试了两种不同的聚合技术,分层平均和分层连接,不同的教师模型的表示,发现前者是更有效的。在此基础上,我们提出了一种学生模型的多预测头方法,可以同时预测多个教师模型的不同层输出。实验结果表明,该方法在SUPERB测试的隐藏集跟踪下,提高了提取模型在音素识别、说话人识别、情感识别和自动语音识别四个下游语音处理任务上的性能。
2023-02-24 cs.CL cs.SD eess.AS
Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(南洋理工大学-英属哥伦比亚大学联合卓越研究中心(老年人积极生活方向));Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Nanyang Technological University(南洋理工大学)
人类对话中的信息固有地传达情感。文本对话中的情感检测任务导致了广泛的应用,例如社交网络中的意见挖掘。然而,让机器分析对话中的情感是一项挑战,部分原因是人类通常依赖上下文和常识知识来表达情感。在本文中,我们提出了一个知识丰富的Transformer(KET),上下文话语解释使用层次化的自我注意力和外部常识知识是动态利用上下文感知的情感图注意力机制来应对这些挑战。在多个文本会话数据集上的实验表明,上下文和常识知识都有利于情感检测性能。此外,实验结果表明,我们的KET模型优于国家的最先进的模型在大多数测试数据集上的F1得分。
2019-10-01 cs.AI cs.CL cs.LG
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore(新加坡国立大学)
视觉关系检测旨在推理图像中显著对象之间的关系,近年来受到越来越多的关注。受人类推理机制的启发,人们认为外部视觉常识知识有利于图像中对象的视觉关系推理,但现有方法很少考虑这一点。在本文中,我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers(RVL-BERT),它执行关系推理与视觉和语言常识知识,通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外,我们的模型将目标检测从视觉关系识别中分离出来,直接采用对象名称,使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明,与转移的知识和新的模块,RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV