Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking
NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学);Seoul National University(首尔国立大学)
尽管近年来摘要系统取得了很大的进步,但仍然很难确定生成的摘要是否与源文本的事实一致。为此,最新的方法是训练一个事实一致性分类器的事实一致性和不一致的摘要。幸运的是,前者可以在现有的摘要数据集中作为参考摘要。然而,生成后者仍然是一个挑战,因为它们需要在事实上不一致,但与源文本密切相关才能有效。在本文中,我们提出了使用源文本和参考摘要与关键信息掩盖生成事实上不一致的摘要。在七个基准数据集上的实验表明,在使用我们的方法生成的摘要上训练的事实一致性分类器通常优于现有模型,并与人类判断具有竞争力。我们还分析了使用我们的方法生成的摘要的特点。我们将在https://github.com/hwanheelee1993/MFMA上发布预训练模型和代码。
2022-05-04 cs.CL
Demasking Fine-Tuning for Knowledge Injection in Autoregressive and Diffusion LLMs
Harvard University(哈佛大学);University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校);Hebrew University(希伯来大学)
本文提出一种掩码微调方法,通过重构原始文本提升自回归大语言模型的知识注入能力,无需依赖改写并克服反向诅咒,实验证明其在知识密集型任务中表现优异。
2026-11-05 cs.AI cs.CL
InforMask: Unsupervised Informative Masking for Language Model Pretraining
University of California, San Diego(加州大学圣地亚哥分校)
针对大语言模型预训练中随机掩码策略的不足,该研究提出基于点互信息的无监督掩码方法InforMask,经效率优化后,仅需一次性预处理,在多个基准任务上表现优于现有掩码策略。
2022-10-21 cs.CL
Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding
East China Normal University(华东师范大学);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
知识增强的预训练语言模型(PLM)是近年来备受关注的一种语言模型,旨在将事实知识融入PLM中。然而,大多数现有的方法修改固定类型的PLM的内部结构,通过堆叠复杂的模块,并引入冗余和无关的事实知识库(KBs)。针对这些问题,本文提出了一种基于知识激励的PLM框架KP-PLM。该框架可以灵活地与现有的主流PLM相结合。具体来说,我们首先从每个上下文的知识库构建一个知识子图。然后设计多条连续提示规则,将知识子图转化为自然语言提示。为了进一步利用这些提示中的事实知识,我们提出了两个新的知识感知的自监督任务,包括提示相关性检查和掩蔽提示建模。对多个自然语言理解(NLU)任务的大量实验表明,KP-PLM在全资源和低资源环境中都优于其他最先进的方法。
2022-10-16 cs.CL
Predicting the Target Word of Game-playing Conversations using a Low-Rank Dialect Adapter for Decoder Models
University of New South Wales(新南威尔士大学);Google DeepMind(谷歌DeepMind)
本文提出名为 LoRDD 的解码器模型架构,结合任务适配器与基于对比学习的方言适配器,在 MD-3 数据集上执行目标词预测任务,显著提升了方言对话性能并缩小了与美国英语的差距。
2025-01-31 cs.AI cs.CL
Static Embeddings as Efficient Knowledge Bases?
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学语言与信息处理中心(CIS))
最近的研究调查了存储在大型预训练语言模型(PLM)中的事实知识。代替结构化知识库(KB)查询,使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。这种分析任务的良好表现被解释为PLM成为事实知识的潜在存储库。在10种不同语言的实验中,我们研究了静态嵌入中包含的知识。我们表明,当限制输出空间的候选集,简单的最近邻匹配使用静态嵌入比PLM的表现更好。例如,在一个示例中,静态嵌入的性能比BERT高1.6%,而仅使用0.3%的能量进行训练。它们良好的比较性能的一个重要因素是,静态嵌入对于大词汇表是标准的。相比之下,BERT利用其更复杂,但昂贵的能力,从一个小得多的子词词汇组成有意义的表示。
2021-04-14 cs.CL
CAP-LLM: Context-Augmented Personalized Large Language Models for News Headline Generation
National Energy University(国家能源大学)
针对个性化新闻标题生成中用户兴趣捕捉和事实一致性的挑战,提出CAP-LLM框架,通过用户偏好编码器、上下文注入适配器和对比损失强化模块,在PENS数据集上取得最优性能,平衡个性化与事实准确性。
2025-08-05 cs.CL
Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs
研究大语言模型跨语言事实不一致问题,评估零样本上下文引导、CAA、DPO四种干预策略,通过实验发现角色提示是最强干预方式,CAA对配置敏感,DPO适配器收益窄且可转移性低,表明跨语言不一致部分是选择问题,简单干预可能更优。
2026-07-22 cs.AI cs.CL
Enhancing Fact Retrieval in PLMs through Truthfulness
University of Marburg(马尔堡大学);University of Mannheim(曼海姆大学)
本文提出利用辅助模型基于PLMs隐藏状态评估输入真实性,从而将事实检索性能提升高达33%。
2024-10-17 cs.CL
AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters
BITS Pilani(比斯·皮兰大学);University of Adelaide(阿德莱德大学)
AutoRAG-LoRA框架通过轻量级LoRA适配器、KL正则化训练与幻觉检测反馈循环,有效减少大模型事实漂移并保持模块化与效率。
2025-07-11 cs.AI cs.CL
DS-TOD: Efficient Domain Specialization for Task Oriented Dialog
University of Mannheim(曼海姆大学);Bocconi University(博科尼大学);LMU Munich(慕尼黑大学)
最近的工作表明,在大型会话数据集上进行的自监督对话特定预训练在下游面向任务的对话(TOD)中比传统的语言建模(LM)预训练产生了实质性的收益。然而,这些方法利用一般的对话语料库(例如,Reddit),因此可能无法可靠地嵌入对具体下游TOD领域有用的特定领域知识。在这项工作中,我们调查的预训练语言模型(PLM)的领域专业化的影响,为TOD。在我们的DS-TOD框架中,我们首先自动提取突出的特定领域术语,然后使用它们来构建DomainCC和DomainReddit -我们分别基于(i)掩蔽语言建模(MLM)和(ii)响应选择(RS)目标利用这些资源进行特定领域的预训练。我们进一步提出了一个资源有效的和模块化的域专业化的方式域适配器-额外的参数光层,我们编码的领域知识。我们的实验突出的TOD任务-对话状态跟踪(DST)和响应检索(RR)-包括五个领域的MultiWOZ基准证明了DS-TOD的有效性。此外,我们还表明,轻量级的基于适配器的专业化(1)在单域设置中进行了充分的微调,(2)特别适合多域专业化,除了有利的计算占用空间外,它还可以提供更好的TOD性能。
2022-05-20 cs.CL
Addressing Hallucinations in Language Models with Knowledge Graph Embeddings as an Additional Modality
Institute for Clarity in Documentation(文献清晰研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康校区);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本研究提出将知识图谱嵌入作为额外模态,通过训练适配器整合到语言模型中,无需外部检索与模型微调,构建了含300万样本的WikiEntities数据集,在多个基准上验证了其减少大语言模型幻觉、提升事实准确性的效果。
2025-01-14 cs.AI cs.CL
MALM: A Multi-Information Adapter for Large Language Models to Mitigate Hallucination
Beijing Institute of Technology(北京理工大学);The Open University(开放大学);Beijing Information Science and Technology University(北京信息科技大学);The Hong Kong Polytechnic University(香港理工大学)
针对大语言模型的三类幻觉问题,提出多信息适配器MALM,通过定制多图学习建模输入、上下文与事实知识的关联,在多个基准数据集及不同模型、检索器上均取得显著效果。
2025-06-14 cs.AI cs.CL
Making Large Language Models Perform Better in Knowledge Graph Completion
Zhejiang University(浙江大学);Zhejiang University-Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室);Alibaba-Zhejiang University Joint Institute of Frontier Technology(阿里巴巴-浙江大学前沿技术联合研究院)
针对现有基于大语言模型的知识图谱补全方法忽略图谱结构信息的问题,提出知识前缀适配器KoPA,通过结构预训练和跨模态投影注入结构信息,提升大语言模型的事实知识推理能力。
2024-04-14 cs.CL
What Has Been Enhanced in my Knowledge-Enhanced Language Model?
ETH Zürich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学)
预训练的语言模型(LM)不能很好地捕捉事实知识。这导致了一些知识整合(KI)的方法,旨在将外部知识纳入预先训练的LM的发展。尽管KI方法显示出比普通LM更好的性能,但这些方法的内部工作原理还没有得到很好的理解。例如,目前还不清楚如何以及什么样的知识被有效地整合到这些模型中,以及这种整合是否可能导致对已经学习的知识的灾难性遗忘。本文重新访问KI过程中,这些模型与信息理论的观点,并表明,KI可以解释使用图形卷积运算。我们提出了一个探针模型称为\textit{Graph Convolution Simulator}(GCS)的解释知识增强的LM和暴露什么样的知识集成到这些模型。我们进行实验,以验证我们的GCS确实可以用来正确地解释KI过程,我们用它来分析两个著名的知识增强LM:ERNIE和K-Adapter,发现只有少量的事实知识是集成在他们。我们根据不同的关系类型对知识进行了分层,发现ERNIE和K-Adapter在不同程度上整合了不同类型的知识。我们的分析还表明,简单地增加KI语料库的大小可能不会导致更好的KI;可能需要根本性的进步。
2022-11-16 cs.CL cs.IT cs.LG
Dynamic Benchmarking of Masked Language Models on Temporal Concept Drift with Multiple Views
University of Sheffield(谢菲尔德大学);AWS AI Labs(亚马逊云科技人工智能实验室)
时间概念漂移是指数据随时间变化的问题。在NLP中,这意味着语言(例如新的表达方式,意义转变)和事实知识(例如新概念,更新的事实)随着时间的推移而演变。针对后者,我们在一系列旨在评估时间概念漂移影响的测试上对$11$预训练掩蔽语言模型(MLMs)进行了基准测试,因为广泛使用的语言模型必须与现实世界不断发展的事实更新保持同步。具体来说,我们提供了一个整体框架,(1)动态创建任何时间粒度(例如月,季度,年)的事实数据的时间测试集,(2)构建细粒度的测试分割(例如更新,新的,未更改的事实)以确保全面的分析,以及(3)以三种不同的方式评估MLM(单令牌探测,多令牌生成,MLM评分)。与以前的工作相比,我们的框架旨在揭示传销随着时间的推移有多强大,从而通过利用多个评估视图来提供信号,以防它已经过时。
2023-02-23 cs.CL
Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models
University of Southern California(南加州大学)
最近的工作表明,预训练语言模型(PTLM),如BERT,拥有一定的常识和事实知识。他们认为,通过预测屏蔽词,将PTLM用作“神经知识库”是有希望的。令人惊讶的是,我们发现这可能不适用于数字常识知识(例如,鸟通常有两条腿。在本文中,我们调查是否以及在何种程度上,我们可以从PTLM以及这个过程的鲁棒性的数值常识知识。为了研究这一点,我们引入了一个新的探测任务,诊断数据集NumerSense包含13.6k个屏蔽词预测探测器(10.5k用于微调,3.1k用于测试)。我们的分析表明:(1)在任何微调之前,BERT及其更强的变体RoBERTa在诊断数据集上表现不佳;(2)远程监督的微调带来了一些改进;(3)与人类表现相比,最好的监督模型仍然表现不佳(准确率为54.06% vs 96.3%)。
2020-09-18 cs.AI cs.CL
Embracing Ambiguity: Improving Similarity-oriented Tasks with Contextual Synonym Knowledge
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Platform and Content Group, Tencent(腾讯平台与内容事业群);Peng Cheng Laboratory(鹏城实验室)
本文提出PICSO框架,通过实体感知Adapter向PLM注入多领域上下文同义词知识,在保留原模型语义理解的同时处理同义词歧义,并在相似性任务和GLUE上取得显著提升。
2022-11-20 cs.CL
Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
将事实知识注入预先训练的模型是许多知识密集型任务的基础。在本文中,我们提出了混合分区(MoP),一种注入方法,可以处理一个非常大的知识图谱(KG)划分成更小的子图,并注入他们的特定知识到各种BERT模型使用轻量级适配器。为了利用目标任务的整体事实知识,这些子图适配器与底层的BERT一起通过混合层进一步微调。我们评估我们的MoP与三个生物医学BERT(SciBERT,BioBERT,PubmedBERT)的六个下游任务(包括。NLI,QA,Classification),结果表明,我们的MoP在任务性能方面始终增强了底层BERT,并在五个评估数据集上实现了新的SOTA性能。
2021-09-10 cs.CL
COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models
Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, California, USA(电气与计算机工程系,南加州大学,洛杉矶,加利福尼亚州,美国)
提出COFT,一种无需训练的解码方法,通过反事实提示和保形校准在解码时实现token级公平性控制,显著减少思维链生成中的社会偏见,同时保持任务效用和语言质量。
2026-05-28 cs.AI cs.CL
FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters
SKLCCSE Lab Beihang University Beijing China(SKLCCSE实验室 北航);Department of Data Science City University of Hong Kong Hong Kong China(数据科学系 香港城市大学);Beijing Advanced Innovation Center Beihang University Beijing China(北京先进创新中心 北航);Beihang University(北航);City University of Hong Kong(香港城市大学)
研究针对隐私敏感领域,解决联邦检索增强生成中高存储通信及适配器聚合问题。核心方法是提出FedMosaic框架,聚类文档成多文档适配器并选择性聚合。主要贡献是准确率提高,存储和通信成本降低,且不共享原始文档。
2026-07-14 cs.CL
CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
Indian Institute of Technology Madras(马德拉斯印度理工学院);University of Birmingham(伯明翰大学)
针对动态金融环境中量化大语言模型的顺序内存编辑退化问题,提出CACHE-UK框架,将知识退化降低11%-17%,测试泛化率达28%,提升6个百分点。
2026-07-31 cs.AI cs.CE cs.CL
K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters
Fudan University(复旦大学);Microsoft(微软)
我们研究了将知识注入到大型预训练模型(如BERT和RoBERTa)中的问题。现有方法通常在注入知识时更新预训练模型的原始参数。然而,当多种知识被注入时,历史注入的知识将被冲走。为了解决这个问题,我们提出了K-Adapter,这是一个框架,它保留了预训练模型的原始参数,并支持开发通用的知识注入模型。K-Adapter以RoBERTa为骨干模型,为每种注入的知识都有一个神经适配器,就像一个连接到RoBERTa的插件。不同适配器之间没有信息流,因此可以以分布式方式有效地训练多个适配器。作为一个案例研究,我们在这项工作中注入了两种知识,包括(1)从维基百科和维基数据上自动对齐的文本三元组获得的事实知识和(2)通过依存句法分析获得的语言知识。三个知识驱动的任务,包括关系分类,实体类型,和问答的结果表明,每个适配器提高了性能和两个适配器的组合带来进一步的改善。进一步的分析表明,K-适配器捕获多功能的知识比ROBERTa。
2020-12-28 cs.CL cs.LG
Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models
Nace AI(Nace人工智能公司);Purdue University(普渡大学)
研究大语言模型训练时知识注入问题,核心方法是用超网络生成LoRA适配器,主要贡献是发现超网络注入能力随规模变化规律,能可靠进行分布外泛化,为训练时适应提供新基础及缩放定律。
2026-07-23 cs.CL cs.LG
LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
University of California, Irvine(加州大学伊藤分校);Purdue University Northwest(普渡大学西北分校)
LUNE通过LoRA微调与负例实现高效LLM反学习,有效抑制特定知识,降低计算和内存消耗
2025-12-08 cs.CL cs.LG
Expanding the Vocabulary of BERT for Knowledge Base Construction
Maastricht University(马斯特里赫特大学)
针对知识库构建挑战,提出词汇可扩展BERT,通过扩展词汇表并保留语义嵌入,结合任务特定重新预训练,以轻量模型超越大模型,实现多令牌实体直接嵌入,提升链接预测与元数据补全性能。
2023-10-12 cs.AI cs.CL
Rate-Resolved Text Evaluation with Masked Diffusion Language Models
The University of Manchester(曼彻斯特大学);University of Pittsburgh(匹兹堡大学);The University of Sheffield(谢菲尔德大学)
该研究提出速率解析文本评估方法,利用掩码扩散语言模型的掩码率作为诊断轴,在SummEval和WMT MQM数据集上验证了其评估文本生成的有效性。
2026-10-14 cs.CL
LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph
Beijing University of Posts and Telecommunications(北京邮电大学);Hangzhou Dianzi University(杭州电子科技大学);Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
提出轻量级推理框架LightPROF,通过“检索-嵌入-推理”过程与基于Transformer的知识适配器,将知识图谱的结构与事实信息映射至LLM词元空间,在小规模开源LLM上实现了高效且高性能的知识图谱问答。
2025-04-04 cs.AI cs.CL
The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
针对LLM辅导者易直接告知答案的问题,提出掩蔽近迁移后测与二元奖励门,开发多轮RL方法Eduardo,训练出高效且教学能力强的模型。
2026-10-06 cs.AI cs.CL
Composable Sparse Fine-Tuning for Cross-Lingual Transfer
University of Cambridge(剑桥大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
微调大型预训练模型的整个参数集已成为迁移学习的主流方法。为了提高其效率并防止灾难性遗忘和干扰,开发了适配器和稀疏微调等技术。适配器是模块化的,因为它们可以组合以使模型适应知识的不同方面(例如,专用语言和/或任务适配器)。稀疏微调是富有表现力的,因为它控制所有模型组件的行为。在这项工作中,我们引入了一个新的微调方法,这两个理想的属性。特别是,我们学习稀疏,实值掩码的基础上彩票假说的一个简单的变体。任务特定掩码从源语言的注释数据获得,语言特定掩码从目标语言的掩码语言建模获得。然后,这两个掩码都可以与预训练的模型组合。与基于适配器的微调不同,该方法既不增加推理时的参数数量,也不改变原始模型结构。最重要的是,在一系列多语言基准测试中,它在zero-shot跨语言迁移方面的性能大大优于适配器,包括Universal Mendencies、MasakhaNER和AmericasNLI。基于深入的分析,我们还发现稀疏性对于防止1)要组合的微调之间的干扰和2)过拟合至关重要。我们在https://github.com/cambridgeltl/composable-sft上发布代码和模型。
2023-02-09 cs.CL
Adapter-based Approaches to Knowledge-enhanced Language Models -- A Survey
Technical University of Munich(慕尼黑工业大学);SEBIS, Technical University of Munich(慕尼黑工业大学SEBIS)
本文系统综述了基于适配器的知识增强语言模型方法,分析现有方法优缺点,重点比较生物医学领域性能,并总结趋势与未来方向。
2024-11-25 cs.AI cs.CL
Delta -- Contrastive Decoding Mitigates Text Hallucinations in Large Language Models
National Taiwan University of Science and Technology(台湾科技大学);Mindify AI;University of London(伦敦大学)
本文提出推理时方法 Delta,通过随机遮蔽提示并对比原始与遮蔽输入的输出分布来抑制 LLM 幻觉,在多个问答基准上显著提升可靠性。
2025-02-09 cs.AI cs.CL
Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters
Apple MLX(苹果MLX)
研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率,展示适配器在不同规模模型上的泛化能力及生成一致性改进。
2026-04-17 cs.CL cs.LG
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center(L3S研究中心)
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中,我们专门探讨了BERT,以理解和测量它在参数记忆中捕获的关系知识。虽然对语言理解的探索通常应用于BERT的所有层以及微调模型,但这还没有用于事实知识。我们利用现有的知识库完成任务(LAMA)来探测每一层的预训练以及微调的BERT模型(排名,问答,NER)。我们的研究结果表明,知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例(17-60%)。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时,关系知识被遗忘了。遗忘的程度受微调目标和训练数据的影响。我们发现,与掩蔽语言建模和问答相比,排名模型在最后一层忘记的最少,保留的知识更多。然而,掩蔽语言建模在从训练数据获取新知识方面表现最好。当涉及到学习事实时,我们发现容量和事实密度是关键因素。我们希望这一初步的工作将促进进一步的研究,了解参数记忆的语言模型和实际知识的训练目标的影响。重复实验的代码在GitHub上公开。
2021-09-08 cs.CL
Knowledge Editing for Masked Diffusion Language Models
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
研究将定位-编辑方法从自回归模型迁移到掩码扩散模型,发现编辑位置可迁移但多词编辑性能下降,并提出优化中间状态的简单修正方法。
2026-09-03 cs.CL
Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出通过适配器将ConceptNet图知识整合进多语言大语言模型,以提升八种低资源语言在情感分析和命名实体识别上的性能,并比较了多种掩码微调目标的有效性。
2024-12-18 cs.AI cs.CL
Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
KAIST(韩国科学技术院)
本文提出ARAM框架,通过动态校准引导尺度提升检索增强扩散模型在知识密集型问答中的性能。
2026-04-03 cs.AI cs.CL cs.LG
video-SALMONN 2: Caption-Enhanced Audio-Visual Large Language Models
Tsinghua University(清华大学);University of Cambridge(剑桥大学);ByteDance(字节跳动)
video-SALMONN 2通过多轮直接偏好优化和字幕质量目标,在视频描述与问答任务上取得SOTA,其3B、7B及72B模型均超越同类系统。
2025-09-26 cs.CL cs.CV cs.SD
Adapters for Enhanced Modeling of Multilingual Knowledge and Text
ETH Zürich(苏黎世联邦理工学院);Tencent AI Lab(腾讯人工智能实验室);Shandong University(山东大学)
大语言模型似乎是从它们所训练的大文本语料库中学习事实。这些事实在它们的许多参数中被隐式编码,使得很难验证或操作已经学习的知识。语言模型最近已经扩展到多语言语言模型(MLLM),使得知识能够跨数百种语言学习。同时,知识图谱以显式的三重格式包含事实,这需要仔细和昂贵的策展,并且仅在少数高资源语言中可用,限制了其研究和应用。为了解决这些问题,我们建议用多语言知识图谱(MLKG)中的知识来增强MLLM,以解决许多语言(包括低资源语言)的语言和知识图谱任务。具体来说,我们引入了一个轻量级的适配器集,以增强MLLM与跨语言的实体对齐和事实,从MLKG为许多语言。在公共基准测试上的实验表明,这种增强对MLLM和MLKG都有好处,实现了:(1)相对于基线,知识图谱完成和实体对齐的性能相当或改进,特别是对于低资源语言(知识图谱不可用);(2)提高MLLM在需要多语言事实知识的语言理解任务上的表现;同时保持在其他一般语言任务上的表现。
2022-10-26 cs.AI cs.CL
Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages
University of Saarland(萨尔大学);Brno University of Technology(布尔诺理工大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Kempelen Institute of Intelligent Technologies (KInIT)(肯佩伦智能技术研究所)
本文系统比较三种参数高效适配器架构,结合GlotCC文本与ConceptNet图谱使小型多语言模型适配低资源语言,证明其可在少参数下超越全量微调和大型LLM。
2025-02-14 cs.CL
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Tencent Inc.(腾讯公司)
以往的文献表明,预训练的掩蔽语言模型(MLMs),如BERT,可以在一些数据集上实现竞争性的事实知识提取性能,这表明MLMs可能是一个可靠的知识源。在本文中,我们进行了严格的研究,以探索潜在的预测机制的MLMs在不同的提取范式。通过研究多层次模型的行为,我们发现,以前的体面的性能主要归功于有偏见的提示,过度拟合数据集工件。此外,结合说明性案例和外部上下文,提高知识预测,主要是由于实体类型的指导和黄金答案泄漏。我们的研究结果揭示了多层膜的潜在预测机制,并强烈质疑以前的结论,即目前的多层膜可以作为可靠的事实知识基础。
2021-06-17 cs.AI cs.CL
A Storage-Retrieval Gap in Parametric Knowledge Graph Memory
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);University of Oslo(奥斯陆大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出将知识图谱编译为 LoRA 适配器库的参数化知识存储方案,发现其存在存储的知识无法通过语义相似性检索的差距,为参数化知识图谱记忆的应用提供了思路并指出核心开放问题。
2026-10-30 cs.CL cs.IR cs.LG
Protein Representation Learning via Knowledge Enhanced Primary Structure Modeling
The University of Hong Kong(香港大学);Xiaohe Healthcare, ByteDance(字节跳动小荷健康);JancsiTech(Jancsi科技);OPPO HealthLab(OPPO健康实验室)
蛋白质表示学习主要得益于语言模型(LM)的显著发展。因此,预训练的蛋白质模型也面临LM中的问题:缺乏事实知识。最近的解决方案模型之间的关系蛋白质和相关的知识作为知识编码的目标。然而,它未能在更细粒度的级别上探索关系,即,token级别。为了缓解这一问题,我们提出了知识利用蛋白质自动编码器(KeAP),它执行标记级知识图谱探索蛋白质表示学习。在实践中,非掩蔽氨基酸迭代地查询相关联的知识令牌,以提取和整合有用的信息,用于通过注意力恢复掩蔽氨基酸。我们表明,KeAP可以始终优于9个代表性的下游应用程序的前一个对手,有时超过它的大利润率。这些结果表明,KeAP提供了一种替代但有效的方式来执行知识增强的蛋白质表示学习。
2023-02-15 cs.CL cs.LG cs.MM
A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia
EPFL(洛桑联邦理工学院);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);Microsoft Corporation(微软公司)
本文构建反事实数据集 Fakepedia,并提出 MGCT 因果中介分析方法,用于检测 LLM 在参数知识与上下文冲突时的接地机制,证明仅凭计算模式即可区分接地与未接地响应。
2024-06-11 cs.AI cs.CL cs.LG
KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls
University of Science;State Key Laboratory of General Artificial Intelligence, BIGAI;Xiamen University;Northeast Forestry University;Beijing Institute of Technology;Ludwig Maximilian University of Munich;The University of Sydney;C-FAIR\&school of software, Shandong University;State Key Lab. for Novel Software Technology, Nanjing University, P.R. China
KORE通过知识导向的增强和约束,提升大型多模态模型的知识注入能力,同时保留旧知识。方法利用协方差矩阵和投影初始化,有效减少灾难性遗忘。
2026-05-07 cs.CL
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
University of California, Irvine(加州大学欧文分校);University of California, Berkeley(加州大学伯克利分校)
预训练语言模型的巨大成功促使人们研究这些模型在预训练过程中学习到了什么样的知识。将任务重新表述为填空题(例如,完形填空)是测量这些知识的自然方法,然而,它的使用受限于书写适当提示所需的手工努力和猜测。为了解决这个问题,我们开发了AutoPrompt,这是一种自动化的方法,可以根据梯度引导搜索为不同的任务创建提示。使用AutoPrompt,我们表明,掩蔽的语言模型(MLMs)具有固有的能力,执行情感分析和自然语言推理,而无需额外的参数或微调,有时达到与最近的国家的最先进的监督模型的性能。我们还表明,我们的提示引起更准确的事实知识MLMs比手动创建的提示LAMA基准,MLMs可以更有效地作为关系提取器比监督关系抽取模型。这些结果表明,自动生成的提示是现有探测方法的可行的无参数替代方案,并且随着预先训练的LM变得更加复杂和有能力,可能会取代微调。
2020-11-07 cs.CL cs.LG