EvoEdit: Lifelong Free-Text Knowledge Editing through Latent Perturbation Augmentation and Knowledge-driven Parameter Fusion
EvoEdit通过潜在扰动增强和知识驱动参数融合,实现终身自由文本知识编辑,有效解决知识更新与遗忘问题。
2025-12-04 cs.CL
Cool-Fusion: Fuse Large Language Models without Training
Sun Yat-sen University(中山大学)
本文提出无需训练的 Cool-Fusion,通过文本层面的跨模型重排序融合词表不同的异构 LLM,并在 GSM8K 等基准上验证其显著增益。
2025-06-09 cs.CL
On-the-Fly Fusion of Large Language Models and Machine Translation
Microsoft(微软)
本文提出将机器翻译模型与大型语言模型即时集成的方法,实验表明翻译能力略弱的LLM也能提升NMT翻译质量,且优于集成两个更强的MT模型。
2024-05-06 cs.CL
Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
Department of Computer Science, National Centre for Text Mining(计算机科学系、文本挖掘国家中心)
提出Locate-then-Merge训练无关参数融合框架及Neuron-Fusion神经元级策略,通过定位并选择性融合重要参数,在13个基准上缓解多模态大语言模型灾难性遗忘并减少幻觉。
2025-05-22 cs.CL
From Parameters to Behaviors: A Survey of Model Fusion for Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong Polytechnic University(香港理工大学);PolyU-Daya Bay Technology and Innovation Research Institute(香港理工大学大亚湾技术创新研究院);The Chinese University of Hong Kong(香港中文大学)
本文综述了大型语言模型融合领域,将其划分为参数级、表示级和行为级三个层次,并回顾了相关指标、基准与应用,旨在为该领域提供系统性图谱并指引未来研究方向。
2026-10-14 cs.CL
FuseChat: Knowledge Fusion of Chat Models
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本研究提出FuseChat聊天模型知识融合框架,通过成对结构对齐微调与参数空间合并两阶段,将多架构多规模聊天LLM融合为统一模型,7B版本在指令遵循基准上表现优异,接近GPT-3.5-Turbo-1106水平。
2024-08-15 cs.CL
Evaluating the External and Parametric Knowledge Fusion of Large Language Models
本研究针对LLMs外部与参数化知识融合问题,将融合解构为四种场景并构建系统化流水线进行实验,发现增强参数化知识能显著提升整合能力,但在记忆提取及边界确定上仍存挑战。
2024-05-29 cs.AI cs.CL cs.IR
Knowledge Fusion via Bidirectional Information Aggregation
Southeast University(东南大学);Stanford University(斯坦福大学)
本文提出KGA框架,通过动态整合外部知识图谱提升大语言模型的知识更新能力,采用上下文感知的注意力引导机制实现高效的知识融合。
2026-03-23 cs.AI cs.CL
Recurrent Knowledge Identification and Fusion for Language Model Continual Learning
The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学);Peking University(北京大学);University of Illinois at Chicago(伊利诺伊大学香槟分校)
提出Recurrent-KIF框架,通过内外循环迭代执行知识识别与融合,动态估计参数重要性,有效缓解大语言模型持续学习中的灾难性遗忘并增强知识迁移。
2025-05-30 cs.AI cs.CL cs.LG
HiPrompt: Few-Shot Biomedical Knowledge Fusion via Hierarchy-Oriented Prompting
Emory University(埃默里大学);Google Research(谷歌研究院);University of Stuttgart(斯图加特大学);University of Southampton(南安普顿大学)
针对生物医学知识融合中标注稀缺问题,本文提出HiPrompt框架,通过面向层次的提示激发大语言模型的少样本推理能力,并在KG-Hi-BKF基准上验证了其有效性。
2023-04-12 cs.CL cs.IR
Massively Multilingual Shallow Fusion with Large Language Models
Google LLC(谷歌有限责任公司)
虽然大语言模型(LLM)在自然语言处理方面取得了令人印象深刻的进展,但如何利用它们来改进自动语音识别(ASR)仍然不清楚。在这项工作中,我们提出了训练一个单一的多语言语言模型(LM)在多种语言的浅融合。我们通过使用专家混合LLM来扩展多语言LM的限制,以覆盖多达84种语言,即,通用语言模型。当专家数量增加时,GLaM在每个解码步骤中动态地仅选择两个,以保持推理计算大致恒定。然后,我们将GLaM应用于基于最先进的端到端模型的多语言浅融合任务。在推理过程中,GLaM相比于类似计算的密集LM,将英语长尾测试集的WER相对降低了4.4%。在多语言浅融合任务中,GLaM改进了50种语言中的41种,平均相对WER减少了3.85%,最大减少了10%。与基线模型相比,GLaM在43种语言中的WER平均降低了5.53%。
2023-02-17 cs.CL cs.LG
Enhancing Complex Causality Extraction via Improved Subtask Interaction and Knowledge Fusion
Harbin Institute of Technology(哈尔滨工业大学);Huawei Cloud(华为云)
本文提出统一框架UniCE,通过子任务交互机制、双模态知识融合机制和独立解码器同时解决复杂因果关系抽取、子任务交互与知识融合三大挑战,在三个基准上超越ChatGPT至少30% F1,并可通过上下文学习提升ChatGPT性能。
2024-08-06 cs.AI cs.CL
Graph Fusion Across Languages using Large Language Models
本文提出利用大型语言模型进行跨语言图融合框架,通过结构线性化和语义优先级解决多语言知识图谱融合问题,展示了LLM在跨语言知识整合中的有效性。
2026-03-22 cs.CL cs.IR
Context and System Fusion in Post-ASR Emotion Recognition with Large Language Models
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文研究在后ASR语音情感识别任务GenSEC中利用大语言模型进行提示,通过ASR转录排序、可变对话上下文和系统输出融合,发现对话上下文收益递减且转录选择度量至关重要,最终比基线绝对准确率提升20%。
2024-10-04 cs.CL eess.AS
Knowledge Fusion of Large Language Models Via Modular SkillPacks
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学)
GraftLLM通过模块化技能包实现大语言模型的知识融合,提升跨能力迁移的效率和效果。
2026-02-26 cs.AI cs.CL cs.LG
Collaborative Cross-modal Fusion with Large Language Model for Recommendation
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学)
针对现有LLM4Rec方法忽略用户行为协同信号、缺乏模态协同融合的问题,提出CCF-LLM框架,通过混合提示编码双模态信息并结合注意力跨模态融合策略,提升推荐性能。
2024-08-16 cs.CL cs.IR
Fusion-Eval: Integrating Assistant Evaluators with LLMs
Google Deepmind(谷歌DeepMind)
Fusion-Eval利用大型语言模型整合多个专业辅助评估器的评分来评估自然语言系统,在SummEval和TopicalChat上分别取得0.962和0.744的相关性,显著优于基线方法。
2024-06-06 cs.AI cs.CL
A Multi-granularity Concept Sparse Activation and Hierarchical Knowledge Graph Fusion Framework for Rare Disease Diagnosis
School of Software, Yunnan University(云南大学软件学院);Yunnan Key Laboratory of Software Engineering(云南软件工程重点实验室);Yunnan Provincial Hospital of Traditional Chinese Medicine(云南中医药省人民医院)
针对医疗大模型在罕见病诊断中知识表示、概念理解和临床推理不足的问题,提出多粒度概念稀疏激活结合层级知识图谱的框架,经实验和专家评估验证可有效提升诊断效果,缩短患者确诊历程。
2025-08-30 cs.AI cs.CL
Bayesian Network Fusion of Large Language Models for Sentiment Analysis
School of Information Technology, Deakin University(德克萨斯大学信息技术学院);School of Computing Technologies, RMIT University(皇家墨尔本理工学院计算机技术学院)
针对LLM在情感分析中成本高、跨域不一致等问题,提出BNLF框架,通过贝叶斯网络对FinBERT等模型预测进行后期融合,准确率提升约6%。
2025-10-30 cs.AI cs.CL
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
针对AI生成与人类撰写文本的区分需求,提出基于多预训练语言模型嵌入融合的作者归属识别框架,在五类大模型生成的平衡数据集上实现超96%的分类准确率与0.93以上的MCC,验证了方法的有效性与鲁棒性。
2024-11-01 cs.CL cs.LG
Model Fusion through Bayesian Optimization in Language Model Fine-Tuning
KAIST(韩国科学技术院);University of Pittsburgh(匹兹堡大学)
本文针对语言模型微调中损失与指标不一致及模型选择困难问题,提出一种基于多目标贝叶斯优化的模型融合方法,并通过两阶段流程优化超参数,在多个下游任务上取得显著性能提升。
2024-12-27 cs.AI cs.CL
Dataless Knowledge Fusion by Merging Weights of Language Models
University of Southern California(南加州大学);Bloomberg(布莱尔)
针对微调模型训练数据不可得的问题,提出在参数空间合并模型权重的无数据知识融合方法,以最小化预测差异为指导,显著优于基线,可替代多任务学习且更高效。
2025-05-21 cs.CL cs.LG
Advancing Academic Knowledge Retrieval via LLM-enhanced Representation Similarity Fusion
Robo Space(机器人空间);Ant Group(蚂蚁集团)
本文提出LLM-KnowSimFuser,通过微调LLM增强的预训练检索模型并加权融合相似性矩阵,在KDD Cup 2024 AQA Challenge中获得第二名,有效提升了学术知识检索性能。
2024-10-14 cs.CL cs.IR cs.LG
Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition
Apple(苹果公司);Brno University of Technology(布尔诺理工大学)
针对端到端语音识别集成大语言模型时的高计算成本与词表不匹配问题,本文提出延迟融合方法,通过延迟应用LLM分数减少推理调用与打分假设数,支持重分词,实验证实其在解码速度和准确率上均优于浅融合与N-best重打分。
2025-01-16 cs.CL cs.SD eess.AS
User-Controlled Knowledge Fusion in Large Language Models: Balancing Creativity and Hallucination
SenseTime NLP(商汤科技自然语言处理部门)
本文提出一种用户可控机制,通过在LLMs微调阶段引入基于ROUGE、Sentence-BERT和自评估计算的忠实度数值标签,使用户能在推理时控制模型对外部知识的依赖,从而平衡创造性与幻觉。
2023-07-30 cs.AI cs.CL cs.LG
Single and Multi Truth Data Fusion using Large Language Models
Department of Computer Science University of Manchester(计算机科学系曼彻斯特大学)
研究利用大型语言模型(LLM)解决表格数据的单真值和多真值数据融合问题,通过多种提示策略在三个基准数据集上实验,结果表明LLM方法优于传统无监督方法。
2026-06-29 cs.AI cs.CL cs.DB
Fine-grained Knowledge Fusion for Sequence Labeling Domain Adaptation
Nanjing University(南京大学)
在序列标记中,先前的领域自适应方法集中于从源域到整个目标域的自适应,而没有考虑单个目标域样本的多样性,这可能导致对某些样本的负转移结果。此外,序列标记任务的一个重要特征是,给定样本中的不同元素也可能具有不同的域相关性,这需要进一步考虑。针对多层次领域相关性差异,提出了一种细粒度的知识融合模型,该模型采用领域相关性建模方案,控制从目标领域数据学习和从源领域模型学习之间的平衡.三个序列标记任务的实验表明,我们的细粒度知识融合模型优于强基线和其他国家的最先进的序列标记领域自适应方法。
2019-09-10 cs.CL
YA-TA: Towards Personalized Question-Answering Teaching Assistants using Instructor-Student Dual Retrieval-augmented Knowledge Fusion
Yonsei University(延世大学)
本文提出虚拟教学助手YA-TA及其DRAKE框架,通过师生双检索与知识融合生成个性化课程问答,并在真实课堂中验证其有效性。
2024-08-31 cs.CL
End to End Chinese Lexical Fusion Recognition with Sememe Knowledge
Wuhan University(武汉大学);Tianjin University(天津大学)
本文提出了汉语词汇融合识别这一新课题,它可以看作是共指识别的一种。首先,我们详细介绍了任务,展示了与共指识别的关系以及与现有任务的差异。其次,我们提出了一个端到端的联合模型的任务,利用国家的最先进的BERT表示作为编码器,并进一步加强与知网的图注意力网络的义位知识。我们手动标注了一个基准数据集,并在其上进行了实验,实验结果表明,我们的联合模型是有效的和有竞争力的任务。详细的分析提供了全面理解新的任务和我们提出的模型。
2020-04-11 cs.CL
Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion
Shanghai University of Electric Power(上海电力大学);Tongji University(同济大学);University of Munich(慕尼黑大学);Alibaba Local Life Service Co., Ltd(阿里巴巴本地生活服务有限公司)
开放域多回合对话通常面临如何丰富和扩展对话内容的挑战。近年来,许多基于外部知识的方法被提出来生成丰富的语义和信息会话。两种类型的知识已经研究了知识感知的开放域对话生成:结构化的三元组从知识图谱和非结构化的文本从文档。为了充分利用文档中丰富的非结构化潜在知识和结构化知识图谱的信息扩展能力,本文提出了一种新的对话生成模型--基于开放域聊天机的动态多形式知识融合模型(DMKCM)。DMKCM应用索引文本(虚拟知识库)将相关文档定位为第一跳,然后使用常识知识图谱扩展对话的内容及其第一跳,三倍于第二跳。为了将这两种形式的知识有效地融合到对话中,我们设计了一个动态的虚拟知识选择器和一个控制器来丰富和扩展知识空间。此外,DMKCM采用了一种新的动态知识记忆模块,有效地利用历史推理知识,以产生更好的反应。实验结果表明,我们的方法在对话连贯性和信息量方面是有效的。
2022-04-24 cs.CL
Transfer learning of language-independent end-to-end ASR with language model fusion
Johns Hopkins University(约翰斯·霍普金斯大学)
本文在迁移学习的框架下,利用外部语言模型(LM),探索了更好地适应低资源语言的方法。我们首先建立一个独立于语言的ASR系统在一个统一的序列到序列(S2S)的架构与所有语言之间的共享词汇。在自适应过程中,我们执行LM融合传输,其中外部LM被集成到基于注意力的S2S模型的解码器网络中,在整个自适应阶段,以有效地纳入目标语言的语言背景。我们还研究了迁移学习的各种种子模型。使用IARPA BABEL数据集的实验评估表明,LM融合传输提高了所有目标五种语言的性能相比,简单的迁移学习时,外部文本数据。我们的最终系统大大减少了混合动力系统的性能差距。
2019-05-07 cs.CL
Bridging Semantic Gaps in RAG through Generated Context Knowledge Fusion
Beijing Wanlian Zhilian Technology Corporation Limited(北京万联智联科技有限公司);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Sunshine Digital Intelligence Tech Co., Ltd.(阳光数字智能科技有限公司)
针对RAG中查询与检索上下文语义不匹配的问题,提出KASB框架,通过智能知识融合对齐语义空间,提升段落选择质量,并在三个开放域问答数据集上验证有效性。
2026-09-30 cs.CL
CMV-Fuse: Cross Modal-View Fusion of AMR, Syntax, and Knowledge Representations for Aspect Based Sentiment Analysis
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
CMV-Fuse通过融合语法、语义和知识表示,提升基于方面的情感分析的鲁棒性,采用层次门控注意力机制和多视图对比学习,实现结构和语义的双重建模。
2026-03-19 cs.CL
Automated Construction of a Knowledge Graph of Nuclear Fusion Energy for Effective Elicitation and Retrieval of Information
UK Atomic Energy Authority, Culham Campus(英国原子能管理局,库尔汉校区);STFC Hartree Centre(STFC哈特里中心);Sci-Tech Daresbury(科技达尔斯伯里);IBM Research(IBM研究院)
本文提出多步骤自动化构建知识图谱的方法,用于组织和表示大型文档语料中的领域知识。通过构建首个核聚变能源知识图谱,验证了自动命名实体识别和实体解析等关键功能,并评估了预训练大语言模型在处理挑战时的表现。
2026-05-14 cs.CL
Choice Fusion as Knowledge for Zero-Shot Dialogue State Tracking
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
随着在新领域中以更低的成本部署对话系统的需求,zero-shot对话状态跟踪(DST),它在面向任务的对话中跟踪用户的需求,而不需要在期望的领域进行训练,越来越受到关注。尽管先前的工作已经利用问答(QA)数据来减少DST中对域内训练的需求,但是它们未能明确地对用于跟踪对话状态的知识转移和融合进行建模。为了解决这个问题,我们提出了CoFunDST,它是在领域无关的QA数据集上训练的,并直接使用槽值的候选选择作为zero-shot对话状态生成的知识,基于T5预训练的语言模型。具体来说,CoFunDST选择与参考上下文高度相关的选择,并将它们融合以初始化解码器来约束模型输出。我们的实验结果表明,我们提出的模型在MultiWOZ 2.1上的大多数领域中实现了优于现有zero-shot DST方法的联合目标精度。大量的分析表明,我们提出的方法,以改善zero-shot DST学习QA的有效性。
2023-02-25 cs.CL
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University(亚利桑那州立大学)
开放领域问答需要系统检索外部知识,并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中,我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中,我们学习了一个语义知识排序模型,通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”,利用外部检索的知识和基于BERT的语言模型的知识,并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上,具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Dynamic Fusion: Attentional Language Model for Neural Machine Translation
Tokyo Metropolitan University(东京都立大学)
神经机器翻译(NMT)可用于生成流畅的输出。因此,语言模型已经被研究用于与NMT结合。在先前的研究中,已经使用了两个模型:翻译模型和语言模型。翻译模型的预测由语言模型预先用手工制作的比率加权。然而,这些方法未能采用语言模型加权关于翻译历史。在另一种方法中,通过联合考虑源和目标信息,将语言模型预测合并到翻译模型中。然而,这种方法是有限的,因为它在很大程度上忽略了翻译输出的适当性。因此,本工作采用两种机制,即翻译模型和语言模型,并将对语言模型的关注架构作为翻译模型的辅助元素。与以前的工作相比,在英语-日语机器翻译使用语言模型,所获得的实验结果与建议的动态融合机制提高BLEU和基于排名的直观双语评价分数(RIBES)的分数。此外,在语言模型的注意力和预测性的分析中,动态融合机制允许符合适当语法结构的预测语言建模。
2019-09-11 cs.CL
Memory Attentive Fusion: External Language Model Integration for Transformer-based Sequence-to-Sequence Model
Hikarinooka, Yokosuka-Shi, Kanagawa 239-0847, Japan(1-1 Hikarinooka,横须贺市,神奈川县239-0847,日本)
本文提出了一种新的融合方法,将外部语言模型(LM)集成到基于Transformer的序列到序列(seq 2seq)模型中。虽然配对数据基本上需要训练seq 2seq模型,但外部LM可以仅使用未配对数据进行训练。因此,重要的是利用外部LM中存储的知识来构建seq 2seq模型,因为很难准备大量的配对数据。然而,现有的融合方法假设LM与基于递归神经网络的seq 2seq模型而不是Transformer集成。因此,本文提出了一种融合方法,可以显式地利用网络结构中的Transformer。所提出的方法,称为{ \bf记忆注意力融合},利用变压器式的注意力机制,重复源-目标的注意力,在多跳的方式读取记忆的知识LM。实验结果表明,该方法优于传统的融合方法。
2020-10-29 cs.CL
Improving Low-Resource Sequence Labeling with Knowledge Fusion and Contextual Label Explanations
School of Computer Science, Peking University(北京大学计算机科学学院);Institute of Computational Social Science, Peking University (Qingdao)(北京大学计算社会科学研究所);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
针对低资源特定领域中文序列标注的适用性不足与语义偏差问题,提出结合LLM知识增强工作流与KnowFREE模型的框架,通过上下文标签解释与扩展标签特征,实现了低资源场景下的最优性能。
2025-10-04 cs.CL
Cross-lingual Representation Learning via Centroid Intervention Fusion
KU Leuven(鲁汶大学)
本文针对大语言模型跨语言性能不均的问题,提出CIF框架整合多语言干预投影,在四类基准测试中提升了跨语言性能,尤其优化了低资源语言表现。
2026-08-28 cs.CL
Collaboration of Fusion and Independence: Hypercomplex-driven Robust Multi-Modal Knowledge Graph Completion
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);ZJU-Ant Group Joint Lab of Knowledge Graph(浙大蚂蚁集团知识图谱联合实验室);Ant Group(蚂蚁集团)
本文提出M-Hyper方法,结合融合与独立模态表示,利用四元数代数实现多模态交互,提升知识图谱补全的鲁棒性和效率。
2026-04-17 cs.CL
Time-aware Multiway Adaptive Fusion Network for Temporal Knowledge Graph Question Answering
Tsinghua University(清华大学);Meituan Inc.(美团公司)
由于知识图在自然语言处理中的广泛应用,知识图受到了越来越多的关注。然而,其在时间问答(QA)上的用例尚未得到很好的探索。大多数现有的方法是基于预先训练的语言模型开发的,这可能无法学习\emph{temporal-specific}表示的实体在时间KGQA任务。为了缓解这个问题,我们提出了一种新的\textbf{T} ime-aware \textbf{M}多路\textbf{A}自适应(\textbf{TMA})融合网络。灵感来自于人类一步一步的推理行为。对于每个给定的问题,TMA首先从KG中提取相关的概念,然后将它们馈送到多路自适应模块中以产生问题的\emph{temporal-specific}表示。该表示可以与预训练的KG嵌入结合以生成最终预测。实验结果表明,该模型在基准数据集上的性能优于现有的模型。值得注意的是,与性能最佳的基线相比,TMA在CronQuestions数据集的复杂问题上的Hits@1和Hits@10结果绝对提高了24%和10%。此外,我们还表明,TMA采用自适应融合机制,可以通过分析问题表示中的信息比例提供可解释性。
2023-03-14 cs.CL
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA(英伟达)
生产中的文本规范化(TN)系统在很大程度上是基于规则的,使用加权有限状态转换器(WFST)。然而,当规范化形式是上下文相关的时,基于WFST的系统与模糊输入作斗争。另一方面,神经文本规范化系统可以考虑上下文,但他们遭受不可恢复的错误,并需要标记的规范化数据集,这是很难收集。我们提出了一种新的混合方法,结合了基于规则和神经系统的好处。首先,非确定性WFST输出所有标准化候选,然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误,但语言模型解决了上下文歧义。该方法很容易扩展,我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
A Cognitive Stimulation Dialogue System with Multi-source Knowledge Fusion for Elders with Cognitive Impairment
The University of Hong Kong(香港大学)
本文针对中文认知障碍老年人对话数据稀疏问题,构建CSConv数据集并提出多源知识融合方法,生成符合认知刺激原则和情感支持策略的开放式回应,实验验证了其有效性。
2023-05-14 cs.CL
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding
Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院)
mBERT、Unicoder和XLM等大规模跨语言语言模型在跨语言表示学习中取得了巨大的成功。然而,当应用于zero-shot跨语言迁移任务时,大多数现有方法仅使用单一语言输入进行LM微调,而不利用不同语言之间的内在跨语言对齐,这对于多语言任务来说是必不可少的。在本文中,我们提出了过滤器,一个增强的融合方法,跨语言的数据作为输入XLM微调。具体来说,FILTER首先在浅层对源语言输入的文本及其在目标语言中的翻译进行独立编码,然后在中间层进行跨语言融合以提取多语言知识,最后进行进一步的特定语言编码。在推理过程中,该模型根据目标语言的文本输入及其在源语言中的翻译进行预测。对于分类等简单任务,目标语言的翻译文本与源语言共享相同的标签。然而,这种共享标签变得不太准确,甚至不可用于更复杂的任务,例如问答、NER和POS标记。为了解决这个问题,我们进一步提出了一个额外的KL发散自学损失模型训练,基于自动生成的软伪标签的翻译文本在目标语言。大量的实验表明,FILTER在两个具有挑战性的多语言多任务基准测试(XTREME和XGLUE)上达到了新的水平。
2020-12-15 cs.CL
Improving LLM-based Document-level Machine Translation with Multi-Knowledge Fusion
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译服务中心)
本文提出融合文档摘要与实体翻译的多知识策略,用于改进基于 LLM 的文档级机器翻译,并在八项任务及三个模型上验证其 COMET 提升。
2025-03-15 cs.CL
Improved Neural Language Model Fusion for Streaming Recurrent Neural Network Transducer
Facebook AI(脸书人工智能研究院)
与大多数端到端语音识别模型架构一样,循环神经网络转换器(RNN-T)具有隐式神经网络语言模型(NNLM),并且在训练期间无法轻松利用不成对的文本数据。以前的工作已经提出了各种融合方法,将外部NNLM合并到端到端ASR中,以解决这一弱点。在本文中,我们提出了对这些技术的扩展,允许RNN-T在训练和推理时间内利用外部NNLM,与强基线相比,Librispeech的相对单词出错率提高了13-18%。此外,我们的方法不会产生额外的算法延迟,并且允许灵活地即插即用不同的NNLM,而无需重新训练。我们还分享了深入的分析,以更好地了解不同NNLM融合方法的好处。我们的工作提供了一种可靠的技术,可以利用未配对的文本数据来显着改进RNN-T,同时保持系统的可流化,灵活和轻量级。
2020-10-26 cs.CL
Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases
Innovation Hub, PricewaterhouseCoopers(普华永道创新中心)
本文提出Toolshed知识库和高级RAG-工具融合方法,通过三阶段检索增强优化大规模工具装备智能体的工具选择,在多个基准上显著提升性能。
2024-10-22 cs.CL
Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models
Durham University(杜伦大学)
我们考虑将现实世界的常识知识融入深度自然语言推理(NLI)模型的任务。现有的外部知识整合方法仅限于词汇层面的知识,缺乏跨NLI模型、数据集和常识知识源的泛化。为了解决这些问题,我们提出了一种新的NLI模型独立的神经框架,BiCAM。BiCAM将真实世界的常识知识融入NLI模型。结合卷积特征检测器和双线性特征融合,BiCAM提供了一种概念上简单的机制,可以很好地推广。使用SNLI和SciTail数据集上的两个最先进的NLI基线与ConceptNet和Aristo Tuple KG进行的定量评估表明,BiCAM大大提高了合并的NLI基线的准确性。例如,我们的BiECAM模型,BiCAM的一个实例,在具有挑战性的SciTail数据集上,使用ConceptNet将合并基线的准确性提高了7.0%,使用Aristo Tuple KG提高了8.0%。
2020-10-22 cs.CL cs.LG
Simple Fusion: Return of the Language Model
University of Cambridge(剑桥大学);Facebook(脸书)
神经机器翻译(NMT)通常通过反向翻译在训练中利用单语数据。我们研究了一种使用单语数据进行NMT训练的替代简单方法:我们将预先训练和固定的语言模型(LM)的分数与翻译模型(TM)的分数相结合,同时从头开始训练TM。为了实现这一点,我们训练翻译模型来预测添加到LM预测中的训练数据的剩余概率。这使得TM能够将其能力集中在对源句子进行建模上,因为它可以依赖LM来实现流畅性。我们表明,我们的方法优于以前的方法将LM集成到NMT,而架构更简单,因为它不需要门控网络来平衡TM和LM。我们在所有四个测试集(英语-土耳其语,土耳其语-英语,爱沙尼亚语-英语,科萨语-英语)上观察到在没有LM的合奏之上的+0.24和+2.36 BLEU之间的增益。我们将我们的方法与其他方法进行比较,以利用单语数据,如反向翻译,浅融合和冷融合。
2019-01-24 cs.CL
Guiding CTC Posterior Spike Timings for Improved Posterior Fusion and Knowledge Distillation
IBM Research - Tokyo(IBM东京研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
传统的自动语音识别(ASR)系统从帧级对齐训练可以很容易地利用后验融合来提高ASR的准确性,并建立一个更好的单一模型与知识蒸馏。使用连接时间分类(CTC)损失训练的端到端ASR系统不需要帧级对齐,因此简化了模型训练。然而,稀疏和任意的后验尖峰时间从CTC模型提出了一组新的挑战,后验融合从多个模型和知识蒸馏之间的CTC模型。我们提出了一种方法来训练一个CTC模型,使其尖峰时间的指导,以配合一个预先训练的指导CTC模型。因此,共享相同引导模型的所有模型具有对齐的尖峰定时。我们展示了我们的方法在各种场景下的优势,包括CTC模型的后验融合和具有不同架构的CTC模型之间的知识蒸馏。使用300小时的Switchboard训练数据,从多个模型中提取的单字CTC模型将Hub 5 2000 Switchboard/CallHome测试集上的单词出错率从14.9%/24.1%提高到13.7%/23.1%,而不使用任何数据增强、语言模型或复杂解码器。
2019-07-02 cs.AI cs.CL
Dynamic Knowledge Fusion for Multi-Domain Dialogue State Tracking
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd(中国电信人工智能研究院(TeleAI))
本文提出一种动态知识融合框架,通过对比学习和结构化提示提升多领域对话状态跟踪的准确性和泛化能力。
2026-03-11 cs.AI cs.CL
Fuse to Forget: Bias Reduction and Selective Memorization through Model Fusion
UNC Chapel Hill(北卡罗来纳大学教堂山分校);IBM Research(IBM研究院)
本研究探讨模型融合的逆问题,发现在分类和生成任务中融合能增强模型间共享知识并遗忘非共享知识,从而有效减少微调语言模型中的捷径学习、社会偏差和训练数据记忆,展示了其作为去偏差工具和解决隐私问题的潜力。
2024-10-10 cs.AI cs.CL cs.LG
Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition
Xinjiang University(新疆大学);South China University of Technology(华南理工大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
基于内部语言模型估计(ILME)的语言模型(LM)融合在域内和跨域语音识别任务中均显示出比传统的浅融合显著改善的识别结果。在本文中,我们尝试将我们的ILME方法应用到跨域码切换语音识别(CSSR)的工作。具体来说,我们的好奇心来自几个方面。首先,我们很好奇基于ILME的LM融合对于域内和跨域CSSR任务的有效性。我们验证了这一点,或没有合并两个代码转换域。更重要的是,我们训练一个端到端(E2E)的语音识别模型通过合并两个单语数据集,并观察所提出的ILME为基础的LM融合CSSR的效果。在东南亚和中国大陆CS数据集SEAME上的实验结果验证了该方法的有效性。
2022-07-09 cs.CL cs.SD eess.AS