Do Language Models Understand Morality? Towards a Robust Detection of Moral Content
University of Catania(卡塔尼亚大学);ISTC - National Research Council(ISTC国家研究委员会);University of Bologna(博洛尼亚大学)
本文针对道德内容检测中的过拟合和跨领域泛化问题,提出基于 GPT 3.5 和 NLI 的零样本无监督多标签分类方法,并与监督模型进行跨领域比较,证明无监督方法具有竞争力且无需标注训练。
2024-06-06 cs.AI cs.CL cs.LG
Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Fidelity Investments(富达投资)
研究发现视觉语言模型在面对文本和视觉扰动时道德判断易变,需通过轻量干预提升道德鲁棒性以确保负责任的部署。
2026-01-23 cs.AI cs.CL cs.CV
Fine-grained Knowledge Fusion for Sequence Labeling Domain Adaptation
Nanjing University(南京大学)
在序列标记中,先前的领域自适应方法集中于从源域到整个目标域的自适应,而没有考虑单个目标域样本的多样性,这可能导致对某些样本的负转移结果。此外,序列标记任务的一个重要特征是,给定样本中的不同元素也可能具有不同的域相关性,这需要进一步考虑。针对多层次领域相关性差异,提出了一种细粒度的知识融合模型,该模型采用领域相关性建模方案,控制从目标领域数据学习和从源领域模型学习之间的平衡.三个序列标记任务的实验表明,我们的细粒度知识融合模型优于强基线和其他国家的最先进的序列标记领域自适应方法。
2019-09-10 cs.CL
Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog
Harbin Institute of Technology(哈尔滨工业大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
最近的研究表明,在端到端的面向任务的对话系统显着的成功。然而,大多数神经模型依赖于大型训练数据,这些数据仅可用于一定数量的任务域,例如导航和调度。这使得它很难扩展为一个新的领域与有限的标记数据。然而,关于如何有效地使用来自所有域的数据来提高每个域和未见过域的性能的研究相对较少。为此,我们研究的方法,可以明确使用领域知识,并引入一个共享的私人网络来学习共享和特定的知识。此外,我们提出了一种新的动态融合网络(DF-Net),自动利用目标域和每个域之间的相关性。结果表明,我们的模型优于现有的方法在多领域的对话,给国家的最先进的文献。此外,在训练数据较少的情况下,该模型的平均性能优于先验最优模型13.9%,表明了该模型的可移植性。
2020-06-11 cs.CL
qa-FLoRA: Data-free query-adaptive Fusion of LoRAs for LLMs
qa-FLoRA通过动态计算层级融合权重,无需数据和训练,实现LoRA的查询自适应融合,有效提升多领域任务性能。
2025-12-12 cs.CL
Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms
Tencent(腾讯);Fudan University(复旦大学)
该研究探究Merge、Mix RL、MOPD三种RLVR融合范式的性能差异与适用场景,发现其平均性能差最多1.4点,单基准差达8.6点,给出了不同场景下的选择指南。
2026-09-21 cs.CL
Cross-Domain Transfer and Few-Shot Learning for Personal Identifiable Information Recognition
Department of Computer Science, School of Information Science and Technology(信息科学与技术学院计算机科学系);Guangdong University of Foreign Studies(广东外语外贸大学)
本文提出通过跨领域迁移、多领域数据融合和少样本学习方法,提升个人可识别信息识别的准确性和效率。
2026-01-12 cs.CL
Choice Fusion as Knowledge for Zero-Shot Dialogue State Tracking
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
随着在新领域中以更低的成本部署对话系统的需求,zero-shot对话状态跟踪(DST),它在面向任务的对话中跟踪用户的需求,而不需要在期望的领域进行训练,越来越受到关注。尽管先前的工作已经利用问答(QA)数据来减少DST中对域内训练的需求,但是它们未能明确地对用于跟踪对话状态的知识转移和融合进行建模。为了解决这个问题,我们提出了CoFunDST,它是在领域无关的QA数据集上训练的,并直接使用槽值的候选选择作为zero-shot对话状态生成的知识,基于T5预训练的语言模型。具体来说,CoFunDST选择与参考上下文高度相关的选择,并将它们融合以初始化解码器来约束模型输出。我们的实验结果表明,我们提出的模型在MultiWOZ 2.1上的大多数领域中实现了优于现有zero-shot DST方法的联合目标精度。大量的分析表明,我们提出的方法,以改善zero-shot DST学习QA的有效性。
2023-02-25 cs.CL
Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion
Shanghai University of Electric Power(上海电力大学);Tongji University(同济大学);University of Munich(慕尼黑大学);Alibaba Local Life Service Co., Ltd(阿里巴巴本地生活服务有限公司)
开放域多回合对话通常面临如何丰富和扩展对话内容的挑战。近年来,许多基于外部知识的方法被提出来生成丰富的语义和信息会话。两种类型的知识已经研究了知识感知的开放域对话生成:结构化的三元组从知识图谱和非结构化的文本从文档。为了充分利用文档中丰富的非结构化潜在知识和结构化知识图谱的信息扩展能力,本文提出了一种新的对话生成模型--基于开放域聊天机的动态多形式知识融合模型(DMKCM)。DMKCM应用索引文本(虚拟知识库)将相关文档定位为第一跳,然后使用常识知识图谱扩展对话的内容及其第一跳,三倍于第二跳。为了将这两种形式的知识有效地融合到对话中,我们设计了一个动态的虚拟知识选择器和一个控制器来丰富和扩展知识空间。此外,DMKCM采用了一种新的动态知识记忆模块,有效地利用历史推理知识,以产生更好的反应。实验结果表明,我们的方法在对话连贯性和信息量方面是有效的。
2022-04-24 cs.CL
ReFilter: Improving Robustness of Retrieval-Augmented Generation via Gated Filter
City University of Hong Kong(香港城市大学);University of Waterloo(滑铁卢大学)
ReFilter通过门控过滤提升检索增强生成的鲁棒性,实现跨领域问答任务的高性能表现。
2026-02-13 cs.CL
Context Quality Matters in Training Fusion-in-Decoder for Extractive Open-Domain Question Answering
NEC Corporation(日本电气公司)
本文研究了训练时的上下文质量对Fusion-in-Decoder模型在抽取式开放域问答中性能的影响,发现模型会对上下文质量过拟合,并提出通过向交叉注意力分布引入偏置来有效缓解此问题。
2024-03-21 cs.CL
General LLMs as Instructors for Domain-Specific LLMs: A Sequential Fusion Method to Integrate Extraction and Editing
Central South University(中南大学);Shanghai Jiao Tong University(上海交通大学);SiChuan University(四川大学);Xidian University(西安电子科技大学)
本文针对小样本领域专家推理更新LLM的挑战,提出一种两阶段顺序融合方法,先利用通用LLM进行关系抽取,再通过知识编辑更新领域专用LLM,在医疗和经济学数据集上分别取得71.7%和75.0%的准确率。
2024-11-13 cs.CL
Internal Language Model Estimation based Language Model Fusion for Cross-Domain Code-Switching Speech Recognition
Xinjiang University(新疆大学);South China University of Technology(华南理工大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
基于内部语言模型估计(ILME)的语言模型(LM)融合在域内和跨域语音识别任务中均显示出比传统的浅融合显著改善的识别结果。在本文中,我们尝试将我们的ILME方法应用到跨域码切换语音识别(CSSR)的工作。具体来说,我们的好奇心来自几个方面。首先,我们很好奇基于ILME的LM融合对于域内和跨域CSSR任务的有效性。我们验证了这一点,或没有合并两个代码转换域。更重要的是,我们训练一个端到端(E2E)的语音识别模型通过合并两个单语数据集,并观察所提出的ILME为基础的LM融合CSSR的效果。在东南亚和中国大陆CS数据集SEAME上的实验结果验证了该方法的有效性。
2022-07-09 cs.CL cs.SD eess.AS
Dynamic Knowledge Fusion for Multi-Domain Dialogue State Tracking
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd(中国电信人工智能研究院(TeleAI))
本文提出一种动态知识融合框架,通过对比学习和结构化提示提升多领域对话状态跟踪的准确性和泛化能力。
2026-03-11 cs.AI cs.CL
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University(亚利桑那州立大学)
开放领域问答需要系统检索外部知识,并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中,我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中,我们学习了一个语义知识排序模型,通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”,利用外部检索的知识和基于BERT的语言模型的知识,并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上,具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学网络安全学院);The Pennsylvania State University, University Park, USA(宾夕法尼亚州立大学);Beihang University, Beijing, China(北航大学)
针对云边协作中跨域问题解决的需求,提出剪枝-训练-恢复框架和冲突解决模块LoRA-CR,发现现有LoRA融合方法在跨域基准MMLU-CD上表现不佳,而LoRA-CR通过缓解参数冲突将性能提升高达3.8%。
2026-04-09 cs.CL cs.DC
Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation
ByteDance(字节跳动)
ASR模型部署环境是不断变化的,并且传入的语音可以在会话期间跨不同域切换。这就给只有目标域文本数据时有效的领域自适应带来了挑战,我们的目标是在目标域上获得明显提高的性能,而在一般域上的性能受到较少的损害。在本文中,我们提出了一种自适应LM融合方法称为内部语言模型估计为基础的自适应领域自适应(ILME-ADA)。为了实现这样的ILME-ADA,基于分别来自内部LM和外部LM(ELM)的分数的最大值来计算内插对数似然分数。我们证明了所提出的ILME-ADA方法与RNN-T和LAS建模框架的有效性,分别采用神经网络和n-gram LM作为ELMs在两个特定领域(目标)测试集上。该方法可以实现显着更好的性能目标测试集上,而它得到最小的性能下降的一般测试集上,相比浅和ILME基于LM融合方法。
2023-03-02 cs.CL cs.SD eess.AS
RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question Answering
Westlake University(西湖大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出RFiD模型,通过利用FiD编码器区分因果关系与虚假特征并引导解码器生成答案,在NQ和TriviaQA数据集上提升了开放域问答的精确匹配分数和因果识别能力。
2023-05-26 cs.AI cs.CL
Faithfulness metric fusion: Improving the evaluation of LLM trustworthiness across domains
CEDPS Brunel University London London, UK(CEDPS 布伦大学伦敦 英国)
通过融合多种可信度度量,提升LLM在不同领域中的可信度评估能力,并通过同质化数据集验证其有效性。
2025-12-05 cs.AI cs.CL
Efficient Context and Schema Fusion Networks for Multi-Domain Dialogue State Tracking
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院人工智能教育部重点实验室);SpeechLab, Department of Computer Science and Engineering(计算机科学与工程系语音实验室);Shanghai Jiao Tong University(上海交通大学)
对话状态跟踪(DST)的目的是估计当前的对话状态给定的所有前面的对话。对于多域DST,数据稀疏性问题是一个主要的障碍,由于增加的候选状态和对话长度的数量。为了有效地编码对话上下文,我们利用先前的对话状态(预测)和当前对话话语作为DST的输入。为了考虑不同域槽之间的关系,利用了包含先验知识的模式图。本文提出了一种新颖的上下文和模式融合网络,利用内部和外部注意力机制对对话上下文和模式图进行编码。实验结果表明,我们的方法可以获得新的国家的最先进的性能的开放词汇DST在MultiWOZ 2.0和MultiWOZ 2.1基准测试。
2020-10-07 cs.AI cs.CL
Dynamic Schema Graph Fusion Network for Multi-Domain Dialogue State Tracking
University College London(伦敦大学学院);Zhejiang University(浙江大学)
对话状态跟踪(DST)旨在跟踪用户在对话过程中的意图。在DST中,域和槽之间的关系的建模仍然是一个研究不足的问题。考虑这种关系的现有方法通常在以下方面存在不足:(1)明确地融合先前的槽域成员关系和对话感知的动态槽关系,以及(2)推广到看不见的域。为了解决这些问题,我们提出了一种新的\textbf{D}架构的\textbf{S}的\textbf{G}?\textbf{F}?\textbf{Net}工作(\textbf{DSGFNet}),它产生一个动态模式图显式融合以前的插槽域成员关系和对话感知的动态插槽关系。它还使用图式来促进知识转移到新的领域。DSGFNet由对话发声编码器、模式图编码器、对话感知模式图进化网络和模式图增强对话状态解码器组成。基准数据集的经验结果(即,SGD,MultiWOZ2.1和MultiWOZ2.2),表明DSGFNet优于现有方法。
2022-04-15 cs.CL cs.IR
Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher(独立研究者);Boston University(波士顿大学);Binghamton University(伯克利大学)
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
Fusion of Domain-Adapted Vision and Language Models for Medical Visual Question Answering
Technische Universität München(慕尼黑工业大学);Siemens Healthineers AG(西门子医疗股份公司);Siemens AG(西门子股份公司)
针对医学领域视觉问答效果不佳的问题,提出融合医学领域适配的大型视觉与语言模型,经三阶段参数高效训练,在 SLAKE 1.0 和 VQA-RAD 数据集上分别取得 87.5% 和 73.2% 的准确率。
2024-04-24 cs.CL cs.CV
Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text
Carnegie Mellon University(卡内基梅隆大学)
开放领域问答(QA)正从复杂的流水线系统向端到端的深度神经网络发展。已经开发了专门的神经模型,用于仅从文本或仅从知识库(KB)中提取答案。在本文中,我们看看一个更实际的设置,即QA的KB和实体链接的文本,这是适当的组合时,一个不完整的KB是一个大的文本语料库。基于图表示学习的最新进展,我们提出了一种新的模型,GRAFT-Net,用于从包含文本和KB实体和关系的特定于问题的子图中提取答案。我们为这个问题构建了一套基准任务,改变了问题的难度、训练数据的量和知识库的完整性。我们表明,GRAFT-Net是有竞争力的国家的最先进的测试时,使用知识库或文本单独,大大优于现有的方法在组合设置。源代码可在https://github.com/OceanskySun/GraftNet上获得。
2018-09-04 cs.CL cs.LG
MI-Fuse: Label Fusion for Unsupervised Domain Adaptation with Closed-Source Large-Audio Language Model
National Taiwan University, Taiwan(国立台湾大学)
针对无源数据且仅API可用的LALM场景,提出MI-Fuse去噪标签融合框架,结合互信息加权与EMA教师,使学生模型在目标域超越LALM,并在六种跨域迁移中比最强基线高3.9%。
2025-09-25 cs.CL cs.SD eess.AS
Neural Entity Recognition with Gazetteer based Fusion
Amazon AWS AI(亚马逊AWS人工智能部门)
将外部知识引入到命名实体识别(NER)系统中已经在通用领域得到了广泛的研究。在本文中,我们专注于临床领域,只有有限的数据是可访问的,可解释性是很重要的。最近技术的进步和临床试验的加速导致了新药物、程序和医疗条件的发现。这些因素促使建立强大的zero-shot NER系统,可以快速适应新的医学术语。我们提出了一个辅助地名词典模型,并将其与NER系统融合,从而在不同的临床数据集上具有更好的鲁棒性和可解释性。我们的基于地名词典的融合模型是数据高效的,使用20%的训练数据在i2b2数据集上实现了+1.7微F1增益,并在训练期间从未出现的新实体提及上带来了+4.7微F1增益。此外,我们的融合模型是能够快速适应新的地名索引中提到的,而无需重新训练,所提出的融合模型的收益是可转移到相关的数据集。
2021-05-27 cs.AI cs.CL
A Density Ratio Approach to Language Model Fusion in End-To-End Automatic Speech Recognition
Google Inc.(谷歌公司)
本文描述了一种密度比方法,用于将外部语言模型(LM)集成到自动语音识别(ASR)的端到端模型中。应用于在给定域上训练的递归神经网络转换器(RNN-T)ASR模型、匹配的域内RNN-LM和目标域RNN-LM,所提出的方法使用贝叶斯规则来定义目标域的RNN-T后验,以直接类似于基于隐马尔可夫模型(HMM)框架中的深度神经网络(DNN)或LSTM的ASR的经典混合模型的方式(Bourlard & Morgan,1994年)。所提出的方法在跨域和有限数据场景中进行评估,其中大量的目标域文本数据用于LM训练,但只有有限的(或没有){音频,转录}训练数据对用于训练RNN-T。具体来说,对来自YouTube的配对音频和转录数据训练的RNN-T模型进行评估,以评估其推广到语音搜索数据的能力。发现密度比方法始终优于LM和端到端ASR集成的主要方法,即浅融合。
2020-02-28 cs.CL cs.SD eess.AS
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering
Samsung Research(三星研究院)
生成模型最近开始在开放领域问答中优于提取模型,主要是通过利用其解码器来参与多个编码段落并组合其信息。然而,由于需要解码器,生成模型往往大于提取模型,由于自回归解码器束搜索,生成模型在推理期间运行得更慢,并且生成模型的生成输出经常遭受幻觉。我们建议扩展Transformer编码器,使其能够融合来自多个通道的信息,使用全局表示来提供跨样本的所有标记的跨样本注意力。此外,我们提出了一种替代的答案跨度概率计算,以更好地聚合所有样本的全局空间中的答案分数。使用我们提出的方法,我们优于目前的国家的最先进的方法$2.5$精确匹配得分的自然问题数据集,而只使用$25\%$的参数和$35\%$的延迟在推理过程中,和$4.4$精确匹配的WebQuestions数据集。当与合成数据增强相结合时,我们在TriviaQA数据集上的表现也优于更大的模型。我们的方法的延迟和参数节省使其特别有吸引力的开放域问答,因为这些模型往往是计算密集型的。
2022-11-18 cs.AI cs.CL cs.IR