Multi-Source Deep Domain Adaptation with Weak Supervision for Time-Series Sensor Data
Washington State University（华盛顿州立大学）
领域自适应（DA）为新问题域的数据和模型重用提供了一种有价值的手段。然而，强大的技术尚未被认为是时间序列数据与不同数量的数据可用性。在本文中，我们做了三个主要贡献，以填补这一空白。首先，我们提出了一种新的时间序列数据卷积深度领域自适应模型（CoDATS），该模型在现实世界传感器数据基准测试中显着提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据，我们增加了CoDATS的有用性，以进一步提高先前单源方法的准确性，特别是在域之间具有高度可变性的复杂时间序列数据集上。其次，我们提出了一种新的领域自适应与弱监督（DA-WS）方法，利用弱监督的形式，目标域标签分布，这可能是更容易收集比额外的数据标签。第三，我们在不同的真实世界数据集上进行综合实验，以评估我们的领域自适应和弱监督方法的有效性。结果表明，单源DA的CoDATS显着提高了最先进的方法，我们实现了额外的提高精度使用来自多个源域和弱监督信号的数据。代码可在：https://github.com/floft/codats
2020-05-22 cs.LG stat.ML
Zero-shot task adaptation by homoiconic meta-mapping
Stanford University（斯坦福大学）
深度学习系统如何灵活地重用它们的知识？为了实现这一目标，我们提出了一类新的挑战，以及一类可以解决这些挑战的架构。挑战是元映射，这涉及系统地转换任务行为，以适应新的任务zero-shot。实现这些挑战的关键是以这样一种方式表示正在执行的任务，即该任务表示本身是可转换的。因此，我们从函数式编程和最近的元学习工作中汲取灵感，提出了一类Homoiconic Meta-Mapping（HoMM）方法，该方法表示共享潜在空间中的数据点和任务，并学习推断该空间的转换。HoMM方法可以应用于任何类型的机器学习任务。我们展示了这种观点的效用，通过展示zero-shot重新映射的行为，以适应新的任务。
2019-11-12 cs.LG cs.NE stat.ML
Data Centric Domain Adaptation for Historical Text with OCR Errors
Ludwig Maximilian University（路德维希-马克西米利安大学）；University of Vienna（维也纳大学）；Volkswagen AG（大众汽车集团）；Bayerische Staatsbibliothek München（慕尼黑巴伐利亚州立图书馆）
我们提出了新的方法，在域和跨域的命名实体识别（NER）的历史数据为荷兰语和法语。对于跨域的情况下，我们解决域移位通过集成无监督的域内数据通过上下文字符串嵌入;和OCR错误通过注入合成OCR错误到源域和地址数据为中心的领域自适应。我们提出了一种通用的方法来模仿OCR错误在任意输入数据。我们的跨域和域内结果优于几个强大的基线，并建立了最先进的结果。我们发布法语和荷兰语Europeana NER语料库的预处理版本。
2021-07-02 cs.CL cs.LG
Efficient Multi-Adapter LLM Serving via Cross-Model KV-Cache Reuse with Activated LoRA
mit（麻省理工学院）；ibm（国际商业机器公司）
本文提出一种高效LLM服务引擎，通过激活LoRA实现跨模型KV缓存重用，显著降低推理延迟和时间到第一个token，提升多适配器任务的效率。
2025-11-26 cs.AI cs.DC cs.LG
Spectra: Exact Component Transport for Test-Time Prior Adaptation in Simulation-Based Inference
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；International Max Planck Research School on Cognitive NeuroImaging（马克斯·普朗克国际认知神经影像研究学院）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））；Leipzig University（莱比锡大学）；University College London（伦敦大学学院）
本文提出Spectra，一种用于基于扩散的模拟推断的测试时先验适应方法，通过精确分数传输恒等式实现闭式适应，无需额外模拟或训练，在六个基准上实现强先验偏移下的准确适应，使预训练模型能利用更新先验。
2026-10-07 cs.LG stat.ML
Instruction Finetuning LLaMA-3-8B Model Using LoRA for Financial Named Entity Recognition
LL Funds LLC（LL Funds有限责任公司）
本文通过结合指令微调和LoRA技术，提升LLaMA-3-8B模型在金融命名实体识别任务中的性能，取得微F1得分为0.894。
2026-01-15 cs.LG q-fin.CP
Domain Adaptation from Scratch
University of Edinburgh（爱丁堡大学）；Technion, IIT（以色列理工学院）
自然语言处理（NLP）算法正在迅速改进，但在应用于分发外的示例时往往会遇到困难。一个突出的方法，以减轻域差距是领域自适应，其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置，“从零开始的领域自适应”，我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中，我们的目标是有效地注释来自一组源域的数据，以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法，这个具有挑战性的设置，从数据选择和领域自适应算法的主动学习范式，两个自然语言处理任务：情感分析和命名实体识别。我们的研究结果表明，使用上述方法缓解了域间隙，并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦玛丽女王大学）
生物医学问答（QA）由于其能够从大量的科学文献中为用户提供高质量的信息而受到越来越多的关注。虽然最近已经提供了越来越多的生物医学QA数据集，但这些资源仍然相当有限，而且生产成本很高。通过预训练的语言模型（LM）的迁移学习已被证明是利用现有通用知识的有前途的方法。然而，对这些大型模型进行微调可能成本高昂且耗时，而且在适应专业领域的特定主题（如COVID-19文献）时，其效益往往有限。为了进一步引导他们的领域自适应，我们提出了一个简单而未经探索的方法，我们称之为生物医学实体感知掩蔽（BEM）。我们鼓励掩蔽的语言模型根据表征当前领域的关键实体来学习以实体为中心的知识，并使用这些实体来驱动LM微调。由此产生的策略是一个下游过程，适用于各种各样的掩蔽LM，不需要额外的存储器或组件的神经架构。实验结果表明，性能与几个生物医学QA数据集上的最先进的模型相当。
2021-02-16 cs.CL cs.IR cs.LG
Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
提出SEMA方法，通过模块化适配器自动检测分布偏移并决定重用或添加适配器，实现次线性扩展，提升持续学习性能。
2025-03-27 cs.CV cs.LG
NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks
Georgia Institute of Technology（佐治亚理工学院）；KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）
持续学习（CL）的目标是随着时间的推移学习不同的任务。与CL相关的主要需求是保持旧任务的性能，利用后者来提高对未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发的稳定性可塑性适应（NISPA）架构，通过一个稀疏的神经网络与固定密度来解决这些迫切需要。NISPA形成了稳定的路径，以保存从旧任务中学到的知识。此外，NISPA使用连接重新布线来创建新的塑料路径，在新任务中重用现有知识。我们对EMNIST、FashionMNIST、CIFAR 10和CIFAR 100数据集的广泛评估表明，NISPA的性能明显优于代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数少了10倍。我们还证明了稀疏性是持续学习的基本要素。NISPA代码可在https://github.com/BurakGurbuz97/NISPA上获得。
2022-06-18 cs.LG
Benchmarking World Models for Continual Learning on Compositional Tasks
University of Oxford（牛津大学）
针对机器人操作中的世界模型，提出组合持续学习基准，以分离知识重用与学习新任务，评估显示模块化模型优于传统方法但仍有改进空间。
2026-09-21 cs.LG cs.RO
Test-Time Adaptation for Visual Document Understanding
Google Cloud AI Research（谷歌云人工智能研究（Google Cloud AI Research））
针对视觉文档理解中测试时分布偏移适配的空白，提出无源域自适应方法DocTTA，结合掩码视觉语言建模与伪标签实现测试时适配，在三类VDU任务新基准上取得显著性能提升。
2023-08-23 cs.AI cs.CV cs.LG
Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning
针对固定拓扑网络的统计冲突与灾难性遗忘问题，提出可定向增构的 DIRAD 及无需任务标签的 PREVAL 框架，实现高性能、简化网络和持续任务适应。
2024-12-05 cs.AI cs.LG
Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models
Microsoft Research Asia（微软亚洲研究院）；University of Cambridge（剑桥大学）
提出一种将视觉信号编码为函数的新框架，通过冻结的视觉生成模型附加低秩适应参数实现隐式表示，并进一步哈希为紧凑向量，在极低比特率下实现强感知视频压缩，同时支持推理时缩放和调控，统一了视觉压缩与生成。
2026-05-22 cs.CV cs.LG
Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation
Rochester Institute of Technology（罗切斯特理工学院）
迁移学习需要采用在源数据集上训练的人工神经网络（ANN）并使其适应新的目标数据集。虽然这已经被证明是非常强大的，但它的使用通常受到架构约束的限制。以前，为了重用和适应ANN的内部权重和结构，在任务之间传输的ANN的底层拓扑必须保持基本相同，同时附加新的输出层，丢弃旧的输出层的权重。这项工作介绍了网络感知的自适应结构迁移学习（N-ASTL），在以前的努力，以消除这种限制的进步。N-ASTL利用与源网络的拓扑和权重分布相关的统计信息，以告知如何将新的输入和输出神经元集成到现有结构中。结果显示了对现有技术的改进，包括在具有挑战性的现实世界数据集中转移的能力，以及在没有转移的情况下训练的RNN的改进泛化能力。
2020-06-04 cs.LG cs.NE
Can Spectral-Clipping Enable Better Learning While Forgetting Less for Low-Rank Adaptation?
本研究提出SCLoRA方法，通过结合频谱裁剪与低秩适配（LoRA），在提升下游任务性能的同时缓解了灾难性遗忘，实现更好的学习且减少知识遗忘。
2026-08-14 cs.CL cs.LG
Semi-Supervised Disentangled Framework for Transferable Named Entity Recognition
Guangdong University of Technology（广东工业大学）；Foshan University（佛山科学技术学院）
命名实体识别是自然语言处理中最重要和最基本的任务之一，它是对非结构化文本中专有名词的识别。然而，尽管NER模型被广泛使用，但它们仍然需要大规模的标记数据集，由于手动注释，这会带来沉重的负担。领域自适应是解决这一问题的最有前途的方法之一，它利用来自相关源领域的丰富标记数据来增强基于目标领域的模型的泛化能力。然而，主流的跨域NER模型仍然受到以下两个挑战的影响：（1）提取跨域传输的域不变信息，如句法信息。(2)将领域特定信息（如语义信息）集成到模型中，以提高NER的性能。在这项研究中，我们提出了一个半监督的框架，可转让的NER，解开域不变的潜变量和域特定的潜变量。在所提出的框架中，特定领域的信息集成与特定领域的潜变量通过使用域预测。使用三个互信息正则化项，即，最大化域特定潜变量和原始嵌入之间的互信息，最大化域不变潜变量和原始嵌入之间的互信息，以及最小化域特定潜变量和域不变潜变量之间的互信息。大量的实验表明，我们的模型可以获得最先进的性能与跨域和跨语言的NER基准数据集。
2020-12-22 cs.CL cs.LG
Transferred Fusion Learning using Skipped Networks
PES University（PES大学）
感兴趣的实体的识别在任何智能系统中都是突出的。在增加识别能力的同时，增强了模型的视觉智能。几种方法，如迁移学习和零样本学习，有助于重用现有的模型或增强现有的模型，以实现改进的性能，在目标识别的任务。转移融合学习就是这样一种机制，它旨在利用两个世界的最佳效果，并构建一个能够超越系统中所涉及的模型的模型。我们提出了一种新的机制，通过引入一个学生架构，网络相互学习，来放大迁移学习的过程。
2020-11-11 cs.CV cs.LG
Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units
CEA-List（法国原子能委员会电子与信息技术实验室）；Université Paris-Saclay（巴黎萨克雷大学）；UQÀM（魁北克大学蒙特利尔分校）
神经迁移学习（TL）在自然语言处理（NLP）中变得无处不在，这要归功于它在许多任务上的高性能，特别是在低资源的情况下。值得注意的是，TL被广泛用于神经领域自适应，以将有价值的知识从高资源域转移到低资源域。在TL的标准微调方案中，模型最初在源域上进行预训练，随后在目标域上进行微调，因此，源域和目标域使用相同的架构进行训练。在本文中，我们表明，通过解释方法，这种方案，尽管它的效率，是从一个主要的局限性。事实上，尽管预先训练的神经元能够适应新的领域，但它们很难学习特定于目标领域的某些模式。此外，我们揭示了隐藏的负迁移发生，尽管源域和目标域之间的高度相关性，这可能会减少最终的收益带来的迁移学习。为了解决这些问题，我们建议使用归一化，加权和随机初始化的单元来增强预训练模型，这些单元在保持有价值的源知识的同时促进更好的适应。我们表明，我们的方法表现出显着的改进，从新闻领域的社交媒体领域的神经领域自适应的标准微调计划的四个NLP任务：词性标记，组块，命名实体识别和morphosyntaging标记。
2021-06-09 cs.AI cs.CL cs.LG
AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity Matching using Adapter-tuning
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science & Technology (AIST)（产业技术综合研究所）
本文提出AdapterEM，通过冻结预训练语言模型参数、仅微调适配器和分类器，结合预训练适配器与可逆适配器实现广义实体匹配，在仅用约13%参数的情况下达到与全量微调和提示微调相当或更优的性能。
2023-05-30 cs.CL cs.DB
LEMON: Explainable Entity Matching
Norwegian University of Science and Technology（挪威科技大学）；Cognite（Cognite公司）
最先进的实体匹配（EM）方法很难解释，将可解释的AI引入EM具有重要价值。不幸的是，大多数流行的可解释性方法并不适用于EM的开箱即用，需要调整。在本文中，我们确定了三个挑战，应用本地事后特征归因方法实体匹配：跨记录的交互作用，不匹配的解释，和灵敏度的变化。我们提出了一种新的模型不可知和模式灵活的方法LEMON，它通过以下方式解决了所有三个挑战：（i）产生双重解释以避免跨记录交互效应，（ii）引入归因潜力的新概念来解释两个记录如何匹配，以及（iii）自动选择解释粒度以匹配匹配器和记录对的敏感性。在公开数据集上的实验表明，该方法对匹配器更忠实，更好地帮助用户理解匹配器的决策边界.此外，用户研究表明，与LIME标准改编的解释相比，人类受试者在看到我们所提出的方法的解释后构建反事实示例的比率从54%增加到64%，对于匹配和非匹配，从15%增加到49%。
2022-08-16 cs.CL cs.DB cs.HC
Efficient Model Repository for Entity Resolution: Construction, Search, and Integration
Leipzig University（莱比锡大学）；Australian National University（澳大利亚国立大学）
本文提出MoRER方法，通过特征分布分析将相似实体解析任务聚类，构建模型仓库以提升多源实体解析效率，实验表明其在有限标注预算下表现优异，优于自监督方法和监督Transformer方法。
2026-02-21 cs.DB
Towards Universal Dense Blocking for Entity Resolution
Institute of Software, CAS（中国科学院软件研究所）；HIAS, UCAS（中国科学院大学HIAS）；University of CAS（中国科学院大学）
提出UniBlocker，通过领域无关的自监督对比学习预训练，无需特定领域微调即可适应多种阻塞场景，显著优于以往自监督和无监督稠密阻塞方法且与稀疏阻塞方法互补。
2024-04-25 cs.CL cs.DB cs.IR
