A Bayesian Approach for Online Classifier Ensemble
Boston University（波士顿大学）；University of Michigan（密歇根大学）
我们提出了一个贝叶斯方法递归估计分类器的权重在在线学习的分类器集成。与过去的方法，如随机梯度下降或在线提升，我们的方法估计的权重递归更新其后验分布。对于一类特定的损失函数，我们表明，它是可以制定一个适当定义的似然函数，因此使用后验分布作为近似的全球经验损失最小。如果训练数据流是从一个平稳的过程中采样的，我们还可以证明，我们的方法比标准的随机梯度下降方法具有更好的收敛速度。在真实世界数据集的实验中，我们的公式通常比最先进的随机梯度下降和在线提升算法表现得更好。
2015-07-08 cs.LG
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
Hot Swapping for Online Adaptation of Optimization Hyperparameters
University of California, Irvine（加州大学尔湾分校）；eBay Research Labs（eBay研究实验室）
我们描述了一个一般的框架在线适应优化超参数“热交换”在学习过程中的值。我们调查这种方法的背景下，自适应学习率选择使用的探索-利用策略，从多臂土匪文献。在一个基准神经网络上的实验表明，与AdaDelta和具有穷举超参数搜索的随机梯度等知名替代方案相比，热插拔方法始终导致更好的解决方案。
2015-04-13 cs.LG
Breaking Inter-Layer Co-Adaptation by Classifier Anonymization
Denso IT Laboratory, Inc.（电装IT实验室有限公司）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本文研究了神经网络中特征提取器和分类器之间的自适应问题。特征提取器和分类器的朴素联合优化通常会带来这样的情况，即适应于非常特定的分类器的过于复杂的特征分布降低了测试性能。我们引入了一种称为通过分类器分析的特征提取器优化（FOCA）的方法，该方法旨在通过在优化过程中使用许多随机生成的弱分类器来避免特征提取器和特定分类器之间的显式共适应。我们提出了一个数学命题，即FOCA特征在特定条件下以类可分的方式在同一类内形成点状分布。更一般条件下的真实数据实验提供了支持性证据。
2019-06-04 cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Online Feature Updates Improve Online (Generalized) Label Shift Adaptation
UC San Diego（加利福尼亚大学圣迭戈分校）；Cornell University（康奈尔大学）；University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
针对在线场景下带标签缺失的标签偏移问题，提出结合自监督学习在线更新特征的OLS-OFU方法，理论上保持相近在线遗憾收敛性，实验效果较现有方法有显著提升。
2024-10-31 cs.LG
TOHAN: A One-step Approach towards Few-shot Hypothesis Adaptation
NUDT（国防科技大学）；HKBU（香港浸会大学）；Peng Cheng Laboratory（鹏城实验室）；USYD（悉尼大学）；HKUST（香港科技大学）；UTS（悉尼科技大学）
在Few-Shot领域自适应（FDA）中，用源域（SD）中的可访问标记数据和目标域（TD）中的少量标记数据来训练目标域的分类器。然而，在当前时代，数据通常包含私人信息，例如，个人手机上的数据。因此，如果我们直接访问SD中的数据来训练目标域分类器（FDA方法所需的），则会泄露私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，其中TD的分类器必须使用少量标记的目标数据和经过良好训练的SD分类器进行训练，称为Few-Shot假设自适应（FHA）。在FHA中，我们不能访问SD中的数据，因此，SD中的隐私信息将得到很好的保护。为此，我们提出了一个面向目标的假设自适应网络（TOHAN）来解决FHA问题，在那里我们生成高度兼容的未标记数据（即，中间域）来帮助训练目标域分类器。TOHAN同时维护两个深度网络，其中一个专注于学习中间域，另一个负责中间到目标的分布适应和目标风险最小化。实验结果表明，TOHAN显著优于竞争基线。
2022-09-07 cs.LG
Source Component Shift Adaptation via Offline Decomposition and Online Mixing Approach
NEC Corporation（日本电报电话株式会社）
针对源成分偏移自适应问题，提出基于离线分解与在线混合的方法，通过 EM 算法离线学习源成分并利用在线凸优化更新混合权重，显著提升了自适应性能并降低了累积测试损失。
2025-08-14 cs.LG
NeuroOnline: Bridging Pretraining and Online Adaptation for EEG Foundation Models
Southern University of Science and Technology（南方科技大学）
研究脑电图基础模型，提出NeuroOnline框架，集成多视图一致性学习和上下文感知表示调制机制，统一表示对齐和动态适应，实验表明其在在线设置中性能优于基线。
2026-07-07 cs.LG
Conditional Adversarial Domain Adaptation
School of Software, Tsinghua University, China（清华大学软件学院，中国）；Tsinghua University, China（清华大学，中国）；University of California, Berkeley, Berkeley, USA（美国加州大学伯克利分校，伯克利）
对抗学习已经被嵌入到深度网络中，以学习用于领域自适应的解纠缠和可转移的表示。现有的对抗性领域自适应方法可能无法有效地对齐分类问题中固有的多模态分布的不同域。在本文中，我们提出了有条件的对抗性领域自适应，一个原则性的框架，条件的对抗性适应模型的判别信息中传达的分类器预测。条件域对抗网络（CDAN）设计了两种新的条件策略：多线性条件，捕获特征表示和分类器预测之间的互协方差，以提高区分度，熵条件，控制分类器预测的不确定性，以保证可转移性。通过理论保证和几行代码，该方法在五个数据集上超过了最先进的结果。
2018-12-29 cs.LG
Learning the Context of Errors: Black-Box Online Adaptation of Time Series Foundation Models
Ant International（蚂蚁国际）；The Chinese University of Hong Kong（香港中文大学）
针对黑盒时间序列基础模型在线自适应问题，提出ORCA方法，通过学习基础模型预测误差的上下文（输入和输出）进行自适应，在5个模型和8个数据集上验证有效性。
2026-10-06 cs.LG
Multiple-Source Domain Adaptation via Coordinated Domain Encoders and Paired Classifiers
Emory University（埃默里大学）
提出了一种新的多源无监督文本分类模型。我们的模型利用文档表示的更新率来动态集成域编码器。它还采用了概率启发式来推断目标域中的出错率，以配对源分类器。我们的启发式算法利用数据转换成本和目标特征空间中的分类器精度。我们已经使用真实世界的情况下，领域自适应来评估我们的算法的有效性。我们还在实验中使用预训练的多层Transformers作为文档编码器，以证明领域自适应模型所实现的改进是否可以通过开箱即用的语言模型预训练来实现。实验证明，我们的模型是在这种情况下表现最好的方法。
2022-03-20 cs.CL cs.LG
Linear Classifiers that Encourage Constructive Adaptation
UC Santa Cruz（加州大学圣克鲁兹分校）
机器学习系统通常用于个人调整其特征以获得期望结果的环境中。在这种情况下，策略行为会导致部署中模型性能的急剧下降。在这项工作中，我们的目标是解决这个问题，通过学习分类器，鼓励决策主体改变他们的功能的方式，导致改善预测的\emph{and}的真实结果。我们框架的动态预测和适应作为一个两阶段的游戏，并为模型设计者和决策主体的最佳策略的特征。在模拟和真实世界数据集的基准测试中，我们发现使用我们的方法训练的分类器保持了现有方法的准确性，同时带来了更高水平的改进和更少的操作。
2021-06-10 cs.LG stat.ML
Target contrastive pessimistic risk for robust domain adaptation
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在域自适应中，具有来自源域的信息的分类器适应以推广到目标域。然而，由于无效的假设、对估计误差或模型误指定的增加的灵敏度，自适应分类器可能比非自适应分类器执行得更差。我们的目标是开发一个域自适应分类器，它是强大的意义上说，它不依赖于限制性的假设如何源和目标域相互关联，它不执行比非自适应分类器差。我们制定了一个保守的参数估计，只有偏离源分类器时，一个较低的风险是保证所有可能的标记给定的目标样本。我们推导出经典的最小二乘和判别分析的情况下，这些表现与国家的最先进的域自适应分类器在样本选择偏置设置，而优于他们在更一般的域自适应设置。
2017-06-25 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
我们考虑在线无监督的跨领域自适应问题，其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战，例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC，一个对抗性的无监督领域自适应框架，它可以用一个完整的自进化神经网络结构来处理多个数据流，对这些挑战做出反应。ACDC将三个模块封装到一个模型中：一个提取特征的去噪自动编码器，一个执行域转换的对抗模块，以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架，具有很少的超参数可调性。我们的实验结果下的prequential测试，然后训练协议表明，在基线方法的目标精度的改善，在某些情况下，实现了超过10%的增加。
2021-10-04 cs.LG
The Influence of Multiple Classes on Learning Online Classifiers from Imbalanced and Concept Drifting Data Streams
Poznan University of Technology（波兹南理工大学）；Institute of Computing Science（计算科学研究所）
本文主要研究了局部数据特征和漂移对多类不平衡数据流中各种在线分类器学习难度的影响。首先，我们提出了一个分类的不平衡流的背景下，这些数据的因素和漂移，然后我们介绍了合成流的生成器，这些因素和漂移的模型。合成生成的数据流的许多实验的结果表明，许多少数类（边界示例的类型）之间的重叠比具有一个少数类的流的作用大得多。流中罕见的例子的存在是最困难的单一因素。第三个影响因素是少数民族阶层分化的地方性漂移。与二进制流不同，专门的UOB和OOB分类器即使在高不平衡率下也能表现良好。所有分类器最具挑战性的是复杂的情况下，同时集成的漂移的确定的因素，恶化的情况下，几个少数民族类强于二进制的评估措施。这是在ECMLPKDD 2022的LIDTA'2022研讨会上发表的简短论文的扩展版本。
2022-10-15 cs.LG
Efficient Optimization of Performance Measures by Classifier Adaptation
Nanjing University（南京大学）；Soochow University（苏州大学）；Nanyang Technological University（南洋理工大学）
在实际应用中，经常需要机器学习算法来学习优化领域特定性能度量的分类器。以前的研究主要集中在孤立地学习所需的分类器，但学习非线性和非光滑性能指标的非线性分类器仍然很难。在本文中，而不是学习所需的分类器通过优化特定的性能指标直接，我们绕过这个问题，提出了一种新的两步方法称为CAPO，即第一训练非线性辅助分类器与现有的学习方法，然后适应辅助分类器的特定性能指标。在第一步中，辅助分类器可以通过采取现成的学习算法有效地获得。对于第二步，我们表明，分类器自适应问题可以减少到一个二次规划问题，这是类似于线性SVMperf，可以有效地解决。通过利用非线性辅助分类器，CAPO可以生成非线性分类器，该分类器优化了大量的性能指标，包括基于列联表和AUC的所有性能指标，同时保持了较高的计算效率。实验结果表明，CAPO算法是有效的，计算效率高，甚至比线性SVM perf算法更有效。
2012-08-02 cs.AI cs.LG
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai（孟买塔塔基础研究院）；IIT-Bombay（印度理工学院孟买分校）
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器，其混淆矩阵先验未知。在每个槽中，最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间（离开时隙和到达时隙的差）的标量倍数，其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本，因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是，学习混淆矩阵，样本分类器匹配分配，和样本离开槽决定相互依赖。该算法首先学习混淆矩阵，然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正，样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
Rectifying Geometric Misalignment: Online Source-Free Adaptation for Class-Imbalanced EEG
针对类别不平衡脑电图的在线源适配问题，提出OSPDIM框架，通过流形约束偏置参数的实时优化校正几何错位，在运动想象数据集上显著优于标准黎曼基线。
2026-08-07 cs.LG
Online Variance Reduction for Domain Adaptation on Streaming Data
University of Southampton（南安普顿大学）
研究流数据域适应的随机方差缩减问题，提出在线SVR算法ARROW，通过维护移动平均参考和自适应重新加权小批量数据，使小批量与参考统计量对齐，实验表明该算法在运行时间、方差缩减及目标域准确性方面与离线算法相当。
2026-07-23 cs.LG
Your Classifier can Secretly Suffice Multi-Source Domain Adaptation
Indian Institute of Science（印度科学学院）
多源领域自适应（MSDA）是指在领域转移的情况下，将任务知识从多个已标记的源领域转移到一个未标记的目标领域。现有的方法旨在使用辅助分布对准目标来最小化该域偏移。在这项工作中，我们提出了一个不同的视角，以MSDA，其中观察到深层模型，以隐式对齐标签监督下的域。因此，我们的目标是利用隐式对齐，而无需额外的训练目标来执行自适应。为此，我们使用伪标记的目标样本，并在伪标签上强制执行分类器协议，这一过程称为自监督隐式对齐（SIMpAl）。我们发现，即使在源域之间的类别转移下，SIMpAl也很容易工作。此外，我们提出分类器协议作为线索，以确定训练收敛，从而在一个简单的训练算法。我们根据五个基准对我们的方法进行了全面的评估，并对我们方法的每个组成部分进行了详细的分析。
2021-03-20 cs.CV cs.LG
Bilevel Online Deep Learning in Non-stationary Environment
China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京）校区）；Department of Automation, College of Information Science and Engineering, China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京）校区信息科学与工程学院自动化系）
近年来，在线学习取得了巨大的进步。然而，在人工智能体的道路上的一个主要挑战是概念漂移，即数据概率分布将改变的数据实例顺序到达流的方式，这将导致灾难性遗忘和降低模型的性能。本文提出了一种新的双层在线深度学习（BODL）框架，该框架结合了双层优化策略和在线集成分类器。在BODL算法中，我们使用一个集成分类器，它利用深度神经网络中不同隐层的输出来构建多个基分类器，基分类器的重要权值根据指数梯度下降方法在线更新。此外，我们应用相似约束来克服在线集成框架的收敛问题。然后设计了一种有效的概念漂移检测机制，利用分类器的出错率来监测数据概率分布的变化。当检测到概念漂移时，我们的BODL算法可以通过双层优化自适应地更新模型参数，从而规避大的漂移并鼓励正迁移。最后，在各种数据集上进行了广泛的实验和烧蚀研究，具有竞争力的数值结果表明，我们的BODL算法是一个有前途的方法。
2022-01-25 cs.LG
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Université Laval（拉瓦尔大学）
在本文中，我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习，从一个源分布，一个表现良好的多数票在不同的目标分布。一方面，我们提出了对Germain等人（2013）提出的先前方法的改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器，并设计了一种学习算法，该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面，我们将这些结果推广到多频域适应，使我们能够考虑到不同的源域。这项研究打开了大门，以解决域适应任务，利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
A Batch Normalization Classifier for Domain Adaptation
Blue Well 8, LLC（Blue Well 8有限责任公司）；Pioneer Square Labs（先锋广场实验室）
调整模型以在其训练集之外的不可预见数据上表现良好是一个常见的问题，继续激励新的方法。我们证明了在softmax激活之前，在输出层中应用批量归一化，可以在改进的ResNet模型中提高视觉数据域的泛化能力。该方法增加的计算复杂性度可以忽略不计，但优于许多明确学习对齐数据域的领域自适应方法。我们基准测试这种技术的家庭数据集，并表明，批量归一化与其他领先的方法是有竞争力的。我们表明，这种方法是不敏感的源数据在适应过程中的存在，并进一步提出训练张量分布的影响趋于稀疏。代码可在https://github.com/matthewbehrend/BNC上获得
2021-03-22 cs.CV cs.LG
Evaluation of concept drift adaptation for acoustic scene classifier based on Kernel Density Drift Detection and Combine Merge Gaussian Mixture Model
Okayama University（冈山大学）
根据实验结果，所有的概念漂移类型都有各自的超参数配置。简单概念漂移和渐进概念漂移具有相似的模式，其所需的α值小于重复概念漂移，因为在这种类型的漂移中，新概念不断出现，因此需要高频模型自适应。然而，在重复出现的概念中，新的概念可能在未来重复出现，因此较低的频率适应更好。此外，高频模型自适应可能导致过拟合问题。实现CMGMM组件剪枝机制有助于控制活跃组件的数量，提高模型性能。
2021-05-27 cs.LG cs.SD eess.AS
Domain Adaptation with Auxiliary Target Domain-Oriented Classifier
National University of Singapore（新加坡国立大学）；Sea AI Lab（Sea AI 实验室）
领域自适应（DA）旨在将知识从标签丰富但异质的领域转移到标签稀缺的领域，它简化了标签工作，引起了广泛的关注。不同于以往的方法侧重于学习域不变的特征表示，最近的一些方法提出了通用的半监督学习（SSL）技术，并直接将其应用到DA任务，甚至实现竞争力的性能。最流行的SSL技术之一是伪标签，它通过由标记数据训练的分类器为每个未标记数据分配伪标签。然而，它忽略了DA问题中的分布偏移，不可避免地偏向于源数据。为了解决这个问题，我们提出了一个新的伪标记框架，称为辅助目标领域导向分类器（ATDOC）。ATDOC通过引入仅针对目标数据的辅助分类器来消除分类器的偏差，从而提高伪标签的质量。具体来说，我们采用记忆机制，并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而不引入任何额外的网络参数。尽管其简单的伪分类目标，ATDOC与邻域聚合显着优于域对齐技术和以前的SSL技术在各种各样的DA基准，甚至害怕标记的SSL任务。
2021-12-16 cs.CV cs.LG
Online Adaptation to Label Distribution Shift
Cornell University（康奈尔大学）；Facebook AI Research（Facebook 人工智能研究院）
机器学习模型在现实世界中部署时经常遇到分布偏移。在本文中，我们专注于适应标签分布偏移在线设置，测试时的标签分布是不断变化的，模型必须动态地适应它，而不观察到真正的标签。利用一种新的分析，我们表明，缺乏真正的标签并不妨碍估计的预期测试损失，这使得减少在线标签偏移适应传统的在线学习。根据这一观察，我们提出了经典的在线学习技术，如跟随领导者（FTL）和在线梯度下降（OGD）的启发自适应算法，并推导出他们的遗憾界限。我们根据经验验证我们的研究结果在模拟和现实世界的标签分布偏移，并表明OGD是特别有效和强大的各种具有挑战性的标签偏移的情况。
2022-01-05 cs.LG stat.ML
Improving image classifiers for small datasets by learning rate adaptations
The University of Tokyo（东京大学）；exMedio Inc（exMedio公司）
我们的论文介绍了一种有效的技术组合，以提高分类器的性能，在准确性和训练时间。我们通过动态调整学习速率，在接近最先进的准确性的情况下，在不同的模型架构上实现了2倍到10倍的加速。我们发现它在小数据集的情况下特别有益，因为机器推理的可靠性较低。我们通过比较我们的方法与CIFAR-10上的普通训练来验证我们的方法。我们还证明了它的实际可行性，通过实施一个不平衡的语料库的诊断图像。
2019-03-27 cs.LG stat.AP stat.ML
Burn After Reading: Online Adaptation for Cross-domain Streaming Data
University of Maryland（马里兰大学）；Salesforce Research（Salesforce 研究院）
在在线隐私的背景下，许多方法提出了复杂的隐私和安全保护措施来保护敏感数据。在本文中，我们认为：不存储任何敏感数据是最好的安全形式。因此，我们提出了一个“阅后即焚”的在线框架，即每个在线样本在处理后立即删除。同时，我们解决了不可避免的分布偏移之间的标记的公共数据和未标记的私人数据作为无监督的领域自适应的问题。具体来说，我们提出了一种新的算法，旨在在线自适应设置的最根本的挑战-缺乏不同的源-目标数据对。因此，我们设计了一个跨域自举的方法，称为CroDoBo，以增加跨域的组合多样性。此外，为了充分利用不同组合之间的有价值的差异，我们采用了多个学习者与共同监督的培训策略。CroDoBo在四个领域自适应基准上实现了最先进的在线性能。
2021-12-08 cs.CV cs.LG
Towards Adaptive Unknown Authentication for Universal Domain Adaptation by Classifier Paradox
Nanjing University of Posts and Telecommunications（南京邮电大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
通用领域自适应（UniDA）是一种通用的无监督领域自适应设置，其解决自适应中的领域和标签偏移。它的主要挑战在于如何识别非共享或未知类中的目标样本。以前的方法通常致力于描述样本的“置信度”以及用于拒绝未知的阈值，并跨域对齐共享类的特征分布。然而，它仍然很难预先指定一个“信心”的标准和阈值，这是适应各种真实的任务，和未知数的错误预测进一步招致的不对齐的功能在共享类。在本文中，我们提出了一种新的UniDA方法与自适应未知认证的分类器paradigm（UACP），考虑到样本与矛盾的预测可能是未知的不属于源类。在UACP中，复合分类器是由两种类型的预测器联合设计的。也就是说，多类（MC）预测器将样本分类到多个源类中的一个，而二进制一对全（OVA）预测器进一步验证MC预测器的预测。验证失败或悖论的样本被识别为未知数。此外，代替共享类的特征对齐，在输出空间中进行隐式域对齐，使得跨域的样本共享相同的决策边界，尽管具有特征差异。实证结果验证了UACP在开集和通用UDA设置。
2022-07-10 cs.CV cs.LG
Multi-Purposing Domain Adaptation Discriminators for Pseudo Labeling Confidence
Washington State University（华盛顿州立大学）
通常，领域自适应使用域分类器（domain classifier）来学习域不变特征表示，使得在标记的源数据上训练的分类器将很好地推广到未标记的目标数据。源自半监督学习的一系列研究使用伪标记来直接为未标记的目标数据生成“伪标签”，并在现在标记的目标数据上训练分类器，其中基于某种置信度来选择或加权样本。在本文中，我们提出了多用途的编码，不仅有助于产生域不变的表示，但也提供伪标签的信心。
2019-07-17 cs.LG stat.ML
Online ML Self-adaptation in Face of Traps
Charles University（查理大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）；Linnaeus University（林奈大学）
本文探讨了在线机器学习在自适应系统应用中遇到的规范、训练与评估等陷阱，并总结经验教训为后续研究提供指导。
2023-09-11 cs.LG cs.NE
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Adobe Research, California, United States（Adobe研究院）
针对离线到在线强化学习中生成数据与在线数据的分布差距，提出无分类器引导扩散生成（CFDG）数据增强方法，通过重加权机制对齐数据分布，在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Online Active Model Selection for Pre-trained Classifiers
ETH Zürich（苏黎世联邦理工学院）
给定$k$预训练的分类器和一系列未标记的数据示例，我们如何主动决定何时查询标签，以便在进行少量查询的同时区分最佳模型？探讨这个问题对一系列实际情况有着深远的影响。在这项工作中，我们设计了一个在线选择性抽样方法，积极选择信息丰富的例子进行标记，并在任何一轮输出最佳模型的概率很高。我们的算法可用于在线预测任务的对抗性和随机流。我们建立了几个理论保证我们的算法，并广泛地证明了它的有效性，在我们的实验研究。
2021-04-17 cs.LG stat.ML
Should Decision-Makers Reveal Classifiers in Online Strategic Classification?
Harvard University（哈佛大学）；TTIC；UC Berkeley（伯克利大学）
本文研究在线策略分类中隐藏分类器对决策者表现的影响，证明在智能体基于历史分类器加权平均进行操纵时，决策者错误数会以与操纵图最大入度和折扣因子相关的倍数增加，从而揭示隐藏分类器可能适得其反。
2025-06-02 cs.GT cs.LG
Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models
Google DeepMind（谷歌DeepMind）
本文研究大型语言模型在测试时的在线微调（动态评估），从权重记忆与上下文扩展视角分析其样本效率、分布漂移敏感性和计算开销，并指出其模糊了上下文学习与微调的界限。
2024-03-03 cs.CL cs.LG
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
An Online Universal Classifier for Binary, Multi-class and Multi-label Classification
Nanyang Technological University（南洋理工大学）；Dalian Maritime University（大连海事大学）
分类涉及将输入样本与相应的目标标签相关联的映射函数的学习。分类问题有两大类：单标签分类和多标签分类。传统的二元和多类分类是单标签分类的子类别。几个分类器被开发用于二进制，多类和多标签分类问题，但在文献中没有分类器能够执行所有三种类型的分类。在本文中，提出了一种新的在线通用分类器能够执行所有三种类型的分类。作为一种高速在线分类器，该技术可以应用于流数据应用。所开发的分类器的性能进行评估，使用数据集从二进制，多类和多标签的问题。所获得的结果进行比较，与国家的最先进的技术，从每个分类类型。
2016-09-03 cs.AI cs.LG cs.NE
Adversarial domain adaptation to reduce sample bias of a high energy physics classifier
Juelich Supercomputing Center (JSC)（于利希超级计算中心）；Institute for Advanced Simulation (IAS)（高级模拟研究所）；Research Center Juelich (FZJ)（于利希研究中心）；Helmholtz AI（亥姆霍兹人工智能）
我们在无监督设置中应用对抗域自适应，以减少有监督高能物理事件分类器训练中的样本偏差。我们利用一个神经网络包含事件和域分类器与梯度反转层，同时使信号与背景事件分类一方面，而另一方面，最小化的差异，在响应网络的背景样本起源于不同的MC模型通过对抗域分类损失。我们展示了成功的偏差消除的例子模拟事件在LHC与$t\bar{t}H$信号与$t\bar{t}b\bar{b}$背景分类，并讨论了该方法的影响和局限性
2021-08-19 cs.LG hep-ex hep-ph
Robust Online Model Adaptation by Extended Kalman Filter with Exponential Moving Average and Dynamic Multi-Epoch Strategy
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
智能代理的高保真行为预测在许多应用中至关重要。然而，在训练集上训练的预测模型可能由于域移位和时间方差而不能推广到测试集。这种挑战促使采用在线自适应算法来实时更新预测模型以提高预测性能。受扩展卡尔曼滤波器（EKF）的启发，本文介绍了一系列适用于基于神经网络模型的在线自适应方法。首先介绍了一种带遗忘因子的修正EKF算法（MEKF $_λ$），然后介绍了指数移动平均滤波技术。为了有效利用实时的，本文提出了一种动态的多历元更新策略。在此基础上，提出了一种基于指数移动平均和动态多历元策略的自适应算法MEKF（$_{\text{EMA-DME}}$）。实验结果表明，该算法优于现有的方法。源代码在下面的链接https://github.com/intelligent-control-lab/MEKF_MAME中开放。
2020-04-28 cs.LG stat.ML
Domain Adaptation for Facial Expression Classifier via Domain Discrimination and Gradient Reversal
Innopolis University（因诺波利斯大学）；Institute of Data Science & AI（数据科学与人工智能研究所）
一旦机器能够理解客户的意图并更好地满足他们的需求，将同理心引入计算机化系统就可以大大提高人机沟通的质量。根据不同的研究（文献综述），视觉信息是人类互动的最重要的渠道之一，包含重要的行为信号，可以从面部表情中捕获。因此，在过去的十年中，由于具有不同的应用领域，包括医疗保健、社会学、心理学、驾驶员安全、虚拟现实、认知科学、安全、娱乐、营销、我们提出了一种新的FER任务的架构，并检查域歧视损失正则化的学习过程中的影响。关于观察，包括经典的训练条件和无监督的领域自适应方案，所考虑的领域自适应方法集成的重要方面被跟踪。研究结果可作为该领域进一步研究的基础。
2021-06-02 cs.CV cs.LG
Offline Meta Reinforcement Learning with In-Distribution Online Adaptation
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
针对离线元强化学习中离线数据与在线适应间的转移—奖励分布偏移问题，提出 IDAQ 框架，通过基于回报的不确定性量化生成分布内上下文并推断任务信念，在 Meta-World ML1 上达到最优性能。
2023-06-01 cs.AI cs.LG
A probabilistic framework for online test-time adaptation
Institute of Mathematical Sciences, ICMAT-CSIC（数学科学研究所，ICMAT-CSIC）；Escuela de Doctorado, Universidad Autónoma de Madrid（博士学院，马德里自治大学）
提出基于状态空间模型的概率框架，通过参数学习、时间演化、先验调整和预测，解决测试时分布偏移下的无标签数据适应问题。
2026-06-26 cs.LG stat.ML
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
Online Active Learning of Reject Option Classifiers
IIIT Hyderabad（海得拉巴国际信息技术学院）
主动学习是监督学习中减少标记样本数量的一种重要技术。二进制分类的主动学习在机器学习中已经得到很好的解决。然而，拒绝选项分类器的主动学习仍然没有解决。在本文中，我们提出了新的算法的主动学习拒绝选项分类。我们开发了一种使用双斜坡损失函数的主动学习算法。给出了算法的误差界。我们还提出了一种新的损失函数，称为双S形损失函数的拒绝选项和相应的主动学习算法。我们提供了一个收敛保证该算法。我们提供了大量的实验结果来证明所提出的算法的有效性。所提出的算法有效地减少了所需的标签示例的数量。
2020-04-02 cs.LG stat.ML
Domain Adaptation for Statistical Classifiers
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
统计学习理论中使用的最基本的假设是，训练数据和测试数据来自相同的底层分布。不幸的是，在许多应用中，“域内”测试数据是从与训练数据的“域外”分布相关但不相同的分布中提取的。我们考虑的常见情况下，标记的域外数据是丰富的，但标记的域内数据是稀缺的。我们介绍了一个简单的混合模型的统计公式，这个问题，并提出了一个实例化的最大熵分类器和线性链对应的框架。我们提出了有效的推理算法，这种特殊情况下的技术条件期望最大化的基础上。我们的实验结果表明，我们的方法导致提高性能的三个现实世界的任务上的四个不同的数据集从自然语言处理域。
2011-09-28 cs.CL cs.LG
Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach
Technion IIT（以色列理工学院）
针对测试时分布偏移问题，提出结合投注鞅检测与在线熵匹配的自训练适应框架，并基于最优传输构建自监督损失，提升偏移场景下准确率且保持无偏移时的校准性能。
2025-01-05 cs.LG stat.ML
Gaussian Process Domain Experts for Model Adaptation in Facial Behavior Analysis
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们提出了一种新的方法，监督域适应的基础上高斯过程（GP）的概率框架。具体来说，我们引入特定领域的GP作为本地专家的面部表情分类从人脸图像。分类器的自适应以概率的方式通过调节多个源专家的目标专家来促进。此外，与现有的适应方法相比，我们还从现有的目标数据中学习目标专家。然后，一个单一的和有信心的分类器是通过组合的预测，从多个专家的基础上他们的信心。该模型的学习是有效的，不需要重新训练/重新加权的源分类器。我们评估所提出的方法对两个公开的数据集多类（MultiPIE）和多标签（DISFA）的面部表情分类。为此，我们执行两个语境因素的适应：“在哪里”（视图）和“谁”（主题）。我们在我们的实验中表明，所提出的方法始终优于源和目标分类器，同时使用少至30个目标的例子。它还优于最先进的监督域自适应方法。
2016-05-02 cs.CV cs.LG stat.ML
Feature-Model-Guided Online Learning for Self-Adaptive Systems
University of Duisburg-Essen（杜伊斯堡-埃森大学）；University of Lille（里尔大学）；Politecnico di Milano（米兰理工大学）
自适应系统可以在运行时根据其对环境、自身和需求的感知来修改其自身的结构和行为。为了开发一个自适应系统，软件开发人员编纂有关系统及其环境的知识，以及适应行为如何影响系统。然而，由于设计时间的不确定性，编码的知识可能是不够的，因此自适应系统可能执行不具有期望效果的自适应动作。在线学习是通过在运行时采用机器学习来解决设计时间不确定性的新兴方法。在线学习通过例如探索尚未执行的适应动作来在运行时积累知识。我们解决两个具体的问题，在线学习自适应系统。首先，可能的适应行动的数量可能非常大。现有的在线学习技术随机地探索可能的适应动作，但是这可能导致学习过程的缓慢收敛。第二，可能的适应行动可以改变作为系统进化的结果。现有的在线学习技术没有意识到这些变化，因此不探索新的适应动作，而是探索不再有效的适应动作。我们建议使用特征模型来构造适应动作集，从而指导在线学习的探索过程。涉及四个真实世界系统的实验结果表明，考虑特征模型的层次结构可以平均加速收敛7.2%。考虑到进化步骤之前和之后的特征模型之间的差异，可以平均加速收敛64.6%。[...]
2019-07-22 cs.LG cs.SE
Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在本文中，我们提出了一种新的领域自适应方法的无源设置。在这种情况下，我们无法在自适应过程中访问源数据，而给出了未标记的目标数据和用源数据预训练的模型。由于缺乏源数据，我们不能像典型的领域自适应算法那样直接匹配域之间的数据分布。为了解决这个问题，我们建议利用存储在预训练模型中的批量归一化统计数据来近似未观察到的源数据的分布。具体来说，我们在自适应过程中固定模型的分类器部分，只微调剩余的特征编码器部分，以便编码器提取的特征的批量归一化统计数据与存储在固定分类器中的特征相匹配。此外，我们还最大化特征和分类器输出之间的互信息，以进一步提高分类性能。实验结果表明，我们的方法实现了竞争力的性能与国家的最先进的领域自适应方法，即使它不需要访问源数据。
2021-01-19 cs.CV cs.LG
Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Edinburgh（爱丁堡大学）
我们解决域泛化（DG）的问题，把它作为一个领域自适应（DA）的任务，我们adversarially合成最坏情况下的目标域和适应模型，最坏情况下的域，从而提高模型的鲁棒性。为了合成具有挑战性但保留语义的数据，我们生成傅立叶振幅图像并将其与源域相位图像相结合，利用信号处理中广泛认为的推测，即振幅谱主要决定图像风格，而相位数据主要捕获图像语义。为了合成最坏情况域以进行自适应，我们训练分类器和幅度发生器。具体来说，我们利用DA的最大分类器差异（MCD）原则，将目标域的性能与模型假设空间中分类器的差异联系起来。通过贝叶斯假设建模，我们将模型假设空间有效地表示为给定源域的分类器上的后验分布，使对抗性MCD最小化变得可行。在包括大规模DomainNet数据集的DomainBed基准测试中，所提出的方法比最先进的方法显著提高了域泛化性能。
2023-02-23 cs.CV cs.LG
A Novel Online Real-time Classifier for Multi-label Data Streams
提出了一种新的基于极限学习机的实时的【形】数据流在线多标记分类器。多标签分类是近年来机器学习研究的热点之一，由于其在现实世界中的应用迅速增加，受到了广泛的关注。与传统的二进制和多类分类相比，多标签分类涉及同时将每个输入样本与一组目标标签相关联。在文献中没有实时的【形】基于在线神经网络的多标签分类器。在本文中，我们利用极限学习机所表现出的高速的固有性质，开发了一种新的在线实时的【形】分类器的多标签数据流。开发的分类器进行了实验，从不同的应用领域的一致性，性能和速度的数据集。实验结果表明，该方法在速度和准确率方面均优于现有的最新技术，能够实时的【形】对多标签数据流进行分类.
2016-08-31 cs.AI cs.LG cs.NE
Neural Task Success Classifiers for Robotic Manipulation from Few Real Demonstrations
University of Lincoln（林肯大学）；Lincoln Institute for Agri-Food Technology（林肯农业食品技术研究所）
机器人从少量的演示中学习新的操作任务在不同的领域越来越多地被要求。评估动作质量的分类器模型可以预测任务的成功完成，智能代理可以使用该模型进行动作选择。本文提出了一种新的分类器，学习分类任务完成只有从几个示范。我们对不同的神经分类器进行了全面的比较，例如基于全连接的，基于全卷积的，基于序列2序列的和基于领域自适应的分类。我们还提出了一个新的数据集，包括五个机器人操作任务，这是公开的。我们使用我们的数据集和MIME数据集比较了我们的新分类器和现有模型的性能。结果表明，领域自适应和基于时间的功能，提高成功的预测。我们的新模型，即具有领域自适应和时序特征的全卷积神经网络，在两个数据集中的任务中实现了97.3%和95.5%的平均分类准确率，而没有领域自适应和时序特征的最先进的分类器分别仅实现了82.4%和90.3%。
2021-07-01 cs.AI cs.LG cs.RO
