Driver Drowsiness Estimation from EEG Signals Using Online Weighted Adaptation Regularization for Regression (OwARR)
DataNova;U.S. Army Research Laboratory(美国陆军研究实验室);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);DCS Corp(DCS公司);University of Technology, Sydney(悉尼科技大学);National Chiao-Tung University(国立交通大学)
阻碍脑机接口(BCI)从实验室环境过渡到现实生活应用的一个巨大挑战是高性能和鲁棒的学习算法的可用性,其可以有效地处理个体差异,即,可以应用于具有零或非常少的对象特定校准数据的新对象的算法。迁移学习和领域自适应已被广泛用于这一目的。然而,大多数以前的作品集中在分类问题。本文考虑了脑机接口中一个重要的回归问题,即从脑电信号中在线估计驾驶员的困倦程度。通过将模糊集与领域自适应相结合,提出了一种新的在线加权自适应正则化回归(OwARR)算法以减少特定对象的校准数据量,并提出了一种源域选择(SDS)方法以节省OwARR算法一半的计算量。使用模拟驾驶数据集与15个科目,我们表明,OwARR和OwARR-SDS可以实现显着较小的估计误差比其他几种方法。我们还对OwARR和OwARR-SDS的鲁棒性进行了全面的分析。
2017-02-09 cs.HC cs.LG
COD: Learning Conditional Invariant Representation for Domain Adaptation Regression
School of Mathematics, Sun Yat-Sen University(中山大学数学学院);School of Mathematics, Jiaying University(嘉应学院数学学院)
针对分类场景的条件分布对齐方法不适用于连续输出的域适应回归问题,本文提出条件算子差异COD刻画连续条件的分布差异,构建基于COD的条件不变表示学习模型,理论与实验均验证了其有效性与优越性。
2024-08-13 cs.CV cs.LG
Test-time Adaptation for Regression by Subspace Alignment
NTT Corporation(NTT公司);Kyoto University(京都大学);Yokohama National University(横滨国立大学)
本文提出显著子空间对齐(SSA)方法,通过检测显著子空间并加权维度,解决回归任务中测试时自适应因特征分布稀疏而无效的问题,实验证明优于基线。
2025-01-23 cs.AI cs.LG
Geometric Domain Adaptation via Optimal Transport for Linear Regression in R^2
University of the People(人民大学)
针对源域与目标域存在旋转、平移或缩放变换的线性回归问题,提出结合K-means与最优传输的方法估计变换,实现目标数据稀缺时的模型自适应,理论证明p≥2时最优传输恢复变换。
2026-06-15 cs.LG stat.ME stat.ML
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London(伦敦玛丽女王大学)
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而,在实践中,域转移经常存在,其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变,并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的,因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移,允许在源上训练的模型在不同的目标域上表现良好。然而,即使对于无监督领域自适应的设置,其中目标域未被标记,收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法,当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时,该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担,我们的实验表明,一些有前途的结果。
2015-07-29 cs.CV cs.LG
RECAP: Regression Evaluation for Continual Adaptation of Prompts
Capital One
提出RECAP基准,在严格主动适应-测试协议下评估提示优化方法对约束变化的持续学习能力,发现现有方法在主动场景下性能无显著提升,强调设计主动提示适应方法的必要性。
2026-09-02 cs.CL cs.LG
Adaptation of Engineering Wake Models using Gaussian Process Regression and High-Fidelity Simulation Data
Norwegian University of Science and Technology(挪威科技大学);Delft University of Technology(代尔夫特理工大学)
本文研究了一个九机风电场偏航控制输入的优化问题。采用高保真仿真器SOWFA对风电场进行仿真。优化是用基于高斯过程的修改器自适应方案进行的。修改器自适应校正工厂和模型之间的不匹配,并有助于收敛到实际的计划最优值。在案例研究中,修改器自适应方法与贝叶斯优化方法进行了比较。此外,还讨论了两种不同协方差函数在高斯过程回归中的应用。有关的数据准备和应用的方法的实际建议。结果表明,无论是修改器的适应和贝叶斯优化方法可以提高整体较小的偏航失调相比,高斯尾流模型的功率生产。
2020-03-30 cs.LG cs.SY eess.SY
Is Generative Modeling-based Stylization Necessary for Domain Adaptation in Regression Tasks?
University of Waterloo(滑铁卢大学)
本文质疑回归任务中基于生成建模的输入级风格化的必要性,发现其作用有限,并提出非参数特征对齐方法 ImSty,在避免高计算开销的同时持续提升 SOTA 回归性能。
2023-06-02 cs.AI cs.CV cs.LG
Reducing Racial Bias in Facial Age Prediction using Unsupervised Domain Adaptation in Regression
University of California, San Diego(加州大学圣迭戈分校)
我们提出了一种无监督的领域自适应方法,用于根据给定的人脸图像估计某人的年龄。为了避免种族偏见在大多数公开可用的人脸图像数据集中传播到在其上训练的模型的无效性中,我们执行领域自适应以激励预测器学习对种族不变的特征,从而提高来自不同种族背景的人的面部的泛化性能。利用年龄的有序性,我们还对模型的预测施加了排名约束,并设计了我们的模型,使其将一对图像作为输入,并输出相对年龄差和第一身份相对于其他身份的排名。此外,我们实现多维缩放来检索绝对年龄从预测的年龄差异从两个标记的图像从域要适应。我们用一个带有年龄标签的公开数据集进行实验,根据种族标签将其划分为子集,并评估我们的方法在来自与模型训练的种族不同的种族的数据上的性能。此外,我们施加了一个约束,以保持相对和绝对年龄预测的合理性,另一个用于确保预测相对于输入的平滑性。我们进行了广泛的实验并比较了回归任务的各种领域自适应方法。
2021-04-05 cs.CV cs.LG
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences(数学科学学院);School of Future Science and Engineering(未来科学与工程学院)
本文提出了一种双通道架构,用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应,通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Multi-source domain adaptation for regression
Harvard University(哈佛大学);Dana-Farber Cancer Institute(达纳-法伯癌症研究所);McLean Hospital(麦克莱恩医院);Harvard Medical School(哈佛医学院)
针对多源域适应在回归任务中研究不足的问题,提出经结果粗化扩展的单源回归DA方法,并结合三种集成加权范式实现多源适应,模拟与HDL预测应用均显示稳定性能提升。
2023-12-09 cs.LG stat.ML
Optimal Transport-Based Domain Adaptation for Rotated Linear Regression
本文研究旋转偏移下线性回归的监督领域自适应问题,证明 p≥2 时 R² 中 OT 映射可恢复旋转,并提出结合 K-means、OT 与 SVD 的角度估计及模型自适应算法。
2025-05-14 cs.LG math.PR stat.ML
Target-agnostic Source-free Domain Adaptation for Regression Tasks
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出TASFAR,一种面向回归任务的目标无关无源域适应方法,利用预测置信度估计目标标签分布来校准源模型,在四个回归任务上平均减少22%误差,性能显著优于现有无源UDA方法。
2023-12-01 cs.AI cs.LG stat.ML
Efficient Unsupervised Domain Adaptation Regression for Spatial-Temporal Sensor Fusion
Intelligent Maintenance and Operations Systems Laboratory, EPFL(智能维护与操作系统实验室,瑞士联邦理工学院)
本文提出一种针对回归任务的高效无监督领域适应方法,通过整合空间-时间图神经网络和源目标域扰动逆Gram矩阵对齐,实现无标注数据下的可扩展领域适应,验证于空气质量监测和EEG信号重建任务,取得最佳性能。
2025-08-06 cs.LG eess.SP
QCS-ADME: Quantum Circuit Search for Drug Property Prediction with Imbalanced Data and Regression Adaptation
QCS-ADME提出了一种无训练评分机制,用于在不平衡数据和回归任务中优化量子电路,通过量化量子态相似性提升ADME预测性能。
2026-02-25 cs.AI cs.LG quant-ph
Isotonic regression with unknown permutations: Statistics, computation, and adaptation
Georgia Institute of Technology(佐治亚理工学院);University of Cambridge(剑桥大学)
出于多路比较数据的模型,我们考虑的问题,估计一个坐标明智的保序函数的域$[0, 1]^d$从噪声观测收集到的均匀晶格,但设计点已沿每个维度排列。虽然这个问题的单变量和双变量的版本已经得到了显着的关注,我们的重点是多变量的情况下$d \geq 3$。我们研究了极大极小风险估计(在经验$L_2$损失)和适应(量化的自适应指数)的基本限制,一个家庭的分段常数函数。我们提供了一个计算效率高的Mirsky分区估计,是最小最大最优的,同时也实现了最小的自适应指数可能的多项式时间的程序。因此,从最坏情况的角度来看,与二元情况形成鲜明对比的是,模型中的潜在排列不会在香草保序回归之上引入显著的计算困难。另一方面,适应的基本限制在有和没有未知排列的情况下是显着不同的:假设平均情况复杂性理论的硬度猜想,在前一种情况下出现了计算-计算差距。在一个互补的方向,我们表明,现有的估计自然修改未能满足至少一个最佳的最坏情况下的统计性能,计算效率,快速适应的desiderata。沿着显示我们的结果的方式,我们改进了自适应结果在特殊情况下$d = 2$和建立香草保序回归估计的一些性质,这两个可能是独立的利益。
2021-06-24 cs.IT cs.LG math.IT
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris(巴黎大学);Ochanomizu University(御茶水女子大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过结合遗传编程,MAP精英和协方差矩阵自适应演化策略,我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索,同时保持多样性并避免过早收敛和膨胀。然后,协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题,我们的算法是能够找到正是大多数的$31$目标提取的文献上,我们评估它。
2019-06-10 cs.LG cs.NE
Locally Weighted Regression Pseudo-Rehearsal for Online Learning of Vehicle Dynamics
Georgia Institute of Technology(佐治亚理工学院)
我们考虑的问题,在线适应的神经网络设计代表车辆动力学。该神经网络模型旨在由MPC控制律使用以自主地控制车辆。这个问题是具有挑战性的,因为输入和目标分布都是非平稳的,和天真的方法在线适应导致灾难性遗忘,这反过来又会导致控制器故障。提出了一种新的在线学习方法,它结合了伪排练方法和局部加权投影回归。我们证明了局部加权投影回归伪排练(LW-PR $^2$)方法在模拟和1/5比例自动驾驶汽车收集的大型真实世界数据集上的有效性。
2019-05-13 cs.LG cs.RO
Coordinate Descent with Online Adaptation of Coordinate Frequencies
Institut für Neuroinformatik(神经信息学研究所);Ruhr-Universität Bochum(波鸿鲁尔大学);Institut für Mathematik(数学研究所);Universität Potsdam(波茨坦大学)
坐标下降(CD)算法已成为解决机器学习中许多优化问题的首选方法。它们特别适用于训练线性模型,包括线性支持向量机分类、LASSO回归和逻辑斯谛回归。我们考虑一般CD与非均匀选择的坐标。而不是固定的选择频率预先,我们提出了一个在线自适应机制,这个重要的参数,称为自适应坐标频率(ACF)的方法。这种机制消除了预先估计最佳坐标频率的需要,并且在优化运行期间自动对不断变化的要求做出反应。我们证明了我们的ACF-CD方法的有用性,在机器学习上下文中出现的各种优化问题。我们的算法比最先进的训练方法提供了显着的速度提升。
2014-01-15 cs.LG stat.ML
Feature Adaptation for Sparse Linear Regression
MIT(麻省理工学院);Stanford(斯坦福大学);UCLA(加州大学洛杉矶分校)
本文针对相关随机设计下的稀疏线性回归,提出一种多项式时间的特征自适应算法,通过自动调整Lasso以容忍少量近似依赖关系,在常数稀疏度和少量离群特征值条件下实现接近最优的样本复杂度,并首次对任意协方差情形给出优于暴力搜索的多项式因子改进。
2023-05-26 cs.DS cs.LG math.ST
Domain Generalization and Adaptation in Intensive Care with Anchor Regression
Seminar for Statistics, ETH Zürich(统计研究所,苏黎世联邦理工学院);AI Center, ETH Zürich(人工智能中心,苏黎世联邦理工学院);Department of Computer Science, ETH Zürich(计算机科学系,苏黎世联邦理工学院);Swiss Institute for Bioinformatics, Zürich(瑞士生物信息学研究所)
本文提出锚点回归和提升方法,用于重症监护领域的领域泛化与适应,通过分析不同数据阶段提升模型性能。
2026-02-28 cs.LG stat.AP stat.ME
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR,通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性,在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
Secure Domain Adaptation with Multiple Sources
University of Southern California(南加州大学)
多源无监督领域自适应(Multi-source unsupervised domain adaptation,MUDA)是一种通过从多个标注源领域转移知识来解决目标领域标注数据稀缺的框架。当源域是分布式的时,数据隐私和安全性可能成为重要的问题,并且协议可能限制数据共享,然而现有的MUDA方法忽略了这些约束。我们开发了一个算法来解决MUDA源域数据不能与目标或跨源域共享时。我们的方法是基于对齐的源和目标域的分布,间接通过估计源特征嵌入和预测基于置信度的域特定的模型预测的组合。我们提供了理论分析来支持我们的方法,并进行实证实验,以证明我们的算法是有效的。
2022-11-14 cs.LG
Covariance-aware Feature Alignment with Pre-computed Source Statistics for Test-time Adaptation to Multiple Image Corruptions
本文提出CAFe方法,通过协方差感知特征对齐解决多类型图像损坏的测试时适应问题,提升模型在多种损坏下的适应能力。
2023-06-29 cs.LG
On Stopping Rules and Spatial Adaptation for CART
National University of Singapore(新加坡国立大学)
本文针对CART停止规则的统计作用及空间适应性问题,证明采用最小不纯度下降(MID)停止规则的CART可实现空间自适应的极小极大最优逐点速率,为CART的经验成功提供了理论基础。
2026-08-18 cs.LG math.ST stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Unsupervised Domain Adaptation with Copula Models
Rutgers University(罗格斯大学);MIT Media Lab(麻省理工学院媒体实验室)
我们研究了无监督领域自适应的任务,其中在训练期间没有提供来自目标域的标记数据。为了处理源和目标分布之间的潜在差异,无论是在功能和标签,我们利用了一个基于copula回归框架。这种方法的好处是双重的:(a)它使我们能够对超出常见指数族的更广泛的条件预测密度进行建模,(b)我们展示了如何利用Sklar定理,将联合密度与Copula依赖函数相关联的Copula公式的本质,以找到有效的特征映射,从而减轻域失配。通过将数据转换到copula域,我们在许多基准数据集(包括人类情感估计)上显示,并使用不同的回归模型进行预测,与最近提出的特征转换(自适应)方法相比,我们可以实现更鲁棒和准确的目标标签估计。
2017-09-29 cs.CV cs.LG stat.ML
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège(列日大学)
在监督学习的许多应用中,必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后,我们认为,这种方法预计只有在输出完全相关时才是最优的,因为它迫使树基学习器引起的分区被所有输出共享。然后,我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中,生长回归树结构以拟合当前残差的单个随机投影,并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合,该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验,以及其他算法的变种,在几个人工和真实的问题。随机投影的输出空间,以提供一个更好的适应不同的输出相关模式,因此在大多数情况下,最好的其他方法的竞争力。由于模型共享,收敛速度也得到了提高,减少了计算时间(或模型的复杂性),以达到特定的精度。
2019-05-18 cs.LG stat.ML
Conditional Korhunen-Loéve regression model with Basis Adaptation for high-dimensional problems: uncertainty quantification and inverse modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出用条件Karhunen-Loéve展开(CKLEs)结合基自适应(BA)方法构建高维地下水模型代理模型,通过将协方差核条件化到直接测量值上,显著提升了前向不确定性量化和透射率场反演估计的精度。
2023-07-05 cs.LG math.AP physics.flu-dyn
Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance
电池性能数据集通常是非正态和多重共线性的。外推这些数据集进行模型预测需要注意这些特征。本研究探讨了数据正态性对构建机器学习模型的影响。在这项工作中,基于树的回归模型和多元线性回归模型分别建立了一个高度偏斜的非正态数据集与多重共线性和比较。有几种技术是必要的,如数据转换,以实现一个良好的多元线性回归模型与此数据集,最有用的技术进行了讨论。使用这些技术,最佳多元线性回归模型达到了R^2 = 81.23%,并且对于本研究中使用的数据集没有表现出多重共线性效应。基于树的模型在此数据集上表现更好,因为它们是非参数的,能够处理变量之间的复杂关系,并且不受多重共线性的影响。我们表明,装袋,在使用随机森林,减少过拟合。我们最好的基于树的模型达到了R^2 = 97.73%的准确率。这项研究解释了为什么基于树的回归承诺作为一个机器学习模型的非正态分布,多共线性数据。
2021-11-03 cs.AI cs.LG
A Theory of Multiple-Source Adaptation with Limited Target Labeled Data
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Courant Institute of Mathematical Sciences, New York(纽约大学柯朗数学科学研究所)
我们提出了一个理论和算法研究的多源领域自适应问题的常见情况下,学习者只能访问有限数量的标记的目标数据,但学习者在处置大量的标记数据从多个源域。我们表明,一个新的家庭的算法模型选择的想法的基础上受益于非常有利的保证,在这种情况下,并讨论了一些理论上的障碍,影响一些替代技术。我们还报告了我们的算法,证明其实际有效性的几个实验的结果。
2020-10-29 cs.LG stat.ML
Algorithms and Theory for Multiple-Source Adaptation
Stanford University(斯坦福大学);Courant Institute(柯朗研究所);Google(谷歌);New York University(纽约大学)
这项工作包括一些新的贡献的多源适应问题。我们提出了新的规范化的解决方案与强有力的理论保证的交叉熵损失和其他类似的损失。我们还提供了新的保证,在源域的条件概率是不同的情况下。此外,我们给出了新的算法来确定交叉熵损失和其他损失的分布加权组合解决方案。我们报告了一系列实验的结果与现实世界的数据集。我们发现,我们的算法优于竞争的方法,产生一个单一的强大的模型,表现良好的任何目标混合物分布。总之,我们的理论,算法和实证结果提供了一个完整的解决方案,多源适应问题,具有非常实际的好处。
2018-05-20 cs.LG stat.ML
Multiple-Source Domain Adaptation via Coordinated Domain Encoders and Paired Classifiers
Emory University(埃默里大学)
提出了一种新的多源无监督文本分类模型。我们的模型利用文档表示的更新率来动态集成域编码器。它还采用了概率启发式来推断目标域中的出错率,以配对源分类器。我们的启发式算法利用数据转换成本和目标特征空间中的分类器精度。我们已经使用真实世界的情况下,领域自适应来评估我们的算法的有效性。我们还在实验中使用预训练的多层Transformers作为文档编码器,以证明领域自适应模型所实现的改进是否可以通过开箱即用的语言模型预训练来实现。实验证明,我们的模型是在这种情况下表现最好的方法。
2022-03-20 cs.CL cs.LG
A Discriminative Technique for Multiple-Source Adaptation
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);Hudson River Trading(哈德逊河交易公司)
我们提出了一种新的判别技术的多源适应,MSA,问题。与以前的工作不同,它依赖于每个源域的密度估计,我们的解决方案只需要条件概率,可以很容易地从源域的未标记数据准确估计。我们给出了我们的新技术,包括一般的保证Rényi分歧的基础上,学习边界时,条件Maxent用于估计条件概率的一个点属于源域的详细分析。我们表明,这些保证比较有利的生成的解决方案,使用核密度估计。我们的实验与现实世界的应用程序进一步表明,我们的新的歧视MSA算法优于以前的生成解决方案,以及其他领域自适应基线。
2021-02-12 cs.LG stat.ML
Semi-Supervised Domain Adaptation with Non-Parametric Copulas
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
提出了一种基于Copula理论的半监督域自适应算法框架.该方法将任意多元密度分解为边缘分布与二元Copula函数的乘积。因此,可以检测和校正这些因素中的每一个的变化,以适应跨不同学习域的密度模型。重要的是,我们引入了一个新的葡萄树Copula模型,它允许这种分解在一个非参数的方式。与现实世界的数据回归问题的实验结果表明,所提出的方法相比,国家的最先进的技术的有效性。
2013-01-01 cs.LG stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University(奥托-弗里德里希大学)
在构建贝叶斯机器学习模型时,我们可能会面临多个不同的先验分布,因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索,但对于复杂的机器学习问题,开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性,高斯过程是解决这一任务的良好候选者。因此,我们扩展了高斯过程回归的混合模型的思想,以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外,我们考虑使用我们的方法,另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing(滴滴出行);Carleton University(卡尔顿大学)
早期的无监督领域自适应(UDA)方法大多假设单个源域的设置,其中所有标记的源数据来自相同的分布。然而,在实践中,标记数据可以来自具有不同分布的多个源域。在这样的场景中,由于跨不同源域的域移位的存在,单源领域自适应方法可能失败,并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络(ML-MSDA)。该方法在相互学习的框架下,将目标域与单个源域配对,训练一个条件对抗领域自适应网络作为分支网络,将组合的多源域与目标域配对,训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐,以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明,所提出的ML-MSDA方法优于比较方法,达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Copenhagen(哥本哈根大学)
针对元回归中因任务重叠和有限支持数据导致的梯度估计高方差问题,本文提出利用拉普拉斯近似估计参数后验方差并对支持点加权,从而降低方差、提升泛化性能。
2024-10-23 cs.LG stat.ML
SALIENCE: An Unsupervised User Adaptation Model for Multiple Wearable Sensors Based Human Activity Recognition
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
无监督用户自适应将来自训练用户和新用户的数据的特征分布对齐,因此经过良好训练的可穿戴人体活动识别(WHAR)模型可以很好地适应新用户。随着可穿戴传感器技术的发展,基于WHAR的多传感器可穿戴系统得到了越来越多的关注。为了解决不同传感器的可移植性不同的挑战,我们提出了SALIENCE(基于多个可穿戴传感器的人体活动识别的无监督用户自适应模型)模型。它分别对齐每个传感器的数据以实现局部对齐,同时统一对齐所有传感器的数据以确保全局对齐。此外,提出了一种注意机制,使SALIENCE的活动分类器集中在具有较强特征区分度和良好分布对齐的传感器上。在两个公开的WHAR数据集上进行了实验,实验结果表明,我们的模型可以产生一个有竞争力的性能。
2022-04-27 cs.LG eess.SP
Unsupervised Vehicle Counting via Multiple Camera Domain Adaptation
Institute of Information Science and Technologies (ISTI), Italian National Research Council (CNR)(意大利国家研究委员会信息科学与技术研究所);Instituto Superior Técnico (LARSyS/IST)(里斯本高等理工学院)
监测城市中的车辆流量对于改善城市环境和公民生活质量至关重要。图像是感知和评估大面积车辆流动的最佳传感方式。目前用于图像中车辆计数的技术依赖于大量的注释数据,这阻碍了它们在系统中添加新相机时对城市规模的可扩展性。这是处理物理系统时经常出现的问题,也是机器学习和AI的关键研究领域。我们提出并讨论了一种新的方法来设计基于图像的车辆密度估计器,通过多个摄像机领域自适应的标记数据很少。
2020-09-13 cs.CV cs.LG
PRIMO: Private Regression in Multiple Outcomes
Harvard Business School(哈佛商学院)
针对多结果私有回归场景中直接复用现有方法误差随任务数根号倍增长的问题,提出结合充分统计量扰动与几何投影的可扩展算法,实现大任务数下误差与任务数无关,且在多表型基因组风险预测任务中准确率优于无投影变体。
2025-01-15 cs.CR cs.LG
Multiple Source Domain Adaptation with Adversarial Training of Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(里斯本高等理工学院)
领域自适应是近年来研究的热点,但大多数理论成果和算法都集中在单源单目标自适应设置上。在多源领域自适应问题上简单地应用这样的算法可能导致次优解。作为弥合差距的一步,我们提出了一个新的泛化界领域自适应时,有多个源域的标记实例和一个目标域的未标记的实例。与已有的界相比,新的界不需要关于目标分布的专家知识,也不需要多目标域的最优组合规则。有趣的是,我们的理论还导致了一个有效的学习策略,使用对抗性神经网络:我们展示了如何将其解释为学习特征表示,这些特征表示对多个域的变化是不变的,同时仍然对学习任务具有区分性。为此,我们提出了两个模型,我们都称之为多域对抗网络(MDAN):第一个模型直接优化了我们的边界,而第二个模型是第一个模型的平滑近似,从而产生了一个更有效的数据和任务自适应模型。这两个模型的优化任务都是极大极小鞍点问题,可以通过对抗训练进行优化。为了证明MDAN的有效性,我们进行了大量的实验,显示出优越的适应性能的三个现实世界的数据集:情感分析,数字分类,车辆计数。
2017-10-27 cs.AI cs.LG stat.ML
An Efficient Data Analysis Method for Big Data using Multiple-Model Linear Regression
Harbin Institute of Technology(哈尔滨工业大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本研究提出基于多模型线性回归的大数据分析方法,搭配基于$(ε,δ)$-估计量的近似构建算法,兼具线性时间复杂度与可比的预测性能,效率更优。
2023-08-24 cs.DB cs.LG
Ensemble Multi-Source Domain Adaptation with Pseudolabels
Seoul National University(首尔国立大学)
给定带有标签的多个源数据集,我们如何训练没有标签数据的目标模型?多源领域自适应(MSDA)的目的是在没有目标数据标签的情况下,使用与目标数据集不同的多个源数据集训练模型。MSDA是一个关键的问题,适用于许多实际情况下,标签的目标数据是不可用的,由于隐私问题。现有的MSDA框架是有限的,因为它们对齐数据而不考虑条件分布p(x|(1)每个域。他们也错过了大量的目标标签信息,不考虑目标标签在所有和依赖于只有一个特征提取器。在本文中,我们提出了一种新的方法,多源领域自适应与伪标签的包围多源领域自适应(EnMDAP)。EnMDAP利用标签式矩匹配来对齐条件分布p(x| y),对不可用的目标标签使用伪标签,并通过使用多个特征提取器来引入集成学习主题以进行精确的领域自适应。实验结果表明,EnMDAP在图像域和文本域的多源领域自适应任务中均具有较好的性能。
2020-09-29 cs.LG stat.ML
Multiple functional regression with both discrete and continuous covariates
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧研究中心);Université de Lille(里尔大学);Ecole Centrale de Lille(里尔中央理工学院);INSA de Rouen(鲁昂国立应用科学学院)
在本文中,我们提出了一个非参数方法扩展功能回归方法的情况下,一个以上的功能协变量被用来预测功能反应。借用Kadri et al.(2010 a)的思想,该方法支持混合离散和连续解释变量,基于借助于正算子值核估计再生核希尔伯特空间中的函数值函数。
2013-01-12 cs.LG stat.ML
Multiple Learning for Regression in big data
Purdue University(普渡大学)
具有封闭形式解决方案的回归问题很容易理解,并且当数据集足够小以全部加载到RAM中时可以轻松实现。当数据太大而无法存储在RAM中以计算封闭形式的解决方案时,就会出现挑战。许多技术被提出来克服或减轻内存障碍问题,但解决方案往往是局部最优的。此外,大多数方法需要在更新模型时再次访问原始数据。如果需要同时计算多个模型,也期望并行计算集群。我们提出了多种学习方法,利用一系列足够的统计数据(SS)来解决这一大数据挑战。当计算具有封闭形式解的回归时,这种记忆遗忘方法打破了记忆障碍,包括但不限于线性回归、加权线性回归、具有Box-Cox变换的线性回归(Box-Cox回归)和岭回归模型。SS数组的计算和更新可以在每行级别或每个小批量级别处理。更新模型就像矩阵加减一样简单。此外,不同模型的多个SS阵列可以很容易地同时计算,以在一次通过数据集时获得多个模型。我们在Spark上实现了我们的方法,并在模拟数据集上进行了评估。实验结果表明,该方法可以获得多个模型的封闭解,而训练时间仅为传统方法的一半。
2019-10-05 cs.DC cs.LG stat.ML
Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);Microsoft Research Asia(微软亚洲研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
监督学习的成功取决于训练和测试数据来自相同的底层分布的假设,由于潜在的分布偏移,这在实践中通常是无效的。鉴于此,大多数现有的无监督领域自适应方法集中在实现域不变表示和小的源域误差。然而,最近的工作表明,这是不足以保证良好的推广目标域,事实上,是证明不利的标签分布偏移。此外,在许多实际应用中,从目标域获得少量标记数据并使用它们来促进利用源数据的模型训练通常是可行的。受上述观察的启发,在本文中,我们提出了第一种方法,旨在同时学习不变表示和风险的设置下的半监督领域自适应(半DA)。首先,我们提供了一个有限的样本界下的分类和回归问题Semi-DA。界建议一个原则性的方法来获得目标的推广,即通过对齐的边缘和条件分布跨域的特征空间。受此启发,我们然后介绍了联合\textbf{L}赚取\textbf{I} nvariant \textbf{R} epresentation和\textbf{R} isks的LIRR算法。最后,在分类和回归任务上进行了广泛的实验,结果表明LIRR始终达到最先进的性能,与只学习不变表示或不变风险的方法相比,有显着的改进。
2021-04-04 cs.AI cs.CV cs.LG
Maximum a Posteriori Adaptation of Network Parameters in Deep Models
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Microsoft Corporation(微软公司)
我们提出了一种贝叶斯方法来调整训练有素的上下文相关的深度神经网络隐马尔可夫模型(CD-DNN-HMM)的参数,以提高自动语音识别性能。给定丰富的DNN参数,但只有有限的数据量,适应DNN模型的有效性往往会受到影响。我们制定了专门设计的CD-DNN-HMM参数的最大后验(MAP)自适应,其中增强的线性隐藏网络连接到输出绑定状态或senone,并将其与之前提出的特征空间MAP线性回归进行比较。在20,000词开放词汇量的《华尔街日报》任务上的实验证据证明了该框架的可行性。在监督自适应中,所提出的MAP自适应方法提供了超过10%的相对误差减少,并始终优于传统的基于变换的方法。此外,我们提出了一个初步的尝试,通过利用senone之间的相似性,产生层次先验,以提高适应效率和有效性与有限的适应数据。
2015-08-12 cs.CL cs.LG cs.NE
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
University of California, Berkeley(加州大学伯克利分校);OpenAI
我们提出了一种与模型无关的元学习算法,在这个意义上,它与任何使用梯度下降训练的模型兼容,并适用于各种不同的学习问题,包括分类,回归和强化学习。元学习的目标是对各种学习任务进行训练,使其可以仅使用少量训练样本来解决新的学习任务。在我们的方法中,模型的参数被显式地训练,使得少量的梯度步骤和来自新任务的少量训练数据将在该任务上产生良好的泛化性能。实际上,我们的方法训练模型,使其易于微调。我们证明了这种方法在两个Few-Shot图像分类基准上具有最先进的性能,在Few-Shot回归上产生了良好的结果,并加速了策略梯度强化学习与神经网络策略的微调。
2017-07-18 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University(卡尔顿大学)
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时,这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域,逐步增大源域,并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验,结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition
IIT Madras(印度理工学院马德拉斯分校)
人脸识别(FR)是基于生物特征的监控的最优选模式,这是由于其在所有不同类型的生物特征中检测主体的被动性质。与训练样本相比,由于探头上的低对比度、噪声和较差的照明条件,监视场景下的FR没有给出令人满意的性能。最先进的技术,深度学习,甚至在这些场景中表现不佳。我们提出了一种新的基于软边的学习方法,用于多个特征核组合,然后使用领域自适应进行特征变换,当使用三个真实世界的监控人脸数据集进行测试时,其性能优于许多最近的最先进的技术。
2016-10-27 cs.AI cs.CV cs.HC
Ensemble of Discriminators for Domain Adaptation in Multiple Sound Source 2D Localization
IBM Research(IBM研究院);MINES ParisTech - PSL Research University(巴黎高等矿业学院 - PSL研究大学)
本文介绍了一种集成的鉴别器,提高了多声源定位的域自适应技术的准确性。最近,深度神经网络已经为这项任务带来了有希望的结果,但它们需要大量的标记数据进行训练。记录和标记这样的数据集是非常昂贵的,特别是因为数据需要足够多样化以覆盖不同的声学条件。在本文中,我们利用声学模拟器来廉价地生成标记的训练样本。然而,由于域不匹配,在合成数据上训练的模型往往在真实世界的记录中表现不佳。为此,我们探索了两种使用对抗学习进行声源定位的域自适应方法,这些方法使用标记的合成数据和未标记的真实数据。我们提出了一种新的集成方法,结合应用于不同特征层次的本地化模型的鉴别器。实验表明,我们的集成判别方法显着提高了定位性能,而不需要任何标签的真实数据。
2021-03-16 cs.LG cs.SD eess.AS
Penalized Fair Regression for Multiple Groups in Chronic Kidney Disease
Department of Health Policy, Stanford University(健康政策系,斯坦福大学);Stanford University(斯坦福大学);Department of Epidemiology and Population Health, Stanford University(流行病学与人口健康系,斯坦福大学)
本文提出了一种针对多重群体慢性肾病的惩罚公平回归方法,通过优化公平性与准确性,提升了不同种族和民族群体在医疗决策中的公平性。
2026-10-23 cs.CY cs.LG stat.AP