Hierarchical Optimal Transport for Unsupervised Domain Adaptation
在本文中,我们提出了一种新的方法,无监督领域自适应,涉及最佳运输,学习概率措施和无监督学习的概念。所提出的方法,HOT-DA,是基于一个层次的制定最佳的运输,利用超越的几何信息所捕获的地面度量,更丰富的结构信息在源和目标域。标记源域中的附加信息是通过根据样本的类标签将样本分组到结构中而本能地形成的。而在未标记的目标域中探索隐藏结构的问题归结为通过Wasserstein重心学习概率测度的问题,我们证明了它与谱聚类是等价的。在一个复杂度可控的玩具数据集和两个具有挑战性的视觉自适应数据集上的实验表明了该方法的优越性。
2021-12-03 cs.CV cs.LG stat.ML
Connecting adversarial attacks and optimal transport for domain adaptation
ITMO University(ITMO大学);Artificial Intelligence Research Institute(人工智能研究院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Eberhard Karls Universität Tübingen(蒂宾根大学)
我们提出了一种新的算法领域自适应使用最佳传输。在领域自适应中,目标是使在源域样本上训练的分类器适应目标域。在我们的方法中,我们使用最佳的运输映射目标样本的域命名为源小说。该域不同于源,但被源域分类器准确地分类。我们的主要思想是在目标域上通过c-循环单调变换生成一个源小说。如果在两个域中具有相同标签的样本是c-循环单调的,则这些域之间的最优传输映射保持类结构,这是领域自适应的主要目标。为了生成一个源小说域,我们提出了一个算法,该算法是基于我们的发现,对抗攻击是一个c-循环单调变换的数据集。我们在Digits和Modern Office-31数据集上进行了实验,并为所有适应任务实现了简单离散最优传输求解器的性能改进。
2022-06-04 cs.LG
Structured Optimal Transport
Massachusetts Institute of Technology(麻省理工学院)
Optimal Transport最近对机器学习产生了兴趣,其应用范围从领域适应、句子相似性到深度学习。然而,它捕捉经常出现的结构超出“地面度量”的能力是有限的。在这项工作中,我们开发了一个非线性推广的(离散)最优运输,能够反映更多的额外结构。我们演示了如何利用这个新模型的几何形状快速算法,并探索连接和属性。说明性的实验突出了领域适应和自然语言处理任务的诱导结构化耦合的好处。
2017-12-17 cs.LG stat.ML
Optimal Transport for Domain Adaptation
从一个数据空间(或域)到另一个数据空间(或域)的领域自适应是现代数据分析的最具挑战性的任务之一。如果调整正确,建立在特定数据空间上的模型在面对描述相同语义概念(类)的数据时变得更加健壮,但由另一个具有自身特性的观察系统观察。在提出的许多策略,以适应一个域到另一个,找到一个共同的表示已显示出优异的性能:通过找到一个共同的表示为两个域,一个单一的分类器可以在这两个有效,并使用标记的样本从源域预测目标域的未标记的样本。在本文中,我们提出了一个正则化的无监督的最优运输模型来执行对齐的表示在源和目标域。我们学习了一个与两个PDF匹配的运输计划,该计划约束源域中的标记样本在运输过程中保持接近。通过这种方式,我们同时利用了源中的少量标记信息和在两个域中观察到的未标记分布。在玩具和具有挑战性的真实视觉适应示例中的实验显示了该方法的兴趣,该方法始终优于最先进的方法。
2016-06-22 cs.LG
Optimal Transport for Domain Adaptation through Gaussian Mixture Models
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、CEA、List)
本研究提出基于高斯混合模型的最优传输方法,用于高效的无监督域自适应,在9个基准的85个任务上验证了其优于浅层方法且可扩展。
2025-07-08 cs.AI cs.LG stat.ML
Concentration bounds for linear Monge mapping estimation and optimal transport domain adaptation
本文研究了分布间线性Monge映射估计的性质。我们提供了线性映射算子的第一个集中结果,并证明了使用一阶和二阶矩的经验估计时$n^{-1/2}$的样本复杂度。这个结果,然后用来推导出一个泛化界域自适应最佳运输。因此,该方法的性能接近理论贝叶斯预测在温和的条件下的协方差结构的问题。我们还讨论了线性映射估计的计算复杂性,并表明,当源和目标是固定的映射是一个卷积,可以非常有效地使用快速傅立叶变换估计。数值实验再现了模拟和真实数据上的映射估计和图像上的域适应的证明界限的行为。
2020-12-01 cs.LG math.ST stat.ML
Theoretical Performance Guarantees for Partial Domain Adaptation via Partial Optimal Transport
Chalmers University of Technology(查尔姆斯理工大学);University College London(伦敦大学学院)
本文针对部分域适应中加权方案缺乏理论依据的问题,基于部分最优传输推导泛化界,提出有理论支撑的源损失权重表达式,并据此设计出具有竞争力的 WARMPOT 算法。
2025-06-03 cs.LG stat.ML
Unbalanced minibatch Optimal Transport; applications to Domain Adaptation
Univ. Bretagne-Sud(布列塔尼南部大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);IRISA(红外与图像科学研究所);ENS, PSL University(巴黎高等师范学院、PSL大学);École Polytechnique(巴黎综合理工学院)
最优传输距离在机器学习中有许多应用,因为它们能够比较非参数概率分布。然而,它们的算法复杂性通常阻止它们在大规模数据集上的直接使用。在缓解此问题的可能策略中,从业者可以依赖于计算数据子集上的这些距离的估计,{ \em,即}小批量。虽然在计算上很吸引人,但我们在本文中强调了这种策略的一些限制,认为它可能会导致不良的平滑效果。作为替代方案,我们建议,同样的小批量策略加上不平衡的最佳运输可以产生更强大的行为。我们讨论了相关的理论性质,如无偏估计,梯度的存在性和浓度界。我们的实验研究表明,在与领域自适应相关的具有挑战性的问题中,使用不平衡的最佳传输会导致更好的结果,与最近的基线竞争或超越。
2021-03-05 cs.LG math.ST stat.ML
Unsupervised Domain Adaptation for Extra Features in the Target Domain Using Optimal Transport
The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所先进智能项目中心)
领域自适应的目的是将从源领域获得的标记实例的知识转移到目标领域,以填补领域之间的空白。大多数领域自适应方法假设源域和目标域具有相同的维度。当每个域中的特征数量不同时适用的方法很少被研究,特别是当没有为从目标域获得的测试数据给出标签信息时。在本文中,它是假设共同的功能存在于两个域和额外的(新的附加)功能中观察到的目标域,因此,目标域的维数高于源域。为了利用同质性的共同特点,这些源和目标域之间的适应制定为一个最佳运输(OT)的问题。此外,在目标域中的建议OT为基础的方法的学习界推导。所提出的算法进行了验证,使用模拟和真实世界的数据。
2022-09-10 cs.LG
Optimal Transport-Based Domain Adaptation for Rotated Linear Regression
本文研究旋转偏移下线性回归的监督领域自适应问题,证明 p≥2 时 R² 中 OT 映射可恢复旋转,并提出结合 K-means、OT 与 SVD 的角度估计及模型自适应算法。
2025-05-14 cs.LG math.PR stat.ML
Collaborative Multi-source Domain Adaptation Through Optimal Transport
Université Sorbonne Paris Nord(巴黎北索邦大学);Aix-Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
针对多源域适应的模型适配与数据隐私挑战,提出含源域独立最优传输适配、无数据聚合的中心化协同学习双阶段的CMDA-OT框架,借目标验证子集优化适配,兼顾性能与隐私。
2024-08-19 cs.AI cs.LG
Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
在计算机视觉中,经常会遇到图像的区域偏移问题:图像类别相同,但采集条件不同。在领域自适应(DA)中,人们希望利用源标记图像对未标记的目标图像进行分类。不幸的是,在源训练集上训练的深度神经网络在不属于训练域的目标图像上表现不佳。提高这些性能的一种策略是使用最优传输(OT)在嵌入式空间中对齐源和目标图像分布。然而,OT可引起负转移,即将样品与不同的标记比对,这导致过拟合,尤其是在结构域之间存在标签偏移的情况下。在这项工作中,我们通过将其解释为对目标图像的噪声标签分配来减轻负对齐。然后,我们通过适当的正则化来减轻其影响。我们建议将MixUp正则化\citep{zhang2018mixup}与对噪声标签具有鲁棒性的损失相结合,以提高领域自适应性能。我们在一项广泛的消融研究中表明,这两种技术的结合是实现性能改善的关键。最后,我们评估我们的方法,称为\textsc{mixunbot},在几个基准和现实世界的DA问题。
2022-06-22 cs.CV cs.LG stat.ML
Cross-Language Aphasia Detection using Optimal Transport Domain Adaptation
Winterlight Labs(温特莱特实验室);Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research(微软研究院)
多语言语音数据集是稀缺的,通常在医疗领域的样本量很小。在从语音中检测健康状况时,跨语言的语言特征的强大转移可以提高低资源语言使用者的早期诊断和治疗率。我们利用域外的,不成对的,单扬声器,健康的语音数据训练多个最优传输(OT)域自适应系统。我们学习从其他语言到英语的映射,并从语音的语言特征中检测失语症,并表明OT域适应提高了法语(F1增加6%)和普通话(F1增加5%)的单语基线失语症检测。此外,我们发现,将失语症数据添加到域适应系统中显着提高了法语和普通话的性能,进一步提高了F1分数(法语和普通话的F1分数分别比单语基线提高了10%和8%)。
2019-12-04 cs.CL cs.LG cs.SD
Functional optimal transport: map estimation and domain adaptation for functional data
Carnegie Mellon University(卡内基梅隆大学);AT&T Chief Data Office(AT&T首席数据办公室);University of Michigan(密歇根大学)
针对无穷维函数空间最优传输中Monge映射可能不存在的问题,提出基于Hilbert-Schmidt算子正则化的函数型最优传输方法,给出理论保证并验证了其在域适应中的有效性。
2023-08-28 cs.LG stat.AP stat.ML
Optimal Transport for Conditional Domain Matching and Label Shift
Criteo AI Lab(Criteo人工智能实验室);Ecole Polytechnique(巴黎综合理工学院);INSA de Rouen Normandie(鲁昂国立应用科学学院);Université Technologique de Compiègne(贡比涅技术大学);Université de Rouen Normandie(鲁昂诺曼底大学);Université de Bretagne Sud(南布列塔尼大学)
我们解决了无监督的领域自适应的问题下设置的广义目标移位(联合类条件和标签偏移)。对于这个框架,我们从理论上表明,良好的推广,有必要学习一个潜在的表示,其中边缘和类条件分布跨域对齐。为此,我们提出了一个学习问题,最大限度地减少在源域的重要性加权损失和加权边缘之间的Wasserstein距离。对于一个适当的权重,我们提供了一个估计的目标标签的比例混合估计和最佳匹配的最佳运输。这种估计在温和的假设下具有正确性的理论保证。我们的实验结果表明,我们的方法在范围领域自适应问题,包括\emph{digits},\emph{VisDA}和\emph{Office}的平均表现优于竞争对手。本文的代码可在\url{https://github.com/arakotom/mars_domain_adaptation}上找到。
2021-10-19 cs.LG stat.ML
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
小批量最优传输(Mini-batch optimal transport,m-OT)是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性,m-OT遭受误指定的映射,即,映射是最佳的小批量水平,但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题,我们提出了一种新的小批量方法,通过使用部分最优运输(POT)之间的小批量经验措施,我们称之为小批量部分最优运输(m-POT)。利用部分运输的洞察力,我们解释了m-OT中错误指定映射的来源,并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后,我们对各种应用程序进行了广泛的实验,如深度域自适应,部分域自适应,深度生成模型,颜色转移和梯度流,以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
诸如Wasserstein的最优传输(OT)距离已被用于诸如GANs和领域自适应等若干领域。然而,OT对数据中的离群值(具有大噪声的样本)非常敏感,因为在其目标函数中,由于边缘约束,每个样本(包括离群值)都被类似地加权。为了解决这个问题,以前已经提出了具有不平衡边际约束的OT的鲁棒公式。然而,在深度学习问题(如GANs和领域自适应)中使用这些方法是具有挑战性的,因为它们的对偶优化求解器不稳定。在本文中,我们通过推导出一种适用于现代深度学习应用的鲁棒OT优化的计算高效的对偶形式来解决这些问题。我们在GANs和领域自适应的两个应用中证明了我们的公式的有效性。我们的方法可以训练国家的最先进的GAN模型与离群分布损坏的噪声数据集。特别是,我们的优化计算训练样本的权重,反映了在模型中生成这些样本的难度。在领域自适应中,与标准的对抗性自适应方法相比,我们的鲁棒OT公式提高了准确性。我们的代码可在www.example.com上获得。
2020-10-12 cs.CV cs.LG
Statistical Inference for Feature Selection after Optimal Transport-based Domain Adaptation
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);RIKEN(理化学研究所)
本文提出SFS-DA方法,利用选择性推断框架在域适应下对特征选择结果进行统计检验,实现假阳性率控制并提升真阳性率,实验验证了其有效性。
2024-10-19 cs.LG stat.ML
Implicit Bayes Adaptation: A Collaborative Transport Approach
North Carolina State University(北卡罗来纳州立大学);US Army Research Office(美国陆军研究办公室)
本文提出一种隐式贝叶斯框架下的最优传输领域自适应方法,通过细化欧几里得度量为测地距离并引入源数据先验聚类结构,提升无监督领域自适应的鲁棒性和性能。
2023-04-17 cs.LG eess.IV
Unsupervised neural adaptation model based on optimal transport for spoken language identification
National Institute of Information and Communications Technology(日本国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
由于训练集和测试集之间声学语音的统计分布的不匹配,口语识别(SLID)的性能会急剧下降。在本文中,我们提出了一个无监督的神经适应模型来处理SLID的分布失配问题。在我们的模型中,我们明确地制定了适应,以减少训练和测试数据集的特征和分类器的分布差异。此外,受最优运输(OT)的强大功能来衡量分布差异的启发,Wasserstein距离度量的适应损失。通过最小化训练数据集和测试数据集上的自适应损失以及训练数据集上的分类损失,减小了训练域和测试域之间的统计分布差异。我们在东方语言识别(OLR)挑战数据集上进行了SLID实验,其中训练和测试数据集是从不同条件下收集的。我们的研究结果表明,跨领域测试任务取得了显着的改善。
2020-12-24 cs.CL cs.LG cs.SD
Deep Inertial Navigation using Continuous Domain Adaptation and Optimal Transport
Bell Labs(贝尔实验室);Invenia Labs(英维尼亚实验室)
在本文中,我们提出了一种新的策略学习惯性机器人导航模型。所提出的策略增强了端到端的惯性建模的通用性,并针对轮式机器人部署。具体而言,本文对以下几个方面进行了阐述。(1)使用精密机器人技术,我们凭经验证明了在导航过程中改变传感器位置对原始惯性信号分布的影响,以及对学习的潜在空间的相应影响。(2)我们提出了神经架构和算法,以吸收知识的索引集的传感器位置,以提高机器人惯性跟踪的鲁棒性和概括性在该领域。我们选择的方案使用连续领域自适应(DA)和最优传输(OT)。(3)在我们的评估中,连续OT DA优于连续对抗DA基线,同时也显示出比简单数据增强可量化的学习优势。我们将发布我们的数据集,以帮助促进未来的研究。
2021-09-19 cs.LG cs.RO
Domain Adaptation and Entanglement: an Optimal Transport Perspective
RIKEN AIP(理化学研究所人工智能项目);Australian National University(澳大利亚国立大学);The University of Tokyo(东京大学)
本文从最优传输角度提出新的理论界,引入“纠缠”项刻画无监督域适应中不可优化的部分,并通过多模型多场景实验证明该能量化解释UDA算法性能差异。
2025-03-11 cs.LG
Match-And-Deform: Time Series Domain Adaptation through Optimal Transport and Temporal Alignment
Université Rennes 2(雷恩第二大学);Université Bretagne Sud(布列塔尼南大学);IRISA(法国国家信息与自动化研究所(IRISA));LETG(雷恩第二大学技术与地球科学实验室(LETG));UMR CNRS 6074(法国国家科学研究中心(CNRS)UMR 6074联合实验室)
针对时间序列无监督域适应中存在的特征分布偏移与时间偏移问题,提出结合最优传输与动态时间规整的MAD方法,可学习域对齐且判别性强的表征,在基准与遥感数据上取得了媲美或优于现有先进方法的分类性能。
2023-08-25 cs.LG
Bi-level Unbalanced Optimal Transport for Partial Domain Adaptation
School of Mathematics, Sun Yat-Sen University(中山大学数学学院);Department of Electrical and Engineering, City University of Hong Kong(香港城市大学电子工程系)
针对部分域适应中离群类识别和簇结构利用不足的问题,提出双层不平衡最优传输BUOT,通过样本级与类级传输协作实现跨域对齐和离群判别。
2025-05-19 cs.AI cs.CV cs.LG
Forward-Backward Splitting for Optimal Transport based Problems
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
最优运输的目的是估计一个运输计划,使位移成本最小化。这是通过在双随机阵空间上优化所寻求的计划和给定成本之间的标量积来实现的。当将熵正则化加入到问题中时,可以用Sinkhorn算法有效地计算运输计划。由于这一突破,通过在问题公式中引入额外的特定于应用的术语,最优传输已逐步扩展到机器学习和统计推断。然而,它是具有挑战性的设计有效的优化算法的最佳传输为基础的扩展。为了克服这一限制,我们设计了一个一般的前向后分裂算法的基础上Bregman距离解决了广泛的优化问题,涉及可微函数Lipschitz连续梯度和双重随机约束。我们说明了我们的方法在连续域适应的上下文中的效率。实验表明,所提出的方法导致了显着的改进,在速度和性能方面的最先进的域自适应的不断旋转的分布来自标准的两个月亮数据集。
2019-11-04 cs.LG stat.ML
Deep Joint Distribution Optimal Transport for Universal Domain Adaptation on Time Series
Univ Rouen Normandie, INSA Rouen Normandie, Normandie Univ, LITIS UR 4108(鲁昂大学诺曼底分校, 鲁昂国立应用科学学院, 诺曼底大学, LITIS UR 4108)
本文提出UniJDOT方法,通过最优传输考虑未知目标样本,引入联合决策空间提升检测判别性,并采用自适应阈值算法和傅里叶变换层提升时间序列表示,实验证明其判别性、鲁棒性和性能优势。
2025-11-17 cs.LG
Deep Optimal Transport for Domain Adaptation on SPD Manifolds
College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Université Paris-Saclay, Inria, CEA, Palaiseau, France(巴黎-萨克雷大学,法国国家信息与自动化技术研究所,法国原子能委员会,Palaiseau)
本文提出一种结合最优传输与SPD流形几何的域自适应框架,在三个跨会话脑机接口数据集上验证其能有效减少分布差异并优于基线方法。
2025-05-08 cs.AI cs.LG eess.SP
Domain adaptation using optimal transport for invariant learning using histopathology datasets
Beckman Institute for Advanced Science and Technology, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼高级科学技术研究所);Microsoft Research(微软研究院)
组织学对于包括癌症在内的许多疾病的诊断至关重要。这些协议通常需要病理学家在显微镜下手动评估载玻片,这是耗时且主观的,导致对机器学习的兴趣以自动化分析。然而,计算技术受到批量效应的限制,其中技术因素如制备方案或扫描仪的差异可能会改变载玻片的外观,导致在一个机构上训练的模型在推广到其他机构时失败。在这里,我们提出了一个领域自适应方法,提高了组织病理学模型的泛化,从看不见的机构的数据,而不需要在这些新的设置标签或再培训。我们的方法引入了最优传输(OT)损失,扩展了对抗性方法,如果来自不同机构的图像可以在其表示空间中区分开来,则会惩罚模型。与以前的方法不同,这些方法对单个样本进行操作,我们的损失考虑了批量图像之间的分布差异。在Camelyon17数据集上,虽然这两种方法都可以适应颜色分布的全局差异,但只有我们的OT损失可以可靠地对训练过程中看不到的癌症表型进行分类。总之,我们的研究结果表明,OT提高了对罕见但关键表型的概括,这些表型可能只占幻灯片中总瓦片和变化的一小部分。
2023-03-03 cs.CV cs.LG
A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation
Monash University(莫纳什大学);Adobe Research(Adobe研究院)
针对无监督域适应中的数据与标签偏移问题,提出结合类别感知高阶矩匹配的类别感知最优传输方法,采用深度神经网络实现高效计算,实验效果优于现有最优基线。
2024-01-29 cs.AI cs.CV cs.LG
ITSPACE: Monotone Gaussian Optimal Transport Updates
提出ITSPACE方法,通过平方根分解的闭式更新直接优化Bures-Wasserstein目标,实现协方差矩阵的高效对齐,在严格预算下显著快于现有方法。
2026-06-29 cs.LG stat.ML
Rethinking the Flow-Based Gradual Domain Adaptation: A Semi-Dual Optimal Transport Perspective
University of Science and Technology of China(中国科学技术大学)
针对渐进域适应中中间域构建问题,提出熵正则化半对偶非平衡最优传输框架,避免似然估计,实现稳定训练并提升性能。
2026-06-09 cs.LG
Statistical Optimal Transport via Factored Couplings
提出了一种新的方法来估计高维样本中两个概率分布之间的瓦瑟斯坦距离和最优运输方案。不像插件规则,简单地取代他们的经验对应的真实分布,我们的方法促进耦合与低运输秩,一个新的结构假设,这是类似于矩阵的非负秩。基于这一假设的正则化导致了各种任务的高维数据的大幅改进,包括单细胞RNA测序数据中的域适应。这些发现得到了理论分析的支持,理论分析表明,运输排名是克服数据驱动的最佳运输所固有的维数灾难的关键。
2018-11-10 cs.LG stat.ML
Generalization Bounds for Representative Domain Adaptation
The Biodesign Institute(生物设计研究所);Nanjing University of Science and Technology(南京理工大学);Huawei(华为);Arizona State University(亚利桑那州立大学)
在本文中,我们提出了一个新的框架来分析学习过程的理论特性的一个代表性类型的领域自适应,它结合了多个来源和一个目标(或简称为代表性领域自适应)的数据。特别地,我们使用积分概率度量来度量两个域的分布之间的差异,同时将其与H-散度和差异距离进行比较。分别建立了多域的Hoeffding型、Bennett型和McDiarmid型偏差不等式,并给出了典型领域自适应的对称化不等式.其次,利用所得到的不等式分别得到了基于一致熵数的Hoeffding型和Bennett型推广界.此外,我们提出了基于Rademacher复杂性的推广界。最后,我们分析了代表性的领域自适应的学习过程的渐近收敛性和收敛速度。我们讨论了影响学习过程渐近行为的因素,数值实验也支持了我们的理论结果。同时,在同分布假设下,与已有的领域自适应结果和经典结果进行了比较。
2014-01-02 cs.LG stat.ML
Beyond Mapping : Domain-Invariant Representations via Spectral Embedding of Optimal Transport Plans
本文提出通过谱嵌入平滑运输计划来获得领域不变表示,以解决训练与推理数据分布偏移问题,在多个音频和电气检测任务中取得优异性能。
2026-03-06 cs.LG
Cross-domain Activity Recognition via Substructural Optimal Transport
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
为人类活动识别(HAR)收集足够的标记数据是昂贵且耗时的。领域自适应是一种很有前途的跨领域活动识别方法。现有的方法主要集中于通过域级、类级或样本级分布匹配来适应跨域表示。但是,它们可能无法捕获活动数据中的细粒度位置信息。域级和类级匹配过于粗糙,可能导致自适应不足,而样本级匹配则会受到噪声的严重影响,最终导致过度自适应。在本文中,我们提出了子结构级匹配域自适应(SSDA),以更好地利用活动数据的局部信息,准确和有效的知识转移。基于SSDA,我们提出了一个基于传输的最优实现,子结构最优传输(SOT),跨域HAR。我们通过聚类方法获得活动的子结构,并寻求不同领域之间的加权子结构的耦合。我们在四个公共活动识别数据集(即UCI-DSADS,UCI-HAR,USC-HAD,PAMAP 2)上进行了全面的实验,结果表明SOT在分类准确率方面明显优于其他最先进的方法(9%以上的改进)。此外,我们的方法是5倍的速度比传统的基于OT的DA方法具有相同的超参数。
2021-09-16 cs.LG eess.SP
On Scalable and Efficient Computation of Large Scale Optimal Transport
Georgia Institute of Technology(佐治亚理工学院)
最优传输(OT)自然出现在许多机器学习应用中,但沉重的计算负担限制了它的广泛应用。为了解决可扩展性问题,我们提出了一个基于隐式生成学习的框架,称为SPOT(Scalable Push-forward of Optimal Transport)。具体来说,我们近似的最优运输计划的推进的参考分布,并铸造的最优运输问题成一个极大极小问题。然后,我们可以有效地解决OT问题使用原始对偶随机梯度型算法。我们还表明,我们可以恢复密度的最佳运输计划,使用神经常微分方程。在模拟数据集和真实数据集上的数值实验表明,SPOT算法具有良好的收敛性和鲁棒性。SPOT还使我们能够从最佳传输计划中高效地进行采样,这有利于下游应用,如领域自适应。
2019-06-24 cs.LG stat.ML
Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport
Duke University(杜克大学)
该研究针对半监督域适应场景中现有方法缺乏不确定性量化的问题,提出将共形风险最小化与最优传输结合的端到端框架,生成紧凑且覆盖有效的预测集。
2026-08-25 cs.LG
Preserving Geometric Integrity in Graph Prompting via Measure-Constrained Optimal Transport
University of Electronic Science and Technology of China(电子科技大学);Tsinghua University(清华大学);Western University(韦仕敦大学)
针对图提示学习中提示分配失衡问题,提出熵正则化最优传输框架MINT,通过全局耦合分配和边际约束保持几何完整性,在少样本适配中表现竞争力。
2026-09-22 cs.LG
From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Wayne State University(韦恩州立大学)
本研究提出名为algname的VLM测试时适应方法,通过Wasserstein最优传输统一VLM的推理与适应目标,实验显示其性能较最优方法提升7%且效率先进。
2026-08-20 cs.AI cs.CL cs.CV
Unsupervised Noise Adaptive Speech Enhancement by Discriminator-Constrained Optimal Transport
The Cooperative Institute for Research in Environmental Sciences (CIRES)(环境科学合作研究所);University of Colorado(科罗拉多大学);NOAA Physical Sciences Laboratory(美国国家海洋和大气管理局物理科学实验室);Research Center for Information Technology Innovation(资讯科技创新研究中心);Academia Sinica(中央研究院);National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构)
本文提出了一种新的鉴别器约束的最优传输网络(DOTN),执行无监督的领域自适应语音增强(SE),这是一个重要的回归语音处理任务。DOTN的目标是通过利用从源域可用的知识来估计目标域中的噪声语音的干净参考。据报道,训练和测试数据之间的域转移是不同领域学习问题的障碍。虽然存在丰富的文献无监督领域自适应的分类,提出的方法,特别是在回归,仍然很少,往往依赖于额外的信息有关的输入数据。所提出的DOTN方法在战术上将数学分析中的最优传输(OT)理论与生成对抗框架相融合,以帮助评估目标域中的连续标签。两个SE任务的实验结果表明,通过扩展经典的OT公式,我们提出的DOTN优于以前的对抗性领域自适应框架在一个纯粹的无监督的方式。
2021-11-11 cs.LG cs.SD eess.AS
Source Component Shift Adaptation via Offline Decomposition and Online Mixing Approach
NEC Corporation(日本电报电话株式会社)
针对源成分偏移自适应问题,提出基于离线分解与在线混合的方法,通过 EM 算法离线学习源成分并利用在线凸优化更新混合权重,显著提升了自适应性能并降低了累积测试损失。
2025-08-14 cs.LG
Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
Center of Excellence for Generative AI, King Abdullah University of Science and Technology (KAUST)(生成人工智能卓越中心,国王阿卜杜勒阿齐兹大学科学与技术学院);Saudi Data & AI Authority (SDAIA) & National Center of AI (NCAI)(沙特数据与人工智能管理局及人工智能国家中心)
本文提出Bernoulli-LoRA理论框架,通过伯努利机制随机选择更新矩阵,统一并扩展现有LoRA方法,为非凸和凸非光滑情形提供收敛保证,并经实验验证其有效性。
2025-08-05 cs.LG math.OC
Bringing regularized optimal transport to lightspeed: a splitting method adapted for GPUs
KTH(瑞典皇家理工学院)
本文提出一种基于Douglas-Rachford分裂的正则化最优传输算法,具备全局收敛保证和低迭代成本,并可利用GPU并行化显著加速,在领域自适应和生成模型学习中表现优异。
2023-05-29 cs.LG
Cross-user activity recognition via temporal relation optimal transport
The University of Auckland(奥克兰大学)
本文提出时间关系最优传输(TROT)方法,利用时间关系并放宽独立同分布假设,通过HMM和最优传输技术实现活动对齐,在三个公开数据集上优于现有方法。
2024-03-12 cs.AI cs.CV cs.HC
Wasserstein Parallel Transport for Predicting the Dynamics of Statistical Systems
Department of Statistics and Data Science, Carnegie Mellon University(卡内基梅隆大学统计与数据科学系);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Department of Economics, Emory University(埃默里大学经济系)
本文提出Wasserstein平行趋势方法,通过最优传输几何中的平行传输解决分布空间缺乏向量空间结构的问题,实现因果推断、领域适应和反事实预测。
2026-03-24 cs.LG math.PR math.ST
Sequential Conditional Transport on Probabilistic Graphs for Interpretable Counterfactual Fairness
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Aix Marseille Univ, CNRS, AMSE(艾克斯-马赛大学、国家科学研究中心、AMSE);CNRS - Université de Montréal(国家科学研究中心-蒙特利尔大学)
本文结合因果图适配与最优传输,将Knothe重排和三角传输扩展至概率图模型,提出序列传输方法以探讨个体层面的反事实公平性,并通过数值实验验证其应用。
2025-04-28 cs.LG stat.ME
Large-Scale Optimal Transport via Adversarial Training with Cycle-Consistency
Shanghai Jiao Tong University(上海交通大学)
大规模最优传输的最新进展极大地扩展了其在机器学习中的应用场景。然而,现有的方法要么不显式地学习运输地图或不支持一般的成本函数。在本文中,我们提出了一个端到端的方法来解决大规模的最优运输,直接解决运输地图,并与一般的成本函数兼容。它通过随机神经网络对运输图进行建模,并通过对抗训练对边缘分布进行约束。通过引入循环一致性约束,该框架可以进一步扩展到学习Monge映射或最优双射。我们验证了所提出的方法的有效性,并证明其优越的性能与现有的方法与大规模的现实世界的应用,包括领域自适应,图像到图像的翻译,和颜色转移。
2020-03-14 cs.CV cs.LG
Spectra: Exact Component Transport for Test-Time Prior Adaptation in Simulation-Based Inference
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);International Max Planck Research School on Cognitive NeuroImaging(马克斯·普朗克国际认知神经影像研究学院);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据分析与人工智能中心(ScaDS.AI));Leipzig University(莱比锡大学);University College London(伦敦大学学院)
本文提出Spectra,一种用于基于扩散的模拟推断的测试时先验适应方法,通过精确分数传输恒等式实现闭式适应,无需额外模拟或训练,在六个基准上实现强先验偏移下的准确适应,使预训练模型能利用更新先验。
2026-10-07 cs.LG stat.ML
Joint Distribution Optimal Transportation for Domain Adaptation
Université de Bretagne Sud(南布列塔尼大学);IRISA(计算机科学与随机系统研究所);CNRS(法国国家科学研究中心);Lagrange(拉格朗日研究所);OCA(蔚蓝海岸天文台);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣埃蒂安让·莫奈大学);Lab. Hubert Curien(于贝尔·居里安实验室);Normandie Universite(诺曼底大学);Université de Rouen(鲁昂大学);LITIS(信息处理与系统实验室)
本文研究了无监督域自适应问题,即在没有任何标记样本的情况下,利用已知标记的源域中的知识来估计给定目标域中的预测函数$f$.我们的工作做了以下假设:存在两个域$\mathcal{P}_s$和$\mathcal{P}_t$的联合特征/标签空间分布之间的非线性变换。我们提出了一个解决方案,这个问题的最佳运输,允许恢复估计的目标$\mathcal{P}^f_t=(X,f(X))$通过同时优化最佳耦合和$f$。我们表明,我们的方法对应于目标误差上的界的最小化,并提供了一个有效的算法解决方案,收敛性证明。我们的方法的多功能性,无论是在类的假设或损失函数证明与现实世界的分类和回归问题,我们达到或超过国家的最先进的结果。
2017-10-22 cs.LG stat.ML
Optimal Transport for Multi-source Domain Adaptation under Target Shift
在本文中,我们提出解决减少多个域之间的差异的问题,称为多源域适应,并考虑在目标转移假设下:在所有域中,我们的目标是解决具有相同输出类的分类问题,但标签的比例在它们之间不同。这个问题,一般忽略了在绝大多数领域的适应论文,但在现实世界中的应用程序是至关重要的,我们从理论上表明其影响的适应成功。为了解决这个问题,我们设计了一种基于最优传输的方法,该理论已成功用于解决机器学习中的适应问题。我们的方法通过学习未标记目标样本的类概率和耦合来同时执行多源自适应和目标移位校正,从而允许对齐两个(或更多个)概率分布。在人造数据和真实数据上的实验结果表明了该方法的优越性。
2019-03-14 stat.ML
Lighter, Better, Faster Multi-Source Domain Adaptation with Gaussian Mixture Models and Optimal Transport
CEA, List(CEA LIST);Université Paris-Saclay(巴黎-萨克雷大学)
本文提出基于高斯混合模型与最优传输的多源域自适应框架,通过高效求解GMM间最优传输及重心计算,提出WBT和DaDiL两种策略,在四个基准上实现更快、参数更少且性能更优的结果。
2024-08-21 cs.LG stat.ML
Robust OT-Guided Generative Residual Domain Adaptation for Bike-Sharing Demand Prediction under Temporal Domain Shift
Department of Statistics;Finance, School of Management, University of Science
针对共享单车需求预测中的时间域偏移问题,提出鲁棒最优传输引导的生成式残差域适应框架Gen-ROTDA,通过残差传输、确定性标签保持残差特征生成和修剪高成本传输匹配,在2025-2026年任务上取得最低MAE,并在多年度任务中平均表现最优。
2026-05-22 cs.LG stat.ML
Open Set Domain Adaptation: Theoretical Bound and Algorithm
University of Technology Sydney(悉尼科技大学)
无监督领域自适应的目的是利用标记(源)域中的知识来提高模型在未标记(目标)域中的学习性能-基本策略是减轻两个分布之间差异的影响。大多数现有算法只能处理无监督闭集领域自适应(UCSDA),即,其中假定源域和目标域共享相同的标签集。在本文中,我们的目标是一个更具挑战性,但现实的设置:无监督的开集领域自适应(UOSDA),其中目标域有未知的类,在源域中找不到。这是第一个研究提供了一个学习界的开集领域自适应,我们这样做,从理论上研究的风险目标分类器上未知的类。提出的学习界有一个特殊的术语,即开集差,它反映了目标分类器对未知类的风险。此外,我们提出了一种新的和理论指导的无监督算法的开集领域自适应,称为分布对齐与ppen差异(DAOD),这是基于正则化这个开集差界。在几个基准数据集上的实验表明,与文献中的最先进的方法相比,所提出的UOSDA方法的性能优越。
2020-10-08 cs.LG stat.ML
On Label Shift in Domain Adaptation via Wasserstein Distance
Monash University(莫纳什大学);VinAI Research(VinAI研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Texas, Austin(德克萨斯大学奥斯汀分校)
我们研究了一般领域自适应(DA)设置中源域和目标域之间的标签偏移问题。我们考虑将目标转换到源域,这使我们能够对齐源和目标示例。通过这些转换,我们通过最佳传输定义了两个域之间的标签偏移,并发展了理论来研究DA在各种DA设置下的性质(例如,闭集、部分集、开集和通用集)。从发达的理论的启发,我们提出了标签和数据移位减少通过最佳传输(LDROT),可以减轻数据和标签偏移同时。最后,我们进行了全面的实验,以验证我们的理论研究结果,并比较LDROT与国家的最先进的基线。
2022-03-02 cs.LG stat.ME stat.ML