Toric Geometry of Entropic Regularization
熵正则化是求解大规模线性规划的一种方法。从几何学上讲,人们从伯奇点开始跟踪可行多面体与缩放复曲面变体的相交。我们比较这对数障碍的方法,与倒易线性空间,开始在分析中心。我们重新熵正则化不平衡的最优输运,我们开发使用的最佳圆锥耦合。我们计算相关复曲面簇的度,并探索像迭代缩放这样的算法。
2023-02-10 cs.LG math.AG math.OC
Optimal Regularization for Performative Learning
EPFL, Switzerland(瑞士联邦理工学院)
研究高维岭回归中正则化如何应对数据分布随模型变化的表现性效应,发现过参数化下表现性效应有益,并给出最优正则化参数与表现性效应强度的关系。
2026-05-29 cs.LG
Thermodynamically Optimal Regularization under Information-Geometric Constraints
Université Gustave Eiffel(法国埃菲尔大学);LASTIG(LASTIG研究所);IGN-ENSG(国家地理信息学院)
本文提出热力学最优正则化理论,结合信息几何和热力学原理,为机器学习正则化提供新的理论基础。
2026-01-24 cs.CV cs.LG
Variable Selection and Regularization via Arbitrary Rectangle-range Generalized Elastic Net
Claremont Graduate University(克莱蒙特研究生大学);Old Mission Capital(老使命资本)
本文介绍了任意矩形范围的广义弹性网罚方法,简称ARGEN,用于高维稀疏线性模型的约束变量选择和正则化。作为非负弹性网罚方法的自然推广,在一定条件下证明了ARGEN方法具有变量选择一致性和估计一致性。研究了ARGEN估计量在分布中的渐近性态。我们还提出了一个算法称为MU-QP-RR-W- $l_1$有效地解决ARGEN。通过仿真研究,我们表明,ARGEN优于弹性网在一些设置。最后,标准普尔500指数跟踪与股票分配的限制的应用程序进行调整ARGEN解决现实世界的问题提供一般性的指导。
2021-12-14 cs.LG stat.ML
Optimal Ridge Regularization for Out-of-Distribution Prediction
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文研究分布外预测中最优岭正则化的行为,给出决定最优正则化水平符号的一般条件,并证明最优调参风险关于数据纵横比单调,揭示了负正则化在协变量或回归偏移下可能最优的现象。
2024-04-01 cs.LG math.ST stat.ML
Knowledge Graph Completion by Intermediate Variables Regularization
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出一种适用于大多数张量分解知识图谱补全模型的中间变量正则化方法,通过最小化中间变量范数降低预测张量迹范数以缓解过拟合,并给出理论分析与实验验证。
2025-06-03 cs.AI cs.LG
Semi-Discrete Optimal Transport: Hardness, Regularization and Numerical Solution
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
半离散最优运输问题,它评估离散和通用(可能非离散)概率测度之间的Wasserstein距离,被认为是计算困难的。尽管这样的问题在统计学、机器学习和计算机视觉中普遍存在,但是,这种看法还没有得到理论上的证明。为了填补这一空白,我们证明了计算Wasserstein距离之间的离散概率测量支持两个点和Lebesgue措施的标准超立方体已经是P-困难。这一见解促使我们寻求半离散最优运输问题的近似解。因此,我们扰动的基础运输成本与添加剂的干扰由一个模糊的概率分布,我们引入了一个分布鲁棒的双最优运输问题,其目标函数是平滑的最不利的干扰分布从一个给定的模糊集。我们进一步表明,平滑的对偶目标函数是等价于正则化的原始目标函数,我们确定了几个模糊集,产生了几个已知的和新的正则化方案。作为一个副产品,我们发现半离散的最优运输问题和离散选择模型之间的密切关系,传统上在心理学和经济学研究。为了有效地解决正则化的最优运输问题,我们使用了一个随机梯度下降算法与不精确的随机梯度预言。一个新的收敛性分析表明,该算法提高了最佳已知的半离散最优运输问题的熵正则化收敛保证。
2022-04-29 cs.LG math.OC stat.ML
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
Technion(以色列理工学院)
该研究针对高维持续线性回归,推导梯度下降训练模型的泛化损失闭式表达式,确定最优步长与正则化强度,揭示任务变异性与隐式正则化的权衡,实验验证理论并为持续学习系统设计提供指导。
2026-10-16 cs.LG
Optimal L2 Regularization in High-dimensional Continual Linear Regression
Department of Data and Decisions Sciences, Technion(以色列理工学院数据与决策科学系);School of Engineering, University of Edinburgh(爱丁堡大学工程学院);Department of Computer Science, Technion(以色列理工学院计算机科学系);Department of Electrical and Computing Engineering, Technion(以色列理工学院电气与计算机工程系);Meta
本文研究了高维连续线性回归中L2正则化对泛化性能的影响,推导了在高维情况下任意线性教师下的泛化损失闭式表达式,证明最优固定正则化强度近似与任务数T成线性关系,为持续学习提供了理论基础。
2026-10-21 cs.LG
Distill Knowledge in Multi-task Reinforcement Learning with Optimal-Transport Regularization
VNU University of Engineering and Technology(越南国立大学工程技术大学)
针对多任务强化学习中的知识迁移问题,提出基于 Sinkhorn 映射的最优传输正则化奖励,以调节任务间信息共享并提升学习效率。
2023-09-27 cs.LG
Optimal regularizations for data generation with probabilistic graphical models
Ecole Normale Supérieure(巴黎高等师范学院)
理解正则化的作用是统计推断中的一个中心问题。根据经验,精心选择的正则化方案通常通过避免训练数据的过拟合来显著提高推断模型的质量。我们认为在这里的L2和L1正则化的最大后验概率(MAP)推理生成成对图形模型的特殊情况。基于高斯多变量分布的分析计算和高斯和波茨模型的数值实验,我们研究了训练,测试和“生成的数据”(与推断的模型)集的正则化强度的函数的可能性。我们特别表明,在其最大值,测试的可能性和“生成”的可能性,量化生成的样本的质量,有非常接近的值。正则化强度的最佳值被发现近似等于在相互作用的基础网络上的站点上传入的耦合的平方的倒数。我们的研究结果似乎在很大程度上独立的结构的真正的底层的相互作用,产生的数据,考虑的正则化方案,并考虑到周围的MAP估计的后验分布的小波动时是有效的。与经验的蛋白质模型从同源序列的工作进行了讨论。
2021-12-02 cs.LG q-bio.QM
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
正则化的MDP充当原始MDP的平滑版本。然而,有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略,而不是使正则项的系数λ足够小.结果表明,与设定足够小的λ相比,得到ε-最优策略的迭代复杂度可以降低.此外,该约简方法与直接求解原始MDP之间存在着很强的对偶关系,由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University(哈佛大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
最近的经验和理论研究表明,许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象,通常被称为“双下降“,提出了一个问题,即我们是否需要重新思考我们目前对泛化的理解。在这项工作中,我们研究是否可以避免双下降现象,通过使用最佳正则化。理论上,我们证明了,对于某些线性回归模型的各向同性数据分布,最佳调整$\ell_2$正则化实现单调测试性能,因为我们增长的样本大小或模型大小。我们还证明了经验,优化调整的$\ell_2$正则化可以减轻更一般的模型,包括神经网络的双下降。我们的研究结果表明,在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
Optimal transport with $f$-divergence regularization and generalized Sinkhorn algorithm
Alfréd Rényi Institute of Mathematics(阿尔弗雷德·雷尼数学研究所)
熵正则化提供了原来的最优输运问题的推广。它引入了由Kullback-Leibler散度定义的惩罚项,通过著名的Sinkhorn算法使问题更容易处理。用一般的$f$ -发散代替Kullback-Leibler发散,得到自然的推广。由超线性函数定义的发散的情况最近由Di Marino和Gerolin研究。利用凸分析,我们推广了迄今为止发展的理论,使之包括了所有由Legendre型函数定义的$f$ -发散,并证明了在一些温和的条件下,强对偶成立,原问题和对偶问题都能达到最优,$c$ -变换的推广是定义良好的,我们给出了广义Sinkhorn算法收敛到最优解的充分条件.我们提出了一个实用的算法计算的近似解的最优输运问题的$f$ -发散正则化通过广义Sinkhorn算法。最后,我们提出了实验结果的合成2维数据,展示了使用不同的$f$ -发散正则化,影响收敛速度,数值稳定性和稀疏的最佳耦合的效果。
2023-01-03 cs.IT cs.LG math.FA
Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions
Department of Electromechanical, Systems and Metal Engineering, Ghent University, Ghent, Belgium(电子机械、系统与金属工程系,根特大学,根特,比利时);Core lab MIRO, Flanders Make, Belgium(Flanders Make核心实验室,比利时)
本文通过KL正则化视角统一了多个最优控制形式,提出分离策略和转移KL惩罚的中央问题,恢复了经典SOC、RSOC及其软策略变体,通过迭代解恢复原始目标。
2026-05-13 cs.LG cs.RO cs.SY
Optimal ridge regularization revisited
Department of Computer Science, Boston College(计算机科学系,波士顿学院)
针对有限数据样本的线性岭回归,提出一种迭代算法从生成参数计算最优正则化强度,并证明其在有限噪声水平下的收敛性,实验表明结合样本参数估计可在多种设置下实现接近最优的泛化性能。
2026-05-27 cs.LG stat.ML
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley(加州大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提供了一个算法,实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程(MDP)。该算法在情节中进行,在每个情节中,它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP,其最优偏置向量的跨度以H为界,我们给出了~O(HSpAT)的遗憾界。我们还将跨度与MDP相关的各种直径样量,展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Simplifying Optimal Transport through Schatten-$p$ Regularization
Department of Mathematics, Brandeis University(数学系,品牌e大学)
本文提出基于 Schatten-$p$ 范数正则化的最优传输低秩恢复框架,通过凸规划与镜像下降算法,在理论和实验上验证了其有效性与可扩展性。
2025-10-13 cs.LG stat.ML
Interpolation and Regularization for Causal Learning
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所)
我们研究了通过插值和正则化从观测数据中学习因果模型的问题。最近大量的理论和实证研究表明,在高度复杂的模型类中,插值估计量可以具有良好的统计泛化特性,甚至可以是统计学习的最佳选择。受Janzing(2019)最近强调的统计和因果学习之间的类比的启发,我们研究了插值估计是否也可以学习良好的因果模型。为此,我们考虑了一个简单的线性混杂模型,并推导出精确的渐近性的最小范数和岭正则化的回归在高维制度的因果风险。在因果学习的标准假设独立因果机制的原则下,我们发现插值器不可能是最优的,因果学习需要比统计学习更强的正则化。这解决了Janzing(2019)最近的一个猜想。在这个假设之外,我们发现了一个更大范围的行为,可以用一个新的衡量标准来精确地描述。如果混杂强度为负,则因果学习需要比统计学习更弱的正则化,插值器可以是最优的,并且最优正则化甚至可以是负的。如果混杂强度很大,最优正则化是无限的,从观测数据中学习是有害的。
2022-02-18 cs.LG stat.ML
OCReP: An Optimally Conditioned Regularization for Pseudoinversion Based Neural Training
University of Turin(都灵大学);National Institute of Astrophysics(国家天体物理研究所);Univ. Pierre et Marie Curie(皮埃尔和玛丽·居里大学)
在本文中,我们考虑训练单隐层神经网络的伪逆,尽管它的普及,有时会受到数值不稳定性问题。正则化是已知的是有效的,在这种情况下,使我们引入,在吉洪诺夫正则化的框架中,一个matricial重新制定的问题,它允许我们使用的条件数作为诊断工具,用于识别不稳定性。通过对相关矩阵施加良好的条件要求,我们的理论分析允许从稳定性的角度确定正则化参数的最佳值。我们比较交叉验证过拟合控制和优化的泛化性能所得出的值。我们测试我们的方法回归和分类任务。所提出的方法是相当有效的预测性,往往与一些性能上的改进与参考情况下考虑。这种方法,由于正则化参数的分析确定,大大减少了许多其他技术所需的计算负荷。
2015-08-25 cs.LG cs.NE stat.ML
Optimal Rates in Continual Linear Regression via Increasing Regularization
Department of Computer Science, Technion(技术学院计算机科学系);Blavatnik School of Computer Science and AI, Tel Aviv University(特拉维夫大学Blavatnik计算机科学与人工智能学院);Department of Electrical and Computer Engineering, Technion(技术学院电气与计算机工程系)
本文研究随机任务顺序下的连续线性回归,通过显式ℓ2正则化和隐式步数预算正则化,证明递增正则化调度能达到最优的O(1/k)速率,缩小了先前O(1/k^{1/4})上界与下界之间的差距。
2025-10-24 cs.LG stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University(北京大学)
我们提出并研究了正则化马尔可夫决策过程(MDPs)的一般框架,其目标是找到一个最优的政策,最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外,在我们的框架下,许多正则化项可以带来多模态和稀疏性,这在强化学习中是潜在有用的。特别是,我们提出了充分和必要的条件,诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析,包括最优性条件,性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式,并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性,并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Informative GANs via Structured Regularization of Optimal Transport
Technical University of Munich(慕尼黑工业大学)
我们从正则化最优传输(OT)的角度来解决生成对抗网络(GANs)中的解纠缠表示学习的挑战。具体而言,平滑的OT损失引起潜在空间和数据空间之间的隐式传输计划。基于这一理论观察,我们利用一个结构化的正则化的运输计划,鼓励规定的潜在子空间是信息。这产生了一个新的信息OT为基础的GAN的配方。通过凸对偶,我们得到了等价的观点,这导致扰动地面成本有利于稀疏的信息潜在的尺寸。实际上,我们设计了一个稳定的训练算法,建议的信息GAN。我们的实验支持这一假设,即这种正规化有效地产生发现解开和可解释的潜在表示。我们的工作展示了一个正规化的OT框架的生成建模的背景下,通过其访问运输计划的潜在力量。在这方面还处理了进一步的挑战。
2019-12-04 cs.LG stat.ML
LABO: Towards Learning Optimal Label Regularization via Bi-level Optimization
Department of Computer Science and Operations Research, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);Huawei Noah’s Ark Lab, Canada(华为诺亚实验室,加拿大);Department of Statistics and Actuarial Science, University of Waterloo(滑铁卢大学统计与精算科学系)
本文提出LABO框架,通过双层优化学习实例特定的最优标签平滑,无需存储模型参数,并在机器翻译和图像分类任务上持续超越传统标签正则化。
2025-05-21 cs.CL cs.LG
Function Smoothing Regularization for Precision Factorization Machine Annealing in Continuous Variable Optimization Problems
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文针对FMQA在连续变量优化中因FM哈密顿量曲面噪声导致性能受限的问题,识别噪声来源并提出一种简单通用的函数平滑正则化方法,验证了其泛化性能与解决实际问题的能力。
2024-07-05 cs.LG quant-ph
L1 Regularization Paths in Linear Models by Parametric Gaussian Message Passing
ETH Zürich(苏黎世联邦理工学院)
本文提出两种新算法,用于计算状态空间中L1正则化路径,包括L1正则化卡尔曼平滑、线性SVM、LASSO等,方法基于参数高斯信息传递。
2026-10-14 cs.LG eess.SP stat.ME
Multi-speaker Emotion Conversion via Latent Variable Regularization and a Chained Encoder-Decoder-Predictor Network
Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种基于链式编码-解码-预测神经网络结构的语音情感转换方法。编码器构建了一个潜在的嵌入的基频(F0)的轮廓和频谱,我们正则化使用大尺度映射(LDDMM)注册框架。解码器使用该嵌入来预测目标情感类中的修改的F0轮廓。最后,预测器使用原始谱和修改的F0轮廓来生成对应的目标谱。我们的联合目标函数同时优化三个模型块的参数。我们表明,我们的方法在情感转换的显着性和重新合成语音的质量方面都优于现有的最先进方法。此外,LDDMM正则化允许我们的模型转换训练中不存在的短语,从而为样本外泛化提供证据。
2020-08-10 cs.LG cs.SD eess.AS
Recovery Bounds on Class-Based Optimal Transport: A Sum-of-Norms Regularization Framework
Chalmers University of Technology(查尔姆斯理工大学);North Carolina State University(北卡罗来纳州立大学)
提出一种带范数和正则化项的凸最优传输规划及加速近端算法,在几何假设下可证明恢复类结构,实验表明其更好保留类结构且对数据几何更具鲁棒性。
2023-05-22 cs.LG stat.ML
Fuzzy clustering algorithms with distance metric learning and entropy regularization
Universidade Federal de Pernambuco(伯南布哥联邦大学);Centro de Informática(信息中心)
聚类方法已被用于各种领域,如图像处理、数据采掘、模式识别和统计分析。通常,聚类算法认为所有变量对于聚类任务同等相关或不相关。然而,在实际情况中,一些变量可能是相关的,或者可能或多或少相关,甚至与此任务无关。本文提出了基于欧氏距离、城市块距离和马氏距离以及熵正则化的划分模糊聚类算法。这些方法是一个迭代的三步算法,它提供了一个模糊分区,代表每个模糊聚类,并通过最小化一个合适的目标函数的变量或它们的相关性的相关性权重。合成和真实数据集上的几个实验,包括其应用于噪声图像纹理分割,证明了这些自适应聚类方法的有用性。
2021-02-18 cs.AI cs.LG
System Identification via Nuclear Norm Regularization
研究了利用Hankel核范数正则化辨识低阶线性系统的问题。Hankel正则化鼓励Hankel矩阵的低秩,其映射到系统的低秩。我们提供了新的统计分析,这种正规化,并仔细对比它与非正规化普通最小二乘(OLS)估计。我们的分析导致新的界限估计的脉冲响应和汉克尔矩阵与线性系统。我们首先设计了一个输入激励,并表明汉克尔正则化使人们能够恢复系统使用最佳数量的观察,在真正的系统顺序,并实现强大的统计估计率。令人惊讶的是,我们证明了输入设计确实很重要,通过显示直观的选择,如i.i.d.高斯输入导致可证明的次优样本复杂度。为了更好地理解正则化的好处,我们还重新审视了OLS估计量。除了改进现有的边界,我们实验确定正则化方法何时优于OLS:(1)对于具有缓慢脉冲响应衰减的低阶系统,OLS方法在样本复杂度方面表现不佳,(2)正则化返回的Hankel矩阵具有更清晰的奇异值间隙,易于识别系统阶次,(3)Hankel正则化对超参数选择不太敏感。最后,我们通过联合训练验证过程建立模型选择保证,在该过程中,我们调整正则化参数以获得接近最优的估计。
2022-03-30 cs.LG cs.SY eess.SY
Performance-guaranteed regularization in maximum likelihood method: Gauge symmetry in Kullback -- Leibler divergence
Fukuoka University(福冈大学)
该研究针对最大似然法的过拟合问题,借助Kullback–Leibler散度的规范对称性,提出了一种有理论保证的正则化方法,无需搜索超参数即可获得最优模型。
2023-10-02 cond-mat.dis-nn cs.LG stat.ML
Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality
Institut Camille Jordan, Université Jean Monnet(让·蒙特大学坎贝尔·乔丹研究所);THEMA, CY Cergy Paris Université(巴黎中央理工大学THEMA)
本文针对强混合观测数据,提出稀疏惩罚正则化的深度神经网络估计方法,建立期望超额风险与L2误差的神谕不等式,并证明在Hölder复合函数类上达到极小极大最优速率。
2025-07-08 cs.LG stat.ML
Offline Reinforcement Learning with Wasserstein Regularization via Optimal Transport Maps
本文提出一种基于Wasserstein距离的离线强化学习正则化方法,利用输入凸神经网络建模最优传输映射,无需判别器即可计算距离,避免了对抗训练,在D4RL基准上表现优异。
2025-07-14 cs.AI cs.LG cs.RO
Improving Variable-Length Generation in Diffusion Language Models via Length Regularization
Tsinghua University(清华大学);Proxseer Inc.(Proxseer公司)
本文提出LR-DLLM,通过长度正则化改进扩散语言模型的变长生成能力,提升了在未知长度下的生成效果。
2026-02-07 cs.CL cs.LG
Implicit Regularization for Optimal Sparse Recovery
University of Oxford(牛津大学)
我们研究隐式正则化方案的梯度下降法适用于无惩罚的最小二乘回归,以解决问题的重建稀疏信号的欠定系统的线性测量下的限制等距假设。对于一个给定的参数化产生一个非凸优化问题,我们表明,规定的初始化,步长和停止时间的选择产生一个统计和计算上的最优算法,实现了极大极小率与相同的成本所需的读取数据的多对数因子。除了极大极小最优性,我们表明,我们的算法适应实例的难度,并产生一个维度独立的率时,信噪比是足够高的。我们的方法的计算效率的关键是一个不断增加的步长计划,适应真正的解决方案的精确估计。我们验证了我们的研究结果与数值实验,并比较我们的算法对明确的$\ell_{1}$处罚。从困难的实例到简单的,我们的算法被认为是经历了一个相变,最终匹配最小二乘与真正的支持的预言知识。
2019-09-11 cs.LG eess.SP stat.ML
OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Oden Institute for Computational Engineering and Sciences, University of Texas, Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学学院)
提出连续时间Transformer架构OT-Transformer,利用最优传输理论正则化训练以提升稳定性与泛化能力,理论上证明正则化促进解的唯一性与正则性,实验显示其优于离散对应模型及对比模型。
2025-01-30 cs.AI cs.LG
Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
在计算机视觉中,经常会遇到图像的区域偏移问题:图像类别相同,但采集条件不同。在领域自适应(DA)中,人们希望利用源标记图像对未标记的目标图像进行分类。不幸的是,在源训练集上训练的深度神经网络在不属于训练域的目标图像上表现不佳。提高这些性能的一种策略是使用最优传输(OT)在嵌入式空间中对齐源和目标图像分布。然而,OT可引起负转移,即将样品与不同的标记比对,这导致过拟合,尤其是在结构域之间存在标签偏移的情况下。在这项工作中,我们通过将其解释为对目标图像的噪声标签分配来减轻负对齐。然后,我们通过适当的正则化来减轻其影响。我们建议将MixUp正则化\citep{zhang2018mixup}与对噪声标签具有鲁棒性的损失相结合,以提高领域自适应性能。我们在一项广泛的消融研究中表明,这两种技术的结合是实现性能改善的关键。最后,我们评估我们的方法,称为\textsc{mixunbot},在几个基准和现实世界的DA问题。
2022-06-22 cs.CV cs.LG stat.ML
Why the noise model matters: A performance gap in learned regularization
Center for Industrial Mathematics, University of Bremen(工业数学中心、不莱梅大学);German Aerospace Center(德国航空航天中心)
本文研究线性逆问题中学习正则化方法,发现未学习噪声模型时,Tikhonov、Lavrentiev和二次正则化与最优仿射重构存在性能差距,强调准确建模噪声统计量的重要性。
2025-10-14 cs.LG cs.NA math.NA