Maximum a Posteriori Policy Optimisation
DeepMind
我们介绍了一种新的强化学习算法，称为最大后验策略优化（MPO）的基础上相对熵目标的坐标上升。我们表明，现有的几种方法可以直接与我们的推导。我们开发了两种非策略算法，并证明了它们在深度强化学习中与最先进的算法具有竞争力。特别是，对于连续控制，我们的方法优于现有的方法方面的样本效率，过早收敛和鲁棒性超参数设置，同时实现类似或更好的最终性能。
2018-06-14 cs.AI cs.IT cs.LG
On Measure Concentration of Random Maximum A-Posteriori Perturbations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Haifa（海法大学）；Massachusetts Institute of Technology（麻省理工学院）
最大后验（MAP）扰动框架已成为一个有用的方法，在高维复杂模型的推理和学习。通过最大化随机扰动的势函数，MAP扰动从吉布斯分布生成无偏样本。不幸的是，生成如此多的高维随机变量的计算成本可能是令人望而却步的。更有效的算法使用基于低维MAP扰动的期望值的顺序采样策略。本文开发了新的测量浓度不等式，约束估计这些期望值所需的样本数。将一般结果应用于MAP扰动可以产生更有效的算法来近似Gibbs分布的采样。计量集中度结果具有普遍意义，并可能适用于涉及预期估计的其他领域。
2013-10-15 cs.LG math.PR
Learning Maximum-A-Posteriori Perturbation Models for Structured Prediction in Polynomial Time
Purdue University（普渡大学）
MAP扰动模型已经成为结构化预测中推理的一个强大框架。这种模型提供了一种有效地从吉布斯分布中采样的方法，并有助于对随机噪声具有鲁棒性的预测。在本文中，我们提出了一个可证明的多项式时间随机算法学习参数的扰动MAP预测。我们的方法是基于最小化一个新的Rademacher为基础的泛化上的扰动MAP预测，这可以在多项式时间计算的预期损失的界限。我们获得的条件下，我们的随机学习算法可以保证推广到看不见的例子。
2018-05-21 cs.LG stat.ML
Maximum a Posteriori Inference for Factor Graphs via Benders' Decomposition
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
针对贝叶斯MAP推断标准方法无有限收敛保证、拉格朗日松弛约束选择启发式的问题，提出基于Benders分解依次加约束的通用推断方法，支持聚类复杂约束，在标准数据集上优于Gibbs采样和变分贝叶斯方法且有收敛证明。
2024-10-24 cs.LG stat.ML
Probably Approximately Correct Maximum A Posteriori Inference
Department of Informatics, King’s College London（信息学院，伦敦国王学院）
本文提出了一种在可变和固定计算预算下提供可证明最优解决方案的PAC-MAP算法，利用信息论度量和概率电路实现高效推断。
2026-08-13 cs.AI cs.LG
V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete and Continuous Control
深度强化学习在离散和连续控制领域的一些最成功的应用已经在策略设置中使用了策略梯度方法。然而，策略梯度可能遭受可能限制性能的大方差，并且在实践中需要仔细调整熵正则化以防止策略崩溃。作为策略梯度算法的替代方案，我们引入了V-MPO，最大后验策略优化（MPO）的策略适应，基于学习的状态-价值函数执行策略迭代。我们表明，V-MPO在多任务环境中超过了之前报告的Atari-57和DMLab-30基准套件的分数，并且在没有重要性加权、熵正则化或基于群体的超参数调整的情况下也能可靠地做到这一点。在个人DMLab和Atari水平上，所提出的算法可以实现比以前报告的分数高得多的分数。V-MPO也适用于高维连续动作空间的问题，我们在学习控制模拟人形机器人的背景下证明了这一点，其中来自全状态观测的自由度为22自由度，来自像素观测的自由度为56自由度，以及示例OpenAI Gym任务，其中V-MPO实现了比以前报告的更高的渐近分数。
2019-09-26 cs.AI cs.LG
High Dimensional Inference with Random Maximum A-Posteriori Perturbations
Technion - Israel Institute of Technology（以色列理工学院）；Stony Brook University（纽约州立大学石溪分校）；Yahoo Labs（雅虎实验室）；Rutgers, The State University of New Jersey（罗格斯大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的方法，称为扰动最大，高维统计推断的基础上应用随机扰动，然后进行优化。该框架通过随机扰动输入的势函数来向最大后验（MAP）预测器注入随机性。极值统计的一个经典结果断言，扰动最大运算使用高维扰动从吉布斯分布生成无偏样本。不幸的是，生成如此多的高维随机变量的计算成本可能是令人望而却步的。然而，当扰动是低维的，采样的扰动最大预测是有效的MAP优化。本文证明了低维扰动的扰动最大值推断的期望值可以顺序地用于从吉布斯分布生成无偏样本。此外，最大扰动的期望值是这种扰动最大模型的熵的自然界。扰动最大值的测量浓度结果表明，其采样平均值与其期望值的偏差在样本数量上呈指数衰减，从而可以有效地近似期望值。
2017-05-30 cs.IT cs.LG math.IT
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees
Stanford University（斯坦福大学）
本文提出MAPTree算法，通过贝叶斯最大后验推断和AND/OR搜索构建决策树，在16个真实数据集上优于或媲美基线且树更小，在合成数据上更鲁棒，并能提供最优性证书。
2023-12-20 cs.AI cs.LG
Maximum a Posteriori Inference of Random Dot Product Graphs via Conic Programming
Massachusetts Institute of Technology（麻省理工学院）；Washington State University（华盛顿州立大学）
本研究提出一种基于凸锥规划的RDPG潜在概率矩阵推断方法，加入核范数正则项，分析了原对偶解性质与渐近一致性，实验验证其可恢复图结构且适用于数百节点的图。
2021-12-16 cs.LG math.OC stat.ML
Maximum a Posteriori Estimation for Linear Structural Dynamics Models Using Bayesian Optimization with Rational Polynomial Chaos Expansions
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出将有理多项式混沌展开代理模型与贝叶斯优化相结合，通过稀疏贝叶斯学习和自适应实验设计降低计算成本，高效求解结构动力学模型的最大后验参数估计问题。
2024-08-07 cs.LG stat.ML
Implicit Maximum a Posteriori Filtering via Adaptive Optimization
Princeton University（普林斯顿大学）
该论文将贝叶斯滤波重新表述为时变优化问题，通过自适应优化隐式定义滤波器，在线性高斯情形下与卡尔曼滤波等价，并在非线性高维系统中展现出有效性和可扩展性。
2023-11-17 cs.LG cs.SY eess.SY
On Maximum-a-Posteriori estimation with Plug & Play priors and stochastic gradient descent
CNRS（法国国家科学研究中心）；University of Oxford（牛津大学）；Heriot-Watt University（赫瑞瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
本文研究了基于 Plug & Play (PnP) 先验的贝叶斯模型的最大后验估计问题，探讨了其存在性、稳定性与适定性，并在现实假设下证明了 PnP 随机梯度下降算法的收敛性，通过成像实验验证了其有效性。
2022-01-16 cs.CV cs.LG eess.IV
MIND: Maximum Mutual Information Based Neural Decoder
Universität Klagenfurt（克拉根福大学）
我们正在协助在数字通信系统的应用程序的学习架构的发展日益增长的兴趣。在这里，我们考虑检测/解码问题。我们的目标是为这样的任务开发一个最佳的神经架构。最优准则的确定是最基本的一步。我们建议使用的互信息（MI）的信道输入输出信号对，这产生的最小化的后验信息的传输码字给定的通信信道输出观察。后验信息的计算是一项艰巨的任务，并且对于大多数信道，它是未知的。因此，它必须被学习。对于这样一个目标，我们提出了一种新的神经估计的基础上的歧视制定。这导致推导出的互信息神经解码器（MIND）。所开发的神经结构不仅能够解决未知信道中的解码问题，而且还能够返回编码方案实现的平均MI的估计，以及解码错误概率。几个数值结果的报告，并与最大后验概率和最大似然解码策略。
2022-09-01 cs.IT cs.LG math.IT
X2CT-FLOW: Maximum a posteriori reconstruction using a progressive flow-based deep generative model for ultra sparse-view computed tomography in ultra low-dose protocols
The University of Tokyo Hospital（东京大学医学部附属医院）；Center for Frontier Medical Engineering, Chiba University（千叶大学前沿医疗工程中心）；Division of Radiology and Biomedical Engineering, Graduate School of Medicine, The University of Tokyo（东京大学医学研究生院放射科与生物医学工程学系）
超稀疏视图计算机断层扫描（CT）算法可以减少患者的辐射暴露，但这些算法在测试中缺乏显式的周期一致性损失最小化和显式的对数似然最大化。在这里，我们提出了X2 CT-FLOW，用于使用基于渐进流的深度生成模型从单个或几个二维（2D）投影图像中重建三维（3D）胸部CT图像的最大后验（MAP）重建，特别是对于超低剂量协议。MAP重建可以同时优化循环一致性损失和对数似然。该算法建立在一个新开发的基于渐进流的深度生成模型之上，该模型具有精确的对数似然估计、高效的采样和渐进式学习的特点。我们应用X2 CT-FLOW从无噪声污染（假设标准剂量协议）和强噪声污染（假设超低剂量协议）的双平面投影图像重建3D胸部CT图像。使用标准剂量方案，我们从2D投影图像和3D地面实况CT图像重建的图像在结构相似性方面显示出良好的一致性（SSIM，平均0.7675），峰值信噪比（PSNR，平均25.89 dB）、平均绝对误差（MAE，平均0.02364）和归一化均方根误差（NRMSE，平均0.05731）。此外，在超低剂量方案下，我们从2D投影图像和3D地面真实CT图像重建的图像在SSIM（平均0.7008）、PSNR（平均23.58 dB）、MAE（平均0.02991）和NRMSE（平均0.07349）方面也表现出良好的一致性。
2021-10-01 cs.CV cs.LG eess.IV
Artificial Rosetta Stone: Constrained Maximum A Posteriori (MAP) Reconstruction of Symbolic Raga Sequences via Order-k Markov Models
Abstract Math Institute（抽象数学研究所）
该研究提出ARS框架，用k阶马尔可夫模型结合约束MAP问题重建符号拉格序列，经合成与真实音频实验验证了方法可行性，为音乐片段重建提供了概率建模方案。
2026-09-02 cs.LG cs.SD stat.ML
Improving parameter learning of Bayesian nets from incomplete data
IDSIA（瑞士人工智能研究所）
本文讨论了不完全数据下贝叶斯网络的参数估计问题。通常通过多次运行期望最大化（EM）算法来处理该任务，以获得高对数似然估计。我们认为，选择最大对数似然估计（以及最大惩罚对数似然和最大后验估计）有严重的缺点，受到过拟合和模型不确定性的影响。讨论了两个想法，以克服这些问题：最大熵的方法和贝叶斯模型平均的方法。这两个想法都可以很容易地应用于EM之上，而熵的想法也可以通过一个专用的非线性求解器以更复杂的方式实现。大量的实验表明，这些想法产生显着更好的估计和推理比传统的和广泛使用的最大（惩罚）对数似然和最大后验估计。特别地，如果EM被采用作为优化引擎，则模型平均方法是性能最好的方法;当使用非线性求解器实现时，其性能与熵方法相匹配。结果表明，这些想法的适用性是直接的（它们很容易实现，并集成到目前可用的推理引擎），他们构成了一个更好的方式来学习贝叶斯网络参数。
2011-10-12 cs.AI cs.LG stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Efficient Neural Task Adaptation by Maximum Entropy Initialization
Dalhousie University（达尔豪斯大学）；Imagia Cybernetics（Imagia控制论公司）；Polish Academy of Sciences（波兰科学院）
将知识从一个神经网络转移到另一个神经网络已被证明有助于用很少的训练样本学习任务。流行的微调方法可能会通过大量的高能量随机噪声污染预先训练的特征。这种噪声主要是由于不小心替换了特定于任务的参数而产生的。我们从理论上分析了这种知识污染的分类任务，并提出了一个实用和易于应用的方法来捕获和最大限度地减少污染。在我们的方法中，输出估计的熵最初被最大化，并且第一个反向传播的误差在最后一层的输出处被停止。我们所提出的方法不仅优于传统的微调，但也显着加快了学习器的收敛。它对随机性具有鲁棒性，并且与体系结构的选择无关。总的来说，我们的实验表明，到目前为止，迁移学习的力量被大大低估了。
2019-07-12 cs.CV cs.LG cs.NE
Cross-Modal Domain Adaptation in Brain Disease Diagnosis: Maximum Mean Discrepancy-based Convolutional Neural Networks
本文针对脑疾病诊断中标注数据稀缺及跨模态泛化困难的问题，提出将最大均值差异（MMD）域自适应方法与卷积神经网络（CNN）结合，在Kaggle数据集上实现CT与MRI间的跨模态知识迁移，有效提升了诊断准确性和效率。
2024-05-06 cs.CV cs.LG
Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation
Stanford University（斯坦福大学）
标签偏移是指先验类概率p（y）在训练分布和测试分布之间变化，而条件概率p（x）在训练分布和测试分布之间变化的现象。|y）保持固定。标签偏移出现在医疗诊断等环境中，其中训练用于预测给定症状的疾病的分类器必须适应疾病的基线患病率不同的情况。给定p（y）的估计|x），Saerens等人提出了一种有效的最大似然算法来校正不需要模型再训练的标签偏移，但是该算法的限制性假设是p（y| x）被校准，这对现代神经网络来说是不正确的。最近，黑箱移位学习（BBSL）和标签移位下的正则化学习（RLLS）已经成为最先进的技术，以应对分类器不输出校准概率时的标签偏移，但这两种方法都需要使用重要性权重进行模型再训练，并且都没有针对最大似然进行基准测试。在这里，我们（1）表明，结合最大似然与一种类型的校准，我们称之为偏差校正校准优于BBSL和RLLS在不同的数据集和分布偏移，（2）证明，最大似然目标是凹的，（3）介绍了一个原则性的战略，估计源域先验，提高鲁棒性差校准。这项工作表明，最大似然与适当的校准是一个强大的和有效的基线标签偏移适应;笔记本重现实验可在https://github.com/kundajelab/labelshiftexperiments
2020-06-27 cs.LG stat.ML
Maximum Density Divergence for Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）；Shandong Normal University（山东师范大学）；Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
无监督领域自适应解决了将知识从一个良好标记的源域转移到一个未标记的目标域的问题，其中两个域具有不同的数据分布。因此，领域自适应的本质是减轻两个领域之间的分布分歧。最先进的方法通过进行对抗训练或最小化定义分布差距的度量来实践这一想法。在本文中，我们提出了一种新的领域自适应方法命名为对抗紧匹配（ATM），享有双方的优势对抗训练和度量学习。具体来说，首先，我们提出了一种新的距离损失，命名为最大密度发散（MDD），量化的分布分歧。MDD最小化了域间的分歧（ATM中的“匹配”），最大化了类内的密度（ATM中的“紧密”）。然后，为了解决对抗性领域自适应中的平衡挑战问题，我们考虑将所提出的MDD引入对抗性领域自适应框架。最后，我们将提出的MDD作为一个实际的学习损失，并报告我们的ATM。实证评估和理论分析报告，以验证所提出的方法的有效性。四个基准测试，无论是经典的和大规模的实验结果表明，我们的方法是能够实现新的国家的最先进的性能上的大多数评价。本文中使用的代码和数据集可在{ \it github.com/lijin118/ATM}获得。
2020-04-27 cs.CV cs.LG cs.MM
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University（浙江大学）；University of Illinois Urbana–Champaign Institute（伊利诺伊大学厄巴纳-香槟分校研究院）；Huazhong University of Science and Technology（华中科技大学）
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法（WJMMD-MDA），通过改进的加权距离损失实现多源域与多目标域间的域对齐，学习域不变且具判别性的特征，首次在故障诊断领域实现多源-多目标场景下的跨域诊断，并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Baidu Research（百度研究院）；Tulane University（杜兰大学）；University of Shenzhen（深圳大学）；University of Queensland（昆士兰大学）
领域自适应近年来受到了广泛的关注，提出了许多算法，取得了令人瞩目的进展。然而，它仍然没有充分探讨有关联合概率分布（P（X，Y））的距离为这个问题，因为它的经验估计来自最大平均差异（联合最大平均差异，JMMD）将涉及复杂的张量积算子，很难操作。为了解决这一问题，本文从理论上推导出了一种易于优化的JMMD统一形式，并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例，其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐，还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD，我们说明，JMMD降低的特征-标签的依赖性（区分度），有利于分类，它是敏感的标签分布偏移时，标签核是加权类条件。因此，我们利用Hilbert Schmidt独立性准则，提出了一种新的MMD矩阵，以促进依赖性，并设计了一种新的标签核，是强大的标签分布偏移。最后，我们在多个跨域数据集上进行了大量的实验，以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance
University of California, Berkeley（加州大学伯克利分校）
提出MMD Guidance，一种无训练方法，通过最大均值差异梯度引导扩散模型采样，实现与参考数据分布对齐，无需重新训练。
2026-06-09 cs.AI cs.CV cs.LG
Rethink Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
现有的领域自适应方法通过建立最大平均离散度（MMD）和区分距离，来减小源域和目标域之间的分布差异，并尊重源域和目标域的特定区分信息。然而，他们通常积累考虑这些统计量，并通过盲目估计参数来处理它们之间的关系。本文从理论上证明了两个基本事实：1）最小化MMD等于最大化源和目标的类内距离，但通过一些隐式权重共同最小化它们的方差，从而降低了特征的可分辨性; 2）类内距离和类间距离之间的关系是一个下降，另一个上升。在此基础上，我们提出了一种新的歧视性MMD。一方面，我们单独考虑类内和类间距离以去除冗余参数，并且所揭示的权重提供了它们的近似最优范围。另一方面，我们设计了两种不同的策略来提高特征的区分度：1）直接对MMD中隐含的类内距离施加一个权衡参数来调节其变化; 2）我们将MMD中揭示的相似权重施加在类间距离上并使其最大化，则可以引入平衡因子来定量地利用特征可转移性与其可辨别性。在多个基准数据集上的实验不仅证明了理论结果的有效性，而且表明我们的方法可以比比较先进的方法有更好的性能。
2020-07-01 cs.LG stat.ML
