Direct Fitting of Gaussian Mixture Models
Carnegie Mellon University（卡内基梅隆大学）
当将高斯混合模型拟合到3D几何体时，模型通常拟合到点云，即使形状是作为3D网格获得的。在这里，我们提出了一个公式，拟合高斯混合模型（GARCH）直接到一个三角形网格，而不是使用从其表面采样点。这项工作的一部分，分析了一个一般的公式，用于评估几何对象的可能性。通过这种修改，可以在更广泛的初始化条件下拟合更高质量的Gestival。此外，从这种拟合方法获得的模型显示，以产生改进的网格和RGB-D帧的3D配准。这一结果是通用的，适用于任意几何对象，包括表示传感器测量的不确定性。
2019-06-12 cs.CV cs.GR
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
Enhancing Geometric Perception in VLMs via Translator-Guided Reinforcement Learning
Tsinghua University（清华大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
通过翻译引导强化学习提升VLMs的几何感知能力，实现显著性能提升。
2026-02-26 cs.LG
Geometric Value Iteration: Dynamic Error-Aware KL Regularization for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
最近关于熵正则化强化学习（RL）方法的文献的繁荣表明，Kullback-Leibler（KL）正则化通过在温和的假设下消除错误而为RL算法带来优势。然而，现有的分析集中在固定的正则化与一个恒定的权重系数，并没有考虑的情况下，允许系数动态变化。本文研究了动态系数格式，给出了其第一渐近误差界。基于动态系数误差界，我们提出了一种有效的方案来调整系数根据误差的大小，有利于更强大的学习。为了补充这一发展，我们提出了一种新的算法，几何值迭代（GVI），具有动态的错误感知KL系数设计的目的是减轻错误对性能的影响。我们的实验表明，GVI可以有效地利用学习速度和鲁棒性之间的平衡，均匀平均一个常数KL系数。GVI和深度网络的组合即使在没有目标网络的情况下也表现出稳定的学习行为，其中具有恒定KL系数的算法将大幅振荡甚至无法收敛。
2021-10-05 cs.LG
Delayed Geometric Discounts: An Alternative Criterion for Reinforcement Learning
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；ISIR Lab（智能系统与机器人研究所）；Sorbonne Université（索邦大学）
人工智能（AI）的目标是设计能够完成复杂任务的自主智能体。也就是说，强化学习（RL）提供了一个学习最佳行为的理论背景。在实践中，RL算法依赖于几何折扣来评估这种最优性。不幸的是，这并不包括未来回报价值不会呈指数级下降的决策过程。根据问题的不同，这种限制会导致样本效率低下（因为反馈呈指数衰减），并需要额外的课程/探索机制（以处理稀疏，欺骗性或对抗性的奖励）。在本文中，我们通过使用一族延迟目标函数来概括贴现问题公式来解决这些问题。我们研究基本的RL问题，以获得：1）最优稳态解和2）最优非稳态控制的近似。所设计的算法解决了表格环境中的困难探索问题，并提高了经典模拟机器人基准测试的样本效率。
2022-09-26 cs.AI cs.LG
Fitting and recognition of geometric primitives in segmented 3D point clouds using a localized voting procedure
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会应用数学与信息技术研究所“E.马格内斯”分所）
本文提出一种基于霍夫变换和局部化投票的分割点云几何基元识别方法，通过初始参数估计在降维空间中高效搜索，并利用几何描述符聚合片段，在合成与工业数据上验证了拟合鲁棒性和关系推断能力。
2022-07-07 cs.CG cs.CV cs.NA
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta（阿尔伯塔大学）
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络，而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为，我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰，这两种方法本质上是几何的，并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码，这是一种经典的二进制编码方案，最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法（EmECS）是我们提出的一种新方法，它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较，并与经典的瓦片编码算法加上线性函数逼近器进行了比较，并在几个在线强化学习任务中，我们表明，瓦片编码或EmECS的神经网络不仅可以实现更快的学习，而且可以实现更准确的逼近。我们的研究结果强烈表明，这种类型的几何输入变换可以有效地减少干扰，使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
MambaH-Fit: Rethinking Hyper-surface Fitting-based Point Cloud Normal Estimation via State Space Modelling
Guangzhou University（广州大学）；Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Technology（北京理工大学）
提出MambaH-Fit框架，通过注意力驱动层次特征融合和逐块状态空间模型，增强局部几何细节建模，提升点云法线估计的精度和鲁棒性。
2026-06-16 cs.CV
Geometry-Aware Reinforcement Learning for 2D Irregular Nesting
Valeo Brain（法雷奥大脑）
提出Polygons Transformer架构与组合优化强化学习框架，使智能体从数据中学习几何先验，在二维不规则排样中达到与最先进启发式算法Sparrow竞争的面积利用率。
2026-10-14 cs.CV cs.LG
Self-Confirming Superposition Traps in Reinforcement Learning
本研究揭示强化学习中一种自确认叠加陷阱：表示拟合的最优性可能维持低回报策略，并提出保留被忽略状态访问等干预措施以改善控制性能。
2026-09-29 cs.LG
A Geometric Perspective on Optimal Representations for Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）
基于价值函数空间的几何性质，提出了一种新的强化学习表示学习方法。我们利用这个角度来提供正式的证据，价值函数作为辅助任务的有用性。我们的配方考虑适应的代表性，以尽量减少（线性）近似的价值函数的所有固定的政策，为一个给定的环境。我们表明，这种优化减少到作出准确的预测，一类特殊的价值函数，我们称之为对抗性价值函数（AVF）。我们证明了使用价值函数作为辅助任务对应于我们的公式的预期误差松弛，AVF是一个自然的候选者，并确定了与原始价值函数的密切关系（Mahadevan，2005）。我们突出AVFs的特点和它们的有用性作为辅助任务在一系列的实验上的四个房间的域。
2019-06-26 cs.AI cs.LG stat.ML
Self-supervised Geometric Perception
MIT（麻省理工学院）；CMU（卡内基梅隆大学）；Intel Labs（英特尔实验室）
我们提出了自监督几何感知（SGP），这是第一个学习用于对应匹配的特征描述符的通用框架，而无需任何地面真实几何模型标签（例如，相机姿势、刚性变换）。我们的第一个贡献是将几何感知公式化为优化问题，该优化问题在给定大的视觉测量语料库的情况下联合优化特征描述符和几何模型（例如，图像、点云）。在这种优化公式下，我们展示了视觉研究的两个重要流，即鲁棒模型拟合和深度特征学习，对应于优化未知变量的一个块，同时固定另一个块。这种分析自然会导致我们的第二个贡献-SGP算法，执行交替最小化，以解决联合优化。SGP迭代地执行两个元算法：一个教师执行鲁棒的模型拟合给定的学习特征以生成几何伪标签，一个学生在伪标签的噪声监督下执行深度特征学习。作为第三个贡献，我们将SGP应用于大规模真实数据集上的两个感知问题，即MegaDepth上的相对相机姿态估计和3DMatch上的点云配准。我们证明，SGP实现了最先进的性能，与使用地面真实标签训练的监督预言机相当或更好。
2021-03-04 cs.CV cs.LG cs.RO
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
通过学习动力学模型进行规划，基于模型的强化学习（MBRL）提供了良好性能的前景，几乎没有环境交互。然而，在实践中，学习的模型通常是不准确的，从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架，帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型：最小化规划过程中的价值估计的方差。我们推导并实现了这一目标，它鼓励更好地预测具有更大回报的轨迹。我们观察到经验，我们的方法提高了目前的MBRL算法对两个随机控制问题的性能，并提供了理论基础，我们的方法。
2021-03-30 cs.AI cs.LG
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Facebook AI Research（Facebook人工智能研究院）；Element AI；Ubisoft Montreal’s La Forge R&D laboratory（育碧蒙特利尔La Forge研发实验室）
对抗性模仿学习在学习一个模型（区分专家的演示和生成的演示）和一个生成器的策略之间交替进行，以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的，因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说，我们的迭代策略明确地以两个策略为条件：来自前一个生成器的迭代的策略和可学习的策略。当优化时，该学习器直接学习最优生成器的策略。因此，我们的更新免费解决了生成器的优化问题：学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段，有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明，我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Online Reinforcement Learning with Uncertain Episode Lengths
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Oxford（牛津大学）
现有的情节强化算法假设情节的长度随着时间的推移是固定的并且是先验已知的。在本文中，我们考虑了一个一般框架的情节强化学习时，每个情节的长度是从一个分布。我们首先确定这个问题相当于具有一般折扣的在线强化学习，其中学习者试图优化无限范围内的预期折扣奖励总和，但折扣函数不一定是几何的。我们发现，最小化遗憾与这种新的一般折扣是等效的，以最小化遗憾与不确定的情节长度。然后，我们设计了一个强化学习算法，最大限度地减少一般折扣的遗憾，但不确定的情节长度设置的行为。我们实例化我们的一般界不同类型的折扣，包括几何和多项式折扣。我们还表明，我们可以获得类似的遗憾界，即使当情节长度的不确定性是未知的，通过估计未知的分布随着时间的推移。最后，我们比较了我们的学习算法与现有的基于值迭代的情景RL算法在网格世界的环境。
2023-02-07 cs.LG
Learning Dynamics and Generalization in Reinforcement Learning
University of Oxford（牛津大学）；DeepMind（深度思维）
解决强化学习（RL）问题带来了两个相互竞争的挑战：拟合潜在不连续的价值函数，以及很好地推广到新的观察结果。在本文中，我们分析了时间差算法的学习动力学，以获得新的洞察这两个目标之间的紧张关系。我们从理论上表明，时间差学习鼓励代理在训练早期拟合价值函数的非光滑成分，同时诱导二阶效应，阻碍泛化。我们在一系列环境中训练的深度RL代理中证实了这些发现，发现使用时间差算法训练的神经网络在密集奖励任务中表现出比随机初始化网络和使用策略梯度方法训练的网络更弱的状态间泛化能力。最后，我们研究了训练后的策略蒸馏如何避免这个陷阱，并表明这种方法提高了对ProcGen套件中新环境的泛化能力，并提高了对输入扰动的鲁棒性。
2022-06-05 cs.LG
GRL-SNAM: Geometric Reinforcement Learning with Path Differential Hamiltonians for Simultaneous Navigation and Mapping in Unknown Environments
University of Texas at Austin（德克萨斯大学奥斯汀分校）
GRL-SNAM通过局部能量优化实现未知环境中的同时导航与建图，利用受控哈密顿优化提升导航质量。
2025-12-31 cs.LG cs.RO
Beyond expected value: geometric mean optimization for long-term policy performance in reinforcement learning
Aalto University（阿尔托大学）
针对期望累积奖励难以反映单条轨迹长期表现的问题，提出结合系综平均与N滑动窗口几何均值正则化的RL算法，并在仿真中优于传统方法。
2025-08-29 cs.LG cs.SY eess.SY
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Personalization of Hearing Aid Compression by Human-In-Loop Deep Reinforcement Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Callier Center for Communication Disorders, University of Texas at Dallas（德克萨斯大学达拉斯分校卡利尔交流障碍中心）
助听器验配中使用的现有规定压缩策略是基于来自一组用户的增益平均值设计的，这对于特定用户来说不一定是最佳的。近一半的助听器用户更喜欢与通常规定的设置不同的设置。本文提出了一种人在回路深度强化学习方法，该方法可以个性化助听器压缩，以改善听觉感知。所开发的方法旨在学习特定用户的听力偏好，以便根据用户的反馈优化压缩。模拟和主题测试结果的报告，证明了开发的个性化压缩的有效性。
2020-07-01 cs.LG cs.SD eess.AS
Investigating Pre-Training Objectives for Generalization in Vision-Based Reinforcement Learning
KAIST（韩国科学技术院）
本文提出Atari-PB基准，在50款Atari游戏上预训练ResNet-50，发现学习任务无关特征的预训练目标比任务特定目标更能提升跨环境泛化能力。
2024-06-10 cs.AI cs.CV cs.LG
RL-AD-Net: Reinforcement Learning Guided Adaptive Displacement in Latent Space for Refined Point Cloud Completion
GeoAI4Cities Lab, IISER Bhopal（GeoAI4Cities实验室，印度Bhopal IISER）
RL-AD-Net通过强化学习在潜在空间中优化点云补全，提升局部几何一致性，适用于多种补全网络。
2025-11-21 cs.CV
DeepFit: 3D Surface Fitting via Neural Network Weighted Least Squares
The Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
提出了一种非结构化三维点云的曲面拟合方法。这种方法被称为DeepFit，它结合了一个神经网络来学习加权最小二乘多项式曲面拟合的逐点权重。学习的权重作为表面点邻域的软选择，从而避免了以前方法所需的尺度选择。为了训练网络，我们提出了一种新的表面一致性损失，提高了点的权重估计。该方法能够提取法向量和其他几何属性，例如主曲率，后者在训练期间不作为地面实况呈现。我们在基准正常和曲率估计数据集上实现了最先进的结果，证明了对噪声，离群值和密度变化的鲁棒性，并展示了其在噪声去除上的应用。
2020-03-23 cs.CV
ADAPTER-RL: Adaptation of Any Agent using Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出 ADAPTER-RL，通过在强化学习中集成适配器来提升 DRL 智能体对分布外任务的适应性，该方法兼容预训练网络与规则智能体，并在 nanoRTS 环境中验证了其训练效率与性能提升效果。
2023-11-20 cs.AI cs.LG
GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
针对在线强化学习训练LLM时奖励噪声导致的不稳定性，提出GEOALIGN，通过检测并修正方向不一致的轨迹来稳定更新，提升最终性能并减少训练震荡。
2026-06-26 cs.AI cs.LG
Understanding Reward Ambiguity Through Optimal Transport Theory in Inverse Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本文利用最优传输理论中的Wasserstein距离建立几何框架，量化并应对高维逆强化学习中的奖励模糊性问题，通过识别奖励函数质心为鲁棒方法提供几何基础。
2023-10-18 cs.LG cs.SY eess.SY
Silence the Judge: Reinforcement Learning with Self-Verifier via Latent Geometric Clustering
Meituan（美团）；Peking University（北京大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出Latent-GRPO框架，通过潜在空间几何聚类生成内在奖励，提升大语言模型推理性能并加速训练过程。
2026-03-01 cs.CL cs.LG
$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement
Peking University（北京大学）
$R^2$-Mesh通过强化学习结合NeRF渲染和在线视角选择，提升网格重建的几何和外观精度。
2026-02-23 cs.CV
What does 2D geometric information really tell us about 3D face shape?
University of York（约克大学）；Marmara University（马尔马拉大学）
人脸图像包含以可用于估计3D人脸形状的配置信息和轮廓的形式的几何线索。虽然很明显，如果没有进一步的约束，从2D点的3D重建是高度模糊的，人们可能会期望面空间约束解决这个问题。我们表明，这是不是这种情况下，几何信息是一个模糊的线索。这种模糊性有两个来源。第一个是，在3D面部形状的空间内，当面部的某些部分固定时，仍存在柔性模式。第二种只发生在透视投影下，并且是随着相机距离变化的透视变换的结果。当在不同距离观察时，两个不同的面可以产生相同的2D几何体。为了证明这些模糊性，我们开发了新的算法，用于拟合3D变形模型的2D地标或轮廓下的正投影或透视投影，并显示如何计算灵活性模式的两种情况下。我们表明，这两个拟合问题可以构成一个可分离的非线性最小二乘问题，并有效地解决。我们证明了定量和定性的模糊性是存在于重建的几何信息，但也从一个国家的最先进的CNN为基础的方法重建。
2019-07-30 cs.CV
Multi-Stage Reinforcement Learning For Object Detection
Paderborn University（帕德博恩大学）；AICURA medical GmbH（AICURA医疗有限公司）；Lytiq GmbH（Lytiq有限公司）
我们提出了一种强化学习方法来检测图像中的对象。我们的方法执行一个逐步变形的限界框的目标是紧密地框对象。它使用了一个分层树状表示的预定义的区域候选人，代理可以放大。这减少了必须评估的区域候选人的数量，使代理可以负担得起计算新的特征图之前，每一步，以提高检测质量。我们比较的方法，是纯粹的缩放动作的基础上扩展的第二个细化阶段微调后，每个缩放步骤的限界框。我们还提高了拟合能力，允许不同的长宽比的限界框。最后，我们提出了不同的奖励函数，以更好地指导代理，同时遵循其搜索轨迹。实验表明，这些扩展的每一个导致更正确的检测。性能最佳的方法包括缩放阶段和细化阶段，使用纵横比修改动作，并使用三种不同奖励度量的组合进行训练。
2018-10-26 cs.CV cs.LG stat.ML
Incorporating Graph Attention Mechanism into Geometric Problem Solving Based on Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；West Virginia Clinical and Translational Science Institute（西弗吉尼亚临床与转化科学研究所）
针对几何问题中自动添加辅助组件效率低的问题，提出基于BERT和图注意力机制（AttnStrategy）的深度强化学习框架A3C-RL，缩减策略搜索空间，平均准确率较MCTS提升32.7%并在高考几何题上超越人类。
2024-03-14 cs.AI cs.CL cs.CY
End-to-end Offline Reinforcement Learning for Glycemia Control
Diabeloop（迪亚布洛普公司）
针对闭环血糖控制过度依赖模拟器的问题，提出基于真实患者数据训练的离线强化学习智能体，并利用端到端个性化流程与离线策略评估消除模拟器需求，同时估计临床相关指标。
2023-10-16 cs.AI cs.LG q-bio.QM
Modelling Stock-market Investors as Reinforcement Learning Agents [Correction]
University of Sheffield（谢菲尔德大学）
在不确定和风险环境中的决策是一个突出的研究领域。标准的经济理论无法完全解释人类行为，而一个潜在的有前途的替代方案可能是强化学习（RL）理论。我们分析了从金融市场在线游戏中提取的46名玩家的数据，并测试了强化学习（Q-Learning）是否可以使用基于金融建模的风险度量来捕获这些玩家的行为。此外，我们测试了一个早期的假设，即玩家是“天真的”（短视的）。我们的研究结果表明，一个简单的强化学习模型，只考虑任务的销售部分，捕捉决策过程的一个子集的球员，但这是不足以得出任何结论的人口。我们还发现，当使用一个完整的RL模型对一个近视的版本，只有即时奖励是由球员的价值，有没有一个显着的改善拟合的球员。这表明，如果使用强化学习方法，玩家会很天真地这样做
2016-09-20 cs.CE cs.LG
Identify, Estimate and Bound the Uncertainty of Reinforcement Learning for Autonomous Driving
Tsinghua University（清华大学）
针对深度强化学习驾驶策略的黑箱不确定性导致决策不可靠的问题，提出不确定性约束强化学习（UBRL）框架，通过自助法和集成网络估计不确定性并引入基线策略作为下限，保证性能优于基线。该方法能识别不可靠决策并随数据量增加性能提升。
2023-05-12 cs.AI cs.LG cs.RO
A Holistic Method for Superquadric Fitting Using Unsupervised Clustering Analysis
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（数学科学国家重点实验室，数学与系统科学学院，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Robotics Institute, School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程与自动化学院机器人研究所）
本文提出了一种新的方法，用于在存在噪声和异常值的情况下对点云进行超二次曲面拟合，通过无监督聚类分析重新定义问题，实现了刚性和变形超二次曲面的一体化拟合，同时提供了闭式解析解和收敛性证明。
2026-05-16 cs.AI cs.CV
Deep Algebraic Fitting for Multiple Circle Primitives Extraction from Raw Point Clouds
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Oxford（牛津大学）
圆的形状是人造工程物体的基本几何基元之一。因此，从扫描点云中提取圆是三维几何数据处理中的一项非常重要的任务。然而，现有的圆提取方法要么是敏感的原始点云的质量时，分类圆边界点，或需要精心设计的拟合函数时，回归圆参数。为了缓解这些挑战，我们提出了一种基于深度圆边界点特征学习和加权代数拟合的端到端点云圆代数拟合网络（Circle-Net）。首先，我们设计了一个圆边界学习模块，它考虑了每个点的局部和全局相邻上下文，以检测所有潜在的圆边界点。其次，我们开发了一个基于深度特征的圆参数学习模块，用于加权代数拟合，而不设计任何权重度量，以避免拟合过程中离群值的影响。与大多数最先进的圆提取算法不同，本文提出的分类和拟合模块最初是通过综合损失进行联合训练的，以提高提取圆的质量。在建立的数据集和实际扫描点云上的比较显示，在噪声鲁棒性和提取精度方面，Circle-Net比SOTA有明显的改善。我们将在发布后在GitHub上发布我们的代码，模型和数据，用于培训和评估。
2022-04-02 cs.CV
Simulation-Based Benchmarking of Reinforcement Learning Agents for Personalized Retail Promotions
Bain & Company, Inc.（贝恩公司）；New York University（纽约大学）
本文构建零售客户购物行为仿真环境，用于优惠券定向投放强化学习智能体基准测试，通过离线批量数据缓解购买事件稀疏问题，实验验证低过拟合的上下文赌博机与深度RL方法优于静态策略，提供零售全旅程AI仿真框架。
2024-05-16 cs.AI cs.LG econ.EM
Rethinking the Approximation Error in 3D Surface Fitting for Point Cloud Normal Estimation
Hikvision Research Institute（海康威视研究院）
现有的点云法向估计方法大多是局部拟合几何曲面，并根据拟合曲面计算法向。最近，基于学习的方法采用了预测逐点权重的例程来解决加权最小二乘曲面拟合问题。尽管取得了显着的进步，这些方法忽略了拟合问题的近似误差，从而导致拟合曲面的精度较低。本文首先对曲面拟合问题中的逼近误差进行了深入的分析。然后，为了弥合估计和精确的表面法线之间的差距，我们提出了两个基本的设计原则：1）应用$Z$方向变换旋转局部补丁，以获得更好的表面拟合与较低的近似误差; 2）模型的法线估计的误差作为一个可学习的长期。我们使用深度神经网络实现这两个原则，并以即插即用的方式将它们与最先进的（SOTA）正常估计方法集成在一起。大量的实验验证了我们的方法为点云正态估计带来了好处，并推动了合成和真实世界数据集上最先进性能的前沿。
2023-03-30 cs.CV
SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy
研究安全强化学习中罕见灾难性尾部事件难检测的问题，提出SteinGate方法，利用核斯坦因差异进行稳健一致性检查并考虑边界原子，动态调整学习机制，实验证明该方法能降低约束违反频率和严重性且保持竞争力。
2026-07-16 cs.AI cs.LG
A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））
本文从几何视角研究逆强化学习的奖励更新，提出占用空间视角，设计带费舍尔信息预处理的自然梯度式奖励更新，分析其镜像下降特性并给出收敛性结果。
2026-10-14 cs.AI cs.LG cs.RO
Learning Accurate Long-term Dynamics for Model-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
准确预测机器人系统的动力学特性对于基于模型的控制和强化学习是至关重要的。估计动态的最常见的方法是通过拟合一步预测模型，并使用它来递归地传播长期范围内的预测状态分布。不幸的是，这种方法即使是很小的预测误差，也会使长期预测不准确。在本文中，我们提出了一种新的参数化状态-动作数据的监督学习，以在更长的时间范围内稳定地预测-我们称之为基于概率的模型。该模型以初始状态、未来时间指标和控制参数为输入，直接预测未来时间指标的状态。在模拟和现实世界的机器人任务的实验结果表明，基于概率的模型产生更准确的长期预测，提高样本效率，并预测任务奖励的能力。有了这些改进的预测性能，我们的结论与示范的方法，使用基于概率的模型进行控制。
2021-09-01 cs.LG cs.RO
Automatic, Personalized, and Flexible Playlist Generation using Reinforcement Learning
National Taiwan University（台湾大学）；KKBOX Inc.（KKBOX公司）
歌曲可以很好地安排由专业的音乐策展人，形成一个引人入胜的播放列表，创造引人入胜的聆听体验。然而，对于策展人来说，及时重新安排这些播放列表以适应未来的趋势是耗时的。通过利用深度学习和强化学习技术，本文将音乐播放列表生成视为一个语言建模问题，并通过提出的具有策略梯度的注意力语言模型来解决。我们开发了一个系统的和交互式的方法，从而产生的播放列表可以根据用户的喜好灵活调整。将播放列表视为单词序列，我们首先在基线推荐播放列表上训练我们的注意力RNN语言模型。通过优化适当的奖励函数，模型可以针对相应的偏好进行优化。实验结果表明，我们的方法不仅自动生成连贯的播放列表，但也能够灵活地推荐个性化的播放列表的多样性，新颖性和新鲜度。
2018-09-12 cs.CL cs.IR cs.LG
Iterative Grasp Pose Refinement: A Deep Reinforcement Learning Approach for 2D Vision
University of Tehran（德黑兰大学）
本研究提出结合关键点表征与DQN的强化学习框架，通过迭代优化抓取位姿，在Dex-Net数据集300个物体上对几何判定不可抓取物体实现100%成功率，且可实现仿真到真实的迁移，为接触丰富的操作任务提供解决方案。
2026-08-19 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning from Summary Data
Aalto University（阿尔托大学）
逆向强化学习（IRL）旨在通过将强化学习模型拟合到行为数据来解释观察到的策略行为。然而，传统的IRL方法仅适用于状态-动作路径形式的观测。这种假设在许多现实世界的建模设置中可能不成立，因为只有部分或汇总的观测结果可用。一般来说，我们可以假设有一个总结函数$σ$，它充当我们和构成演示的真实状态-动作路径之间的过滤器。已经提出了一些将IRL扩展到这种情况的初步方法，但是对$σ$的结构有非常具体的假设，例如只缺少某些状态观测。本文的重点是最一般的情况下的问题，没有假设的总结功能，除了它可以评估。我们证明推理仍然是可能的。本文提出了精确和近似的推理算法，允许充分的后验推理，这是特别重要的评估参数的不确定性，在这种具有挑战性的推理情况。经验的可扩展性证明合理大小的问题，并证明了实际的适用性，通过估计后验的认知科学RL模型的基础上观察到的用户的任务完成时间。
2018-06-17 cs.AI cs.LG stat.ML
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University（南洋理工大学）；Continental Automotive Singapore（大陆汽车新加坡公司）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法，以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题，提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning via Matching of Optimality Profiles
ETH Zürich（苏黎世联邦理工学院）
逆强化学习（IRL）的目标是推断出解释执行任务的代理的行为的奖励函数。大多数方法的假设是，所演示的行为接近最优。然而，在许多现实世界的场景中，真正最优行为的示例是稀缺的，并且期望有效地利用次优或异构性能的演示集，这些演示集更容易获得。我们提出了一种算法，学习奖励函数，从这样的演示与弱监督信号的形式分布在演示过程中收集的奖励（或更一般地说，分布在累积折扣的未来奖励）。我们认为这样的分布，我们也被称为最优配置文件，作为总结的最优程度的示范，可能，例如，反映了人类专家的意见。给定一个最优配置文件和少量的额外监督，我们的算法适合奖励函数，建模为神经网络，基本上最小化相应的诱导分布和最优配置文件之间的Wasserstein距离。我们证明了我们的方法能够学习奖励函数，使得经过训练以优化它们的策略优于用于拟合奖励函数的演示。
2020-11-19 cs.AI cs.LG
Improving Sample Efficiency in Model-Free Reinforcement Learning from Images
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）
用无模型强化学习（RL）直接从高维图像训练智能体解决控制任务已经被证明是困难的。一个有前途的方法是学习一个潜在的代表与控制策略。然而，使用稀缺的奖励信号来拟合高容量编码器是采样效率低的，并且导致性能差。先前的工作已经表明，辅助损失，如图像重建，可以帮助有效的表示学习。然而，将重建损失并入离策略学习算法中通常会导致训练不稳定。我们探讨的根本原因，并确定变分自编码器，以前的调查，作为分歧的原因。根据这些发现，我们提出了有效的技术，以提高训练的稳定性。这导致一种简单的方法，能够在MuJoCo控制任务上匹配最先进的无模型和基于模型的算法。此外，我们的方法表现出对观测噪声的鲁棒性，超过了现有的方法。代码、结果和视频可在https://sites.google.com/view/sac-ae/home上匿名获取。
2020-07-09 cs.AI cs.LG cs.RO
Finding Kissing Numbers with Game-theoretic Reinforcement Learning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院）
将亲吻数问题转化为合作矩阵补全博弈，利用强化学习系统PackingStar在极值配置空间中探索，改进了15个长期未突破的亲吻数上界，并发现了新的可解释几何结构。
2026-09-23 cs.AI cs.LG math.CO
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
EpiFlow通过epigraph引导的流匹配方法，在安全关键任务中实现了高效且安全的离线强化学习。
2026-11-09 cs.AI cs.LG
Pessimistic Model Selection for Offline Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）；IBM Research（IBM研究院）；Georgia Tech（佐治亚理工学院）；George Washington University（乔治华盛顿大学）
深度强化学习（Deep Reinforcement Learning，DRL）在序列决策问题的求解中有着广泛的应用前景。尽管其有前途的性能，但在现实世界的场景中部署DRL时存在实际差距。一个主要的障碍是过度拟合问题，导致DRL学习到的策略的泛化性差。特别是，对于具有观测数据的离线DRL，模型选择是一项具有挑战性的任务，因为与具有模拟环境的在线设置相比，没有地面实况可用于性能演示。在这项工作中，我们提出了一个悲观的模型选择（PMS）方法离线DRL的理论保证，它具有一个可证明有效的框架，在一组候选模型中找到最佳的政策。两个改进的方法也提出了解决DRL模型在确定最优策略的潜在偏差。数值研究表明，我们的方法优于现有的方法的性能。
2021-11-29 cs.AI cs.CE cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Multi-fidelity reinforcement learning framework for shape optimization
University of Michigan（密歇根大学）；Oklahoma State University（俄克拉荷马州立大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种利用多保真度仿真的可控迁移学习强化学习框架，解决了传统DRL对回合数需求高的问题，并在高雷诺数翼型形状优化中降低超30%计算成本，同时提升策略泛化能力。
2022-02-22 cs.LG physics.flu-dyn
