Online Influence Maximization: Concept and Algorithm
Advanced Institute of Natural Sciences, Beijing Normal University（北京师范大学自然科学高等研究院）
本综述概述在线影响力最大化问题，先明确离线IM问题及算法，再基于CMAB-T框架定义在线IM问题、分析反馈类型与算法，涵盖现有算法并总结挑战与方向。
2023-11-30 cs.LG cs.SI
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架，将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法，仅需老虎机反馈，并应用于子模最大化，实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Offline Learning for Combinatorial Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）
研究提出首个针对组合多臂老虎机的离线学习框架Off-CMAB，核心CLCB算法结合悲观估计与组合求解器，在两种新数据覆盖条件下实现近乎最优的次优性差距，并在多种实际应用与实验中展现卓越性能。
2025-05-29 cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科学与技术大学）；South China University of Technology, Guangdong, China（华南理工大学）
GAS通过增强数据集和引入目标函数，提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
Less is More: Clustered Cross-Covariance Control for Offline RL
Central South University（中南大学）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
本文提出了一种用于离线强化学习的聚类交叉协方差控制方法，通过分区缓冲区采样和梯度修正惩罚，减少分布偏移带来的影响，提升策略学习的稳定性和性能。
2026-01-31 cs.LG
Mean-Field Diffuser: Scaling Offline MARL to Thousands of Agents
Tongji University（同济大学）；East China Normal University（华东师范大学）
提出MF-Diffuser框架，通过将轨迹规划提升到轨迹分布的Wasserstein空间，并利用混沌传播和分层粗到细策略，将离线多智能体强化学习扩展到数千个智能体，理论证明均场近似误差为$O(H^2/\sqrt{N})$且离线分布偏移不随群体规模增长，实验在三个均场RL基准上取得最佳回报。
2026-05-31 cs.LG
Offline Reinforcement Learning for Wind Farm Control: A Wind Tunnel Study under Dynamic Wind Directions
University of Warwick（华威大学）；Technical University of Munich（慕尼黑工业大学）
针对动态风向下的风电场功率最大化问题，提出离线强化学习算法MTD3-BC，通过偏航控制减轻尾流效应，风洞实验表明其比贪婪策略提升约10%功率，且无需尾流模型、训练成本低，为首次实验验证。
2026-09-14 cs.LG
Yes, Q-learning Helps Offline In-Context RL
Reinforcement Learning Journal（强化学习期刊）
本文在离线上下文强化学习框架中整合RL目标，通过150多个数据集实验证明，直接优化RL目标相比算法蒸馏平均提升约30%性能，且价值学习中的保守性带来额外改进。
2026-08-14 cs.AI cs.LG
Maximize Your Diffusion: A Study into Reward Maximization and Alignment for Diffusion-based Control
University of California, Davis（加利福尼亚大学戴维斯分校）；University of South Florida（南佛罗里达大学）
本文研究基于扩散的控制中的奖励最大化问题，扩展并统一强化学习奖励对齐、DPO、监督微调和级联扩散四种微调方法，在离线 RL 控制任务中取得实证提升。
2025-02-16 cs.AI cs.LG
Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion Model
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；School of Vehicle and Mobility, Tsinghua University（清华大学车辆与运载学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对安全离线RL中零违规与回报、行为正则化难以兼顾的问题，提出FISOR，将硬安全约束转化为最大可行区域并以能量引导扩散模型解耦学习，在DSRL全部任务中保证安全且多数任务回报最优。
2024-01-19 cs.AI cs.LG cs.RO
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University（韩国大学）；Yonsei University（延世大学）；Gauss Labs Inc.（Gauss实验室公司）
针对离线多目标强化学习中非线性公平福利目标优化的空白，提出FairDICE框架，借助分布校正估计实现无需偏好权重搜索的稳定高效学习，在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids, and Full-Bandit Learning
Purdue University（普渡大学）
该研究针对拟阵约束的子模最大化问题，证明了SGS-Poisson算法的对抗鲁棒性，并将其归约得到具有特定近似-遗憾因子的全臂赌博机CMAB算法。
2026-09-09 cs.AI cs.CC cs.LG
Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization
Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（计算统计与机器学习 - 意大利技术研究院）；AI Centre, Computer Science Department, University College London（人工智能中心，计算机科学系，伦敦大学学院）
提出一种无奖励预训练方法ROVER，通过最大化状态占据测度的覆盖来学习可迁移探索策略，在稀疏奖励下游任务中快速适应。
2026-06-23 cs.LG
Dual Alignment Maximin Optimization for Offline Model-based RL
UCAS（中国科学院大学）
针对离线基于模型的RL中模型偏差与策略不一致问题，本文提出DAMO极大极小演员-评论家框架，通过双重保守价值估计与策略改进对齐，实现模型-环境及合成-离线数据一致，并在基准任务上取得竞争力性能。
2025-09-30 cs.AI cs.LG
OM2P: Offline Multi-Agent Mean-Flow Policy
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（交叉信息研究院，清华大学）；ByteDance Inc.（字节跳动公司）
OM2P提出了一种离线多智能体强化学习算法，通过均流匹配损失和奖励感知优化，实现高效动作采样和内存优化，提升训练效率。
2026-02-27 cs.AI cs.LG
Online Competitive Influence Maximization
Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；Microsoft Research（微软研究院）
在线影响力最大化作为一种在学习未知网络参数值的同时最大化通过社交网络传播的影响力的方式已经引起了很多关注。大多数以前的作品集中在单个项目的扩散。在本文中，我们引入了一个新的在线竞争影响力最大化（OCIM）问题，其中两个竞争项目（例如，产品、新闻故事）在同一网络中传播，并且边缘上的影响概率是未知的。我们采用了组合多臂强盗（CMAB）框架OCIM，但与非竞争性设置，重要的单调性属性（影响扩散增加时，边缘上的影响概率增加）不再持有由于竞争性质的传播，这带来了一个重大的新挑战的问题。我们提供了一个非平凡的证明，CMAB的触发概率调制（TPM）条件仍然保持在OCIM，这是我们提出的算法OCIM-TS和OCIM-OFU实现次线性贝叶斯和频率后悔，分别是有用的。我们还设计了一个OCIM-ETC算法，需要更少的反馈和更容易的离线计算，在一个更坏的频率论遗憾界的代价。实验结果证明了算法的有效性。
2022-03-02 cs.LG cs.SI stat.ML
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
本文提出了一种潜在安全约束策略方法，通过条件变分自动编码器和受约束奖励-回报最大化框架，实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Offline Reinforcement Learning for Warehouse SLAM Throughput Control
Amazon.com, USA（亚马逊公司，美国）
提出离线强化学习框架优化仓库SLAM吞吐量控制，通过历史状态表示、动作空间抽象和奖励函数设计，结合多种离线RL算法，实验表明CQL策略提升系统健康度22.97%，减少平均节流时长3.18%。
2026-06-24 cs.AI cs.LG
Survival Instinct in Offline Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
该研究发现离线RL存在“生存本能”现象，即即便用错误奖励训练也能得到安全策略，源于悲观主义与数据偏差的共同作用，并据此提出RL新范式。
2023-11-08 cs.AI cs.LG
Offline RL for Natural Language Generation with Implicit Language Q Learning
UC Berkeley（加州大学伯克利分校）
本研究提出面向自然语言生成的离线强化学习方法ILQL，结合RL效用最大化框架与监督学习优势，通过价值保守性和隐式数据集约束学习价值函数，在对话优化、主观奖励任务上表现更优。
2023-05-01 cs.CL cs.LG
Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）；Department of Automation, Tsinghua University（清华大学自动化系）
针对现有生成式自动出价方法无法超越静态数据集进行探索的性能瓶颈，提出AIGB-Pearl方法，通过轨迹评估器和KL-Lipschitz约束的分数最大化方案实现安全高效探索，在模拟和真实广告系统中取得最优性能。
2026-06-19 cs.AI cs.LG
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
EXPO通过构建实时策略最大化Q值，提升样本效率，适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
Logarithmic Regret for Unconstrained Submodular Maximization Stochastic Bandit
Criteo AI Lab（Criteo人工智能实验室）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对随机老虎机反馈下的在线无约束子模极大化问题，提出适配双贪心方法的DG-ETC算法，其1/2近似伪遗憾同时满足问题依赖的O(d log(dT))和无问题依赖的O(dT²/³ log(dT)¹/³)上界，性能优于现有方法，并刻画了上界区间过渡的难度概念。
2025-02-12 cs.LG math.CO math.OC
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Learning to Advertise for Organic Traffic Maximization in E-Commerce Product Feeds
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
大多数电子商务产品提要向消费者提供广告产品和推荐产品的混合结果。底层的广告和推荐平台共享类似的候选产品，如果不是完全相同的话。消费者对广告结果的行为构成了推荐模型的训练数据的一部分，因此可以影响推荐结果。我们把这个过程称为杠杆。考虑到这一机制，我们提出了一个新的角度，广告商可以通过广告平台的策略性出价，以优化其推荐的有机流量。通过分析真实世界的数据，我们首先解释了杠杆机制的原理，即，杠杆的动态模型。然后，我们引入了一个新的杠杆优化问题，并制定了一个马尔可夫决策过程。为了解决无模型强化学习中样本复杂性的问题，提出了一种新的混合训练杠杆出价（HTLB）算法，该算法结合了真实世界的样本和仿真器生成的样本，以提高学习速度和稳定性。我们的离线实验以及在线部署的结果表明，我们的方法的优越性能。
2019-08-19 cs.LG stat.ML
Entropy-Regularized Adjoint Matching for Offline Reinforcement Learning
College of Computing（计算学院）；Mohammed VI Polytechnic University（穆莱·阿卜杜勒阿齐兹技术大学）
本文提出最大熵对偶匹配框架，通过镜像下降熵最大化和混合行为先验机制，缓解流行偏差和支撑绑定问题，提升离线数据中最优策略的提取能力。
2026-05-08 cs.AI cs.LG
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对离线IRL中世界模型误差会放大奖励估计偏差的问题，提出结合保守专家策略与最大似然的双层优化框架，并在MuJoCo和D4RL上显著超越现有基准。
2024-02-28 cs.AI cs.LG
Resolving the Approximability of Offline and Online Non-monotone DR-Submodular Maximization over General Convex Sets
University of Haifa（海法大学）
近年来，DR-子模连续函数极大化问题成为一个重要的研究领域，在机器学习、通信系统、运筹学和经济学等领域有着广泛的应用。由于Vondrák（2013）的不可逼近性结果，该领域的大多数工作都研究了下闭凸集约束下的最大化。然而，Durr等人（2021）表明，可以通过证明近似比是$m$的函数来绕过这种不可近似性，$m$是任何可行向量的最小$\ell_{\infty}$范数。鉴于这一观察，它是可能的，以最大化DR-子模函数的一般凸集约束，这导致了多个工作在这个问题上的结果。其中最新的是Du（2022）提出的多项式时间$\tfrac{1}{4}(1 - m)$近似离线算法。然而，只有一个亚指数时间$\tfrac{1}{3\sqrt{3}}(1 - m)$ -近似算法是已知的相应的在线问题。在这项工作中，我们提出了一个多项式时间的在线算法匹配的$\tfrac{1}{4}(1 - m)$近似的国家的最先进的离线算法。我们还提出了一个不可逼近的结果，表明我们的在线算法和杜（2022）的离线算法都是在很强的意义上最优的。最后，我们研究了我们的算法和算法的经验表现杜（这只是理论上研究以前），并表明，他们一贯优于以前建议的算法收入最大化，位置汇总和二次规划应用。
2022-10-12 cs.DS cs.LG
Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
现有的推荐算法大多集中在优化传统的推荐措施，如RMSE方面的评级预测的准确性或前$k$推荐列表的质量方面的精度，召回率，MAP等，然而，商业推荐系统的一个重要期望是提高系统的最终收入/利润。传统的推荐目标如评分预测和顶级$k$推荐与此目标没有直接关系。在这项工作中，我们将在线广告和微观经济学的基本概念融入个性化推荐中，以实现利润最大化。具体而言，我们提出了基于强化学习的价值感知推荐，直接优化候选项的经济价值来生成推荐列表。特别是，我们推广的基本概念的点击转化率（CVR）在计算广告到会话率的任意用户动作（XVR）在电子商业，其中的用户动作可以点击，添加到购物车，添加到愿望清单等，这样，每种类型的用户动作被映射到其货币化的经济价值。进一步综合不同用户行为的经济价值作为排行榜的奖励，并利用强化学习对推荐榜进行优化，使总价值最大。在离线基准测试和在线商业系统中的实验结果验证了我们的框架在传统的顶级$k$排名任务和系统的经济效益方面的性能改进。
2019-02-03 cs.IR cs.LG
Offline Preference Optimization via Maximum Marginal Likelihood Estimation
Department of Computing Science, University of Alberta, Canada（计算科学系，阿尔伯塔大学）
本文提出基于最大边际似然估计的MMPO方法，通过隐式偏好优化提升模型稳定性与对齐性能。
2026-01-23 cs.CL cs.LG
Sparsity-based Safety Conservatism for Constrained Offline Reinforcement Learning
Mississippi State University（密西西比州立大学）
本文针对约束离线强化学习中的内插误差，提出基于数据稀疏性的保守度量，以增强安全性和泛化性，避免双层优化的不稳定性。
2024-07-17 cs.AI cs.LG
Finite Horizon Throughput Maximization and Sensing Optimization in Wireless Powered Devices over Fading Channels
Sabanci University（萨班哲大学）
无线功率传输（WPT）是一种很有前途的技术，其通过利用RF传输为网络提供了一种为远程设备补充电池的方式。我们研究了一类先收获后传输的WPT策略，其中接入点（AP）首先采用RF功率传输来对无线供电设备（WPD）进行一定时间的优化充电，然后，收获的能量随后被WPD用于在有限范围内将其数据比特传输回AP。关于所研究的WPT场景的一个重大挑战是将WPD链接到AP的无线信道的时变性质。我们首先调查作为一个基准的离线情况下，渠道实现已知的非因果关系之前，开始的地平线。对于离线的情况下，通过找到最佳的WPT持续时间和功率分配的数据传输周期，我们推导出的WPD的吞吐量上界。然后，我们专注于在线对应的问题，其中信道实现是已知的因果关系。我们证明，最佳的WPT持续时间服从依赖于WPD的能量状态的时间依赖的阈值形式。在随后的数据传输阶段中，WPD的最佳发射功率分配被示出为分数结构，其中在每个时隙，取决于当前信道的能量的一部分和未来信道状态预期的测量被分配用于数据传输。我们的数字表明，在线政策执行几乎相同的上限。然后，我们考虑一个数据感测应用程序，其中WPD调整感测分辨率之间的平衡感测数据的质量和成功交付it.We使用贝叶斯推理作为一个强化学习方法，以提供一个平均值为WPD在学习中平衡感测分辨率的概率。
2018-09-09 cs.IT cs.LG eess.SP
Latent Policy Steering through One-Step Flow Policies
Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学）；Microsoft Research（微软研究院）
本文提出Latent Policy Steering (LPS)，通过一步流策略实现高保真的潜在策略改进，解决了离线强化学习中回报最大化与行为约束之间的权衡问题，实现了无需复杂超参数调整的鲁棒性能。
2026-10-30 cs.LG cs.RO
Towards Fast Safe Online Reinforcement Learning via Policy Finetuning
School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）；Arizona State University（亚利桑那州立大学）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Washington State University（华盛顿州立大学）；Department of Computer Science（计算机科学系）；University of Houston（休斯顿大学）
本文提出Marvel框架，通过价值预对齐和自适应PID控制，实现更高效安全的在线强化学习。
2026-01-22 cs.AI cs.LG
Dual-Force: Enhanced Offline Diversity Maximization under Imitation Constraints
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；ETH Zürich（苏黎世联邦理工学院）
Dual-Force是一种离线算法，通过后继特征的VdW力目标和功能奖励编码，实现模仿约束下的多样化行为策略学习，在Solo12仿真任务中提升了性能与鲁棒性。
2026-08-03 cs.AI cs.LG cs.RO
Analysis of a Generalized Expectation-Maximization Algorithm for Gaussian Mixture Models: A Control Systems Perspective
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（雷德利尔理工学院电子工程与计算机系统系）；Department of Industrial and Systems Engineering, Rensselaer Polytechnic Institute（雷德利尔理工学院工业与系统工程系）
本文从控制系统的角度分析了Gaussian混合模型中的一种通用期望-最大化算法，探讨了其收敛性质，并通过示例展示了该方法的优势。
2021-05-18 cs.LG cs.SY eess.SY
DISA: Offline Importance Sampling for Distribution-Matching LLM-RL
Shanghai Jiao Tong University（上海交通大学）；Qwen Team, Alibaba Group（阿里集团Qwen团队）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）；The University of Hong Kong（香港大学）
本研究提出DISA方法，通过离线重要性采样解决分布匹配强化学习中的校准问题，分离了分区函数估计与策略学习，提高了策略多样性并在多个基准测试中表现出色。
2026-05-17 cs.CL cs.LG
First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization
University of California, Berkeley（加州大学伯克利分校）
我们如何训练辅助人机界面（例如，基于肌电图的肢体假肢）将用户的原始命令信号转换为机器人或计算机的动作，当没有事先映射时，我们不能要求用户以动作标签或奖励反馈的形式进行监督，并且我们没有用户试图完成的任务的先验知识？本文的关键思想是，无论任务如何，当界面更直观时，用户的命令就不会那么嘈杂。我们正式这个想法作为一个完全无监督的目标优化接口：用户的命令信号和环境中的诱导状态转换之间的互信息。为了评估这个互信息分数是否可以区分有效和无效的界面，我们对540K用户操作各种键盘和眼睛注视界面进行了观察研究，用于打字，控制模拟机器人和玩视频游戏。结果表明，我们的互信息分数是预测在各种领域的地面实况任务完成指标，平均斯皮尔曼的等级相关性为0.43。除了对现有接口进行离线评估外，我们还使用无监督目标从头开始学习接口：我们随机初始化接口，让用户尝试使用接口执行他们想要的任务，测量互信息分数，并通过强化学习更新接口以最大化互信息。我们评估我们的方法，通过用户研究与12名参与者谁执行2D光标控制任务，使用扰动鼠标，和一个用户玩月球登陆器游戏使用手势的实验。结果表明，我们可以在30分钟内从头开始学习一个界面，而无需任何用户监督或任务的先验知识。
2022-09-15 cs.HC cs.LG cs.RO
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University（北京大学）
我们研究离线Meta强化学习，这是一种实用的强化学习范式，它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素，使得任务表示对行为策略的变化不稳定。为了解决这个问题，我们提出了一个对比学习框架的任务表示，是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构，使用互信息最大化来形式化任务表示学习，推导出一个对比学习目标，并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势，特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Stream Clipper: Scalable Submodular Maximization on Stream
University of Washington, Seattle（华盛顿大学西雅图分校）
我们提出了一个流的子模块最大化算法“流裁剪器”，执行以及离线贪婪算法在文档/视频摘要在实践中。它基于两个自适应阈值将来自流的元素添加到解集$S$或添加到额外的缓冲器$B$，并且通过从$B$添加元素的$S$开始的最终贪婪步骤来改进$S$。在此过程中，如果将元素从$S$中交换出来会带来改进，则可以这样做。阈值基于当前存储器利用率是否超过预算来适配，例如，它增加下阈值，并从缓冲器$B$中去除低于新的下阈值的元素。我们表明，虽然我们的近似因子在最坏的情况下是$1/2$（如在以前的工作，并对应于紧界），我们表明，有数据依赖的条件下，我们的范围内的范围$[1/2, 1-1/e]$。在新闻和视频摘要实验中，该算法始终优于其他流媒体方法，并且在使用显著更少的计算和内存的同时，执行类似于离线贪婪算法。
2018-02-13 cs.LG math.CO stat.ML
Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching
Stanford University（斯坦福大学）；NVIDIA（英伟达）
离线模仿学习（IL）承诺能够从预先收集的演示中学习性能策略，而无需与环境交互。然而，完全离线模仿行为通常需要大量的专家数据。为了解决这个问题，我们研究的设置，我们有有限的专家数据和补充次优数据。在这种情况下，一个众所周知的问题是学习策略和收集离线数据的行为策略之间的分布偏移。先前的工作通过正则化学习策略和行为策略的静态状态-动作分布之间的KL分歧来缓解这个问题。我们认为，这种基于精确分布匹配的约束可能过于保守，并妨碍策略学习，特别是当不完美的离线数据是高度次优的。为了解决这个问题，我们提出了RelaxDICE，它采用了非对称放松的f-发散显式支持正则化。具体来说，不是驱动学习的策略与行为策略完全匹配，而是只要它们的静态状态-动作分布之间的密度比由一个常数上界，我们就施加很少的惩罚。注意，这样的公式化导致嵌套的最小-最大优化问题，这在实践中导致不稳定性。RelaxDICE通过支持内部最大化问题的封闭形式解决方案来解决这一挑战。广泛的实证研究表明，我们的方法显着优于最好的先验离线IL方法在六个标准的连续控制环境中，平均超过30%的性能增益，在22个设置中，不完美的数据集是高度次优的。
2023-03-05 cs.LG
Change Point Detection by Cross-Entropy Maximization
CERC, Polytechnique Montréal（蒙特利尔理工学院 CERC）
许多离线无监督变化点检测算法依赖于最小化分段成本的惩罚总和。我们扩展了这个框架，建议最大限度地减少段之间的差异。特别是，我们建议选择的变化点，以最大限度地提高连续段之间的交叉熵，引入新的变化点的惩罚平衡。我们提出了一个动态规划算法来解决这个问题，并分析了它的复杂性。在两个具有挑战性的数据集上的实验表明，与三种最先进的方法相比，我们的方法具有优势。
2020-09-02 cs.LG eess.SP stat.ML
Geometry-Dependent Online and Offline Approximation for Non-Monotone DR-Submodular Maximization
Purdue University（普渡大学）
针对非单调DR次模函数的在线最大化，提出几何相关界，改进遗憾系数至4/9，并给出匹配下界与多项式情形下的精确系数。
2026-10-27 cs.LG
Improving Gradient Flow with Unrolled Highway Expectation Maximization
Ground Technology Research Institute, Agency for Defense Development（国防发展局地面技术研究所）
将基于模型的机器学习方法集成到深度神经架构中，可以利用深度神经网络的表达能力和基于模型的方法结合特定领域知识的能力。特别是，许多作品采用了期望最大化（EM）算法的形式展开的分层结构，这是联合训练的骨干神经网络。然而，它是很难有区别地训练骨干网络通过反向传播通过EM迭代，因为它们是容易消失的梯度问题。为了解决这个问题，我们提出了高速公路期望最大化网络（HEMNet），它是由展开迭代的广义EM（GEM）算法的基础上的牛顿-拉普森方法。HEMNet具有沿展开架构深度的缩放跳过连接或高速公路，从而在反向传播期间改善梯度流，同时与标准展开EM相比，产生可忽略不计的额外计算和内存成本。此外，HEMNet保留了底层EM过程，从而完全保留了原始EM算法的收敛特性。我们在几个语义分割基准测试中取得了显着的性能改善，并通过经验表明，HEMNet有效地消除了梯度衰减。
2020-12-09 cs.CV cs.LG cs.NE
Conformal Candidate Certification for Offline Model-Based Optimization
Seungjin Choi（Choi）
提出共形候选认证（CCC）方法，通过加权共形预测为离线模型优化中的候选设计提供校准的单侧下界，确保超过目标阈值的候选被认证，解决了分布偏移下的统计可靠性问题。
2026-06-16 cs.LG stat.ML
Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization
Dongguk University（东国大学）；King’s College London（伦敦国王学院）
脉冲神经网络（SNN）提供了一种新的计算范例，其通过二进制神经动态激活处理来捕获生物大脑的一些效率。概率SNN模型通常通过使用对数似然梯度的无偏估计来训练以最大化期望输出的似然。虽然先前的工作使用从网络的单次运行中获得的单样本估计器，但本文提出利用多个隔室，这些隔室在共享突触权重的同时对独立的尖峰信号进行采样。关键思想是使用这些信号来获得对数似然训练准则及其梯度的更准确的统计估计。该方法是基于广义期望最大化（GEM），优化使用重要性采样的对数似然更紧密的近似。派生的在线学习算法实现了一个三因素的规则与全球每隔室学习信号。神经形态MNIST-DVS数据集上的分类任务的实验结果表明，当增加用于训练和推断的隔间数量时，在对数似然、准确性和校准方面都有显着改善。
2021-02-05 cs.LG cs.NE eess.SP
An Optimal Algorithm for Online Unconstrained Submodular Maximization
Stanford University（斯坦福大学）
我们考虑两个基本领域的接口处的基本问题：子模块优化和在线学习。在在线无约束次模极大化（USM）问题中，存在论域$[n]=\{1,2,...,n\}$和一系列随时间到达的$T$非负（不一定单调）次模函数.我们的目标是设计一个计算效率高的在线算法，它选择一个子集的$[n]$在每个时间步作为一个函数，只有过去，这样所选择的子集的累计值是尽可能接近的最大总值的一个固定的子集在事后。我们的主要结果是一个多项式时间无$1/2$遗憾算法这个问题，这意味着对于每个序列的非负子模函数，该算法的预期总值是至少$1/2$倍，事后最好的子集，直到误差项次线性$T$。当子模函数表示为值预言机时，任何多项式时间在线算法都不能提高$1/2$的因子。以前的工作离线问题意味着，挑选一个子集均匀随机在每个时间步实现零$1/4$ -遗憾。我们的技术的一个副产品是一个明确的子程序为两个专家的问题，有一个异常强大的遗憾保证：其选择的总价值是两倍的总价值的专家轮它没有选择该专家。这个子程序可能是独立的兴趣。
2018-06-08 cs.LG stat.ML
Hybrid Sequence Modeling and Reinforced Verification for Controllable Target-Conditioned Decision Making
School of Artificial Intelligence, Beihang University（北航人工智能学院）；Department of Computing Science and Amii, University of Alberta（阿尔伯塔大学计算机科学系和Amii）；Edmonton Research Center, Huawei Canada（华为加拿大埃德蒙顿研究中心）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新院，北航）；School of Artificial Intelligence and Computer Science, North China University of Technology（北中国技术大学人工智能与计算机科学学院）；Research Institute of Multiple Agents and Embodied Intelligence, Peng Cheng Laboratory（鹏城实验室多智能体与具身智能研究院）
提出Doctor框架，结合掩码轨迹Transformer与强化验证，通过生成候选动作并选择验证值最接近目标回报的动作，提升目标条件策略在低覆盖数据下的可控性。
2026-06-24 cs.LG
Offline Learning of Controllable Diverse Behaviors
Ubisoft La Forge（育碧La Forge）；University of Angers（昂西大学）；H Company（H公司）
针对现有模仿学习方法在复现演示多样性和可控轨迹生成上的不足，提出一种结合时间一致性与行为潜在空间可控性的离线学习方法，以生成可控的多样化行为。
2025-04-25 cs.AI cs.LG cs.RO
UMM: Unsupervised Mean-difference Maximization
University of Freiburg（弗赖堡大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
提出无监督均值差最大化（UMM）方法，利用ERP类均值差异检测脑机接口中的目标字母，无需改变实验范式，在多个数据集上达到高分类准确率，并提供稳定置信度。
2023-06-20 cs.LG stat.AP
Concept-Aware Batch Sampling Improves Language-Image Pretraining
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Trento（特伦托大学）；LAION；Stanford University（斯坦福大学）
本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。
2025-11-25 cs.CV cs.LG
Scalable Identification of Partially Observed Systems with Certainty-Equivalent EM
Stanford University（斯坦福大学）
系统辨识是基于模型的控制、估计器设计和输出预测的关键步骤。本文研究部分可观测非线性系统的离线辨识问题。我们的经验表明，确定性等效近似期望最大化可以是一个可靠的和可扩展的方法，高维确定性系统，这是常见的机器人。我们制定确定性等价的期望最大化块坐标上升，并提供了一个有效的实现。该算法的耦合洛伦兹吸引子的模拟系统上进行测试，证明其识别高维系统，可以是棘手的基于粒子的方法的能力。我们的方法也被用来识别一个特技直升机的动力学。通过用未观察到的流体状态来增强状态，学习到比最先进的方法更好地预测直升机的加速度的模型。这个工作的代码库可以在https://github.com/sisl/CEEM上找到。
2020-06-20 cs.LG cs.RO cs.SY
