Optimization of Epsilon-Greedy Exploration
Columbia Business School(哥伦比亚商学院);Netflix;Netflix & Cornell University(netflix与康奈尔大学)
本文提出基于随机梯度下降直接最小化贝叶斯遗憾并结合模型预测控制的框架,用于自动优化推荐系统中 epsilon-greedy 探索速率,实验表明该方法能匹配或超越各设置下的最佳启发式策略。
2025-06-03 cs.LG
Parallelizing Exploration-Exploitation Tradeoffs with Gaussian Process Bandit Optimization
California Institute of Technology(加州理工学院)
一个人可以并行复杂的勘探开发权衡?作为一个例子,考虑最优高通量实验设计的问题,我们希望顺序设计实验批次,以便同时学习将刺激映射到响应的代理函数并确定函数的最大值。我们将任务形式化为多臂强盗问题,其中未知的支付函数从高斯过程(GP)中采样,而不是单个手臂,在每一轮中,我们并行地拉动一批多个手臂。我们开发的GP-BUCB,一个原则性的算法选择批次,顺序GP优化的GP-UCB算法的基础上。我们证明了一个令人惊讶的结果;与顺序方法相比,并行算法的累积遗憾仅增加一个常数因子,与批量大小B无关。我们的研究结果提供了严格的理论支持,利用并行贝叶斯全局优化。我们证明了我们的方法在两个现实世界的应用程序的有效性。
2012-06-27 cs.LG stat.ML
Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits
Twitter Inc.(推特公司);University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出并研究了机会主义强盗-一个新的变种强盗拉一个次优的手臂在不同的环境条件下,如网络负载或产品价格变化的遗憾。当负载/价格低时,拉动次优臂的成本/遗憾也低(例如,尝试次优网络配置)。因此,直观地说,我们可以在负载/价格较低时进行更多探索,而在负载/价格较高时进行更多开发。受这种直觉的启发,我们提出了一个自适应置信上限(AdaUCB)算法,以适应性地平衡机会主义强盗的探索-利用权衡。我们证明了AdaUCB比传统的UCB算法以更小的系数实现了$O(\log T)$遗憾。此外,如果当负载水平低于某个阈值时探索成本为零,则AdaUCB实现关于$T$的$O(1)$遗憾。最后,基于合成数据和真实数据的实验结果表明,AdaUCB算法在大的负载/价格波动下,性能明显优于UCB和TS(Thompson Sampling)等其他Bandit算法.
2018-11-30 cs.LG stat.ML
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research(微软研究院);Facebook AI Research(Facebook 人工智能研究院);University of Washington(华盛顿大学);Cornell University(康奈尔大学)
用于强化学习的直接策略梯度方法是一种成功的方法,原因有很多:它们是无模型的,它们直接优化感兴趣的性能指标,并且它们允许丰富的参数化策略。它们的主要缺点是,由于是地方性的,它们无法充分探索环境。相比之下,虽然基于模型的方法和Q学习直接通过使用乐观来处理探索,但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度(PC-PG)算法,该算法可证明使用学习策略(策略覆盖)的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP,更一般地说,线性MDP在无限维RKHS。此外,PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证,以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
Offline Oracle-Efficient Learning for Contextual MDPs via Layerwise Exploration-Exploitation Tradeoff
本文提出一种从上下文马尔可夫决策过程到离线密度估计的高效归约算法,通过分层探索-利用权衡实现统计上接近最优的性能,仅需O(HlogT)次预言机调用,且无需结构假设。
2024-05-28 cs.LG stat.ML
Exploration Conscious Reinforcement Learning Revisited
Technion(以色列理工学院)
探索-利用权衡出现在强化学习中,当人们无法判断一个策略是否是最优的时候。然后,需要不断探索新的行动,而不是利用过去的经验。在实践中,通常通过使用固定的探索机制(例如$ε$贪婪探索)或通过添加高斯噪声来解决折衷,同时仍然尝试学习最优策略。在这项工作中,我们采取了不同的方法和研究探索意识的标准,导致最佳的政策方面的探索机制。正如我们所建立的,解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析,并描述了两个一般的方法来解决这样的标准。在这些方法的基础上,我们对现有的表格和深度强化学习算法进行了简单的修改,并在经验上证明了相对于非探索意识的同行,无论是离散还是连续的动作空间,都具有更好的性能。
2019-05-13 cs.LG stat.ML
Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling
Columbia University(哥伦比亚大学)
强化学习研究如何平衡现实世界系统中的探索和利用,优化与世界的交互,同时学习世界如何运作。用于这种学习的一个一般类的算法是多臂强盗设置。随机概率匹配,在20世纪30年代推出的汤普森抽样方法的基础上,最近已被证明表现良好,并享有可证明的最优属性。它允许在贝叶斯设置中生成可解释的建模,其中包含先验知识,并且计算的后验自然捕获知识的全部状态。在这项工作中,我们利用贝叶斯后验中包含的信息,并通过抽样估计其充分统计量。在几个应用领域,例如在健康和医学中,与世界的每次交互都可能是昂贵的和侵入性的,而从模型中提取样本相对便宜。利用这一观点,我们开发了一种由学习过程中的不确定性驱动的双重抽样技术:当确定每个臂的属性时,它有利于开发,否则进行探索。该算法不做任何分布假设,只要贝叶斯后验更新是可计算的,它适用于复杂的回报分布。利用估计的后验充分统计量,双重抽样自主地平衡探索-开发权衡,以做出更明智的决策。我们的经验表明,减少累积遗憾相比,国家的最先进的替代品在代表性的土匪设置。
2018-08-08 cs.LG stat.CO stat.ML
Bi-level Unbalanced Optimal Transport for Partial Domain Adaptation
School of Mathematics, Sun Yat-Sen University(中山大学数学学院);Department of Electrical and Engineering, City University of Hong Kong(香港城市大学电子工程系)
针对部分域适应中离群类识别和簇结构利用不足的问题,提出双层不平衡最优传输BUOT,通过样本级与类级传输协作实现跨域对齐和离群判别。
2025-05-19 cs.AI cs.CV cs.LG
SPINEX: Similarity-based Predictions with Explainable Neighbors Exploration for Anomaly and Outlier Detection
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本文提出新型异常检测算法SPINEX,通过相似度与多子空间高阶交互识别离群点,在39个数据集上对比21种常用算法表现优异且复杂度适中,同时具备可解释性。
2024-07-05 cs.LG
Power Homotopy for Zeroth-Order Non-Convex Optimizations
Department of Engineering, Shenzhen MSU-BIT University(工程系,深圳MSU-BIT大学)
研究零阶非凸优化问题,提出GS-PowerHP方法,通过采用$\sigma$递减的幂平滑同伦机制改进探索与细化权衡,理论和实验表明该方法优于固定$\sigma$基线,在不同优化任务中性能稳健。
2026-07-16 cs.LG math.OC
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology(维特比电气工程与计算机科学学院,技术学院–以色列理工学院);Department of Electrical Engineering-Systems, Tel Aviv University(电气工程-系统系,特拉维夫大学)
将通用有损压缩的序列模式重构为多臂老虎机问题,研究探索与利用的权衡,提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs
University of Colorado Denver(科罗拉多大学丹佛分校)
本文研究了Transformer量化中的结构化激活异常问题,通过实验发现量化导致精度大幅下降,并提出混合精度和按嵌入组量化等缓解方法,强调通道意识精度分配的重要性。
2026-03-04 cs.AI cs.LG
Initial Exploration of Zero-Shot Privacy Utility Tradeoffs in Tabular Data Using GPT-4
Kansas State University(堪萨斯州立大学);Louisiana State University(路易斯安那州立大学)
本研究探索GPT-4以零样本文本提示方式处理表格数据隐私-效用权衡,发现该简单方法性能可媲美复杂对抗优化方法,且在公平性指标上展现出潜在有效性。
2024-04-07 cs.CR cs.LG
Fast PAC Global Optimization via Restarted Langevin: Exploration, Exploitation, and Degenerate Cooling
University of Cambridge(剑桥大学);University of Florida(佛罗里达大学)
本文提出并行重启朗之万和朗之万-梯度混合方案,通过分离探索与利用,将全局优化的模拟时间从指数级降至多项式级,并在实验中验证了方法的有效性。
2026-09-30 cs.LG math.OC
A system for exploring big data: an iterative k-means searchlight for outlier detection on open health data
Fairleigh Dickinson University(费尔利迪金森大学)
提出基于迭代k-means探照灯与子集扫描的系统,通过拆分-应用-合并范式探索开放健康数据,识别出成本超支和自杀诊断增加等异常趋势。
2023-04-05 cs.LG
Generic Outlier Detection in Multi-Armed Bandit
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们研究了多臂强盗环境中的离群臂检测问题,该问题在许多高影响力的领域(如金融,医疗保健和在线广告)中有着广泛的应用。对于这个问题,学习者的目标是确定武器的预期回报显着偏离大多数其他武器。不同于现有的工作,我们的目标是一般的离群臂或离群臂组,其预期奖励可以更大,更小,甚至在正常臂之间。为此,我们首先提供了一个全面的定义,这样的通用离群臂和离群臂组。然后,我们提出了一种新的拉算法命名为黄金来识别这样的通用离群臂。它建立了一个实时的邻域图的基础上的置信上限和捕获的行为模式的离群正常的武器。并从多个方面分析了其性能。在合成和真实世界的数据集上进行的实验中,该算法实现了98%的准确率,同时节省了83%的勘探成本,平均与国家的最先进的技术相比。
2020-07-14 cs.AI cs.LG stat.ML
Navigating the Exploration-Exploitation Tradeoff in Inference-Time Scaling of Diffusion Models
针对扩散模型推理时扩展中SMC方法面临的探索-利用权衡困境,提出漏斗调度和自适应温度两种策略,在不增加噪声函数评估总数的情况下显著提升样本质量,并在多个基准上优于现有基线。
2025-08-17 cs.AI cs.LG math.ST
Adaptive Huber Regression
大数据很容易被离群值污染,或者包含具有重尾分布的变量,这使得许多传统方法无法胜任。为了解决这个问题,我们提出了自适应Huber回归鲁棒估计和推理。关键的观察结果是,稳健化参数应适应于样本量、维度和矩,以在偏倚和稳健性之间进行最佳权衡。我们的理论框架处理重尾分布与有界的$(1+δ)$次矩的任何$δ> 0$。我们建立了一个尖锐的相变,在低维和高维回归参数的鲁棒估计:当$δ\geq 1$,估计承认一个次高斯型偏差界没有次高斯假设的数据,而只有一个较慢的速度是可用的制度$0<δ< 1$。此外,这种过渡是平滑和最佳的。此外,我们扩展的方法,允许重尾预测和观测噪声。仿真研究进一步支持了该理论。在对表现出重尾性的癌细胞系的遗传研究中,所提出的方法显示出更鲁棒性和预测性。
2018-10-10 math.ST stat.ME stat.TH
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法,依据智能体近期表现动态调节探索幅度,以改善强化学习中的探索-利用权衡,并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Generative Exploration and Exploitation
Peking University(北京大学)
稀疏奖励是强化学习(RL)面临的最大挑战之一。在本文中,我们提出了一种新的方法,称为生成的探索和利用(基因),以克服稀疏奖励。GENE自动生成启动状态,以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化,自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识,可以与任何RL算法结合,无论是on-policy还是off-policy,单智能体还是多智能体。经验上,我们证明基因显着优于现有的方法,在三个任务,只有二进制奖励,包括迷宫,迷宫蚂蚁,和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
A method for outlier detection based on cluster analysis and visual expert criteria
Madrid Open University, UDIMA(马德里开放大学);Universidad Politécnica de Madrid(马德里理工大学)
本文提出一种基于聚类分析和视觉专家准则的异常值检测方法,利用四个准则模拟专家视觉识别,在稳定测量和脑电图数据上验证,假阳性率低于2%,可靠性超99%。
2025-10-27 cs.LG
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的神经探索策略的上下文土匪,EE-Net,不同于标准的UCB为基础的和TS为基础的方法。背景多武装匪徒已经研究了几十年,有各种应用。为了解决强盗中的开发-探索权衡,有三种主要技术:ε贪婪,汤普森采样(TS)和上置信界(UCB)。在最近的文献中,线性上下文强盗采用岭回归估计奖励函数,并将其与TS或UCB策略相结合进行探索。然而,这一系列的工作明确地假设奖励是基于手臂向量的线性函数,这在现实世界的数据集中可能不是真的。为了克服这一挑战,人们提出了一系列神经强盗算法,其中使用神经网络来学习底层奖励函数,并采用TS或UCB进行探索。我们提出了一种新的基于神经元的探索策略“EE-Net”,而不是像以前的方法那样计算一个基于大偏差的统计边界进行探索。除了使用一个神经网络(Exploitation网络)来学习奖励函数外,EE-Net还使用另一个神经网络(Exploration网络)来自适应地学习与当前估计的探索奖励相比的潜在收益。然后,一个决策者被构造来组合来自开采和勘探网络的输出。我们证明了EE-Net可以实现$\mathcal{O}(\sqrt{T\log T})$遗憾,并表明EE-Net在现实世界的数据集上优于现有的线性和神经上下文强盗基线。
2022-05-12 cs.LG stat.ML
Fiduciary Bandits
Technion - Israel Institute of Technology(以色列理工学院);University of British Columbia(不列颠哥伦比亚大学)
推荐系统经常面临探索-利用的权衡:系统只能通过向某些用户推荐新选项来了解新选项的可取性。这样的系统因此可以被建模为多臂强盗设置;然而,用户是自私的,不能遵循建议。我们要问的是,探索是否仍然可以以一种严格尊重代理人利益的方式进行-即,由一个充当受托人的系统来管理。更正式地说,我们引入了一个模型,在这个模型中,推荐系统面临着一个探索-利用权衡的约束下,它永远不能推荐任何行动,它知道收益较低的预期回报比代理将实现,如果它单独行动。我们的主要贡献是一个积极的结果:一个渐进最优的,激励相容的,和事前个别合理的推荐算法。
2020-06-28 cs.GT cs.IR cs.LG
Outlier Detection using Self-Organizing Maps for Automated Blood Cell Analysis
Technical University of Munich(慕尼黑工业大学)
数据集的质量在深度学习模型的成功训练和部署中起着至关重要的作用。特别是在医疗领域,系统性能可能会影响患者的健康,干净的数据集是可靠预测的安全要求。因此,在构建自主临床决策系统时,离群值检测是一个必不可少的过程。在这项工作中,我们评估了自组织映射的离群值检测的适用性,特别是在包含白细胞的定量相位图像的医学数据集。我们基于量化误差和距离图来检测和评估离群值。我们的研究结果证实了自组织映射对于手头数据集上无监督分布外检测的适用性。自组织映射的性能与基于专家领域知识的手动指定的过滤器相当。此外,它们显示出作为探索和清理医疗数据集的工具的前景。作为未来研究的方向,我们建议将自组织映射和基于深度学习的特征提取相结合。
2022-08-18 cs.LG eess.IV
Offline-to-Online Learning in Linear Bandits
University of Tokyo(东京大学)
针对随机线性Bandit问题,提出一种平衡离线数据与在线探索的算法,实现次线性遗憾并随离线样本增加降低离线参考遗憾。
2026-06-03 cs.LG stat.ML
Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits
Indiana University(印第安纳大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多臂强盗中的最佳臂识别(或纯探索)是机器学习中的一个基本问题。在本文中,我们研究这个问题的分布式版本,我们有多个代理,他们希望学习最好的手臂协作。我们希望量化有限交互(或通信步骤)下的协作能力,因为在许多情况下交互是昂贵的。我们衡量的运行时间的分布式算法的加速比最好的集中式算法,只有一个代理。我们给几乎紧轮加速权衡这个问题,沿着我们开发了几种新的技术证明时间或置信度约束下的通信步骤的数量的下界。
2019-08-30 cs.IT cs.LG math.IT
Learning to Explore: Policy-Guided Outlier Synthesis for Graph Out-of-Distribution Detection
PGOS通过强化学习策略生成高质量伪OOD图,提升图分布外检测的鲁棒性与性能
2026-02-28 cs.AI cs.LG
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego(加州大学圣地亚哥分校);West Virginia University(西弗吉尼亚大学)
我们提出了一种新的修改标准的置信上限(UCB)方法的随机多臂强盗(MAB)问题,调整的置信界的基础上,它的距离到其他的一个给定的强盗。我们的UCB距离调谐(UCB-DT)制定,使改进的性能,通过防止MAB算法专注于非最佳的土匪,这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的,我们称之为“强盗距离”,该距离度量是可参数化的,因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明,增加性能的UCB-DT与许多现有的国家的最先进的方法,使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具,称为“勘探讨价还价点”,它提供了深入了解勘探和开发之间的权衡。我们认为,勘探讨价还价点提供了一个直观的角度来看,是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
UN-AVOIDS: Unsupervised and Nonparametric Approach for Visualizing Outliers and Invariant Detection Scoring
University of Victoria(维多利亚大学);Helwan University(赫尔万大学)
异常(离群值)的可视化和检测对许多领域至关重要,特别是网络安全。在这些领域已经提出了几种方法,但据我们所知,没有一种方法在一个连贯的框架内同时或合作地实现了这两个目标。这些方法的可视化方法被引入用于解释检测算法的输出,而不是用于促进独立视觉检测的数据探索。这是我们的出发点:UN-AVOIDS,一种用于异常值可视化(人类过程)和检测(算法过程)的无监督和非参数方法,它分配不变的异常分数(归一化为$[0,1]$),而不是硬二进制决策。UN-AVOIDS的主要新颖之处在于它将数据转换到一个新的空间,本文将其引入邻域累积密度函数(NCDF),在该空间中进行可视化和检测。在该空间中,异常值在视觉上是显著可区分的,因此由检测算法分配的异常评分实现了高的ROC曲线下面积(AUC)。我们在模拟和两个最近发布的网络安全数据集上评估了UN-AVOIDS,并将其与三种最成功的异常检测方法进行了比较:LOF,IF和FABOD。在AUC方面,联合国艾滋病规划署几乎是全面赢家。文章最后为联合国艾滋病规划署提供了一个新的理论和实践途径的预览。其中之一是设计一个可视化辅助异常检测(VAAD),这是一种通过提供UN-AVOIDS的检测算法(在后台引擎中运行),NCDF可视化空间(渲染为图)以及原始特征空间中的其他传统可视化方法来帮助分析人员的软件,所有这些都在一个交互式环境中链接。
2022-08-18 cs.LG stat.AP stat.ML
Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS
Duke University(杜克大学)
提出基于NAS的离群点检测器密集连接搜索范式DCSOD,通过分层搜索空间探索CNN密集连接,并引入演化蒸馏提升评估稳定性,在CIFAR基准上实现SOTA性能。
2024-06-04 cs.CV cs.LG
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota(明尼苏达大学)
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略,并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中,探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下,人们可以选择使用在每个时间点更新的原始探索序列,或者仅在观察到新奖励时更新序列,从而导致两种竞争策略。在这项工作中,我们表明,虽然这两种策略可能会导致很强的一致性分配,后者的财产持有更广泛的情况。然而,对于有限样本的性能,我们说明了这两种策略都有自己的优点和缺点,这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
Infomax strategies for an optimal balance between exploration and exploitation
University of California San Diego(加州大学圣地亚哥分校);The Abdus Salam International Centre for Theoretical Physics (ICTP)(阿卜杜勒·萨拉姆国际理论物理中心(ICTP))
在开发和探索之间保持适当的平衡是做出好的决策的原因,这些决策可以获得高回报,如回报或进化适应性。Infomax原则假定信息的最大化指导了从生命系统到人工神经网络的各种系统的功能。虽然具体的应用是成功的,但信息作为奖励代理的有效性仍然不清楚。在这里,我们考虑多臂强盗决策问题,其特征在于武器(老虎机)的未知成功概率和玩家试图通过选择武器的顺序来最大化累积收益。我们发现,一个信息最大战略(信息-P),最佳收集信息的最高平均奖励之间的武器饱和已知的最佳界限,并比较有利的现有政策。Info-p所考虑的最高平均奖励并不是选择要玩的手臂实际所需的数量,但它允许在探索和开发之间进行最佳权衡。
2016-01-12 cs.IT cs.LG math.IT
Learning from an Exploring Demonstrator: Optimal Reward Estimation for Bandits
University of California, Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院)
我们介绍了“逆土匪”的问题,估计奖励的多臂土匪的情况下,从观察学习过程中的低遗憾演示。现有的方法,逆强化学习的相关问题假设的最优策略的执行,从而遭受可识别性问题。相比之下,我们建议利用演示的行为途中的最优性,特别是探索阶段,奖励估计。我们首先建立一个一般的信息理论下限下,这种范式适用于任何演示算法,其特点是奖励估计和演示的探索量之间的基本权衡。然后,我们开发了简单而有效的奖励估计的上置信度为基础的演示算法,达到最佳的权衡,特别是一致的奖励估计-免费的可识别性问题-在我们的范例是可能的。大量的模拟合成和半合成数据证实了我们的理论结果。
2022-02-22 cs.AI cs.IT cs.LG
An Intrinsically-Motivated Approach for Learning Highly Exploring and Fast Mixing Policies
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学)
对于一个在没有外部奖励的情况下与环境交互的智能体来说,什么是好的探索策略?理想情况下,我们希望在最少的步骤(快速混合)中获得一个朝向统一状态-动作访问(高度探索)的策略,以便以后轻松有效地学习任何目标条件策略。不幸的是,直接学习这种性质的最优策略非常困难。在本文中,我们提出了一种新的代理目标学习高度探索和快速混合的政策,其重点是最大限度地提高下限的稳态分布的熵诱导的政策。特别是,我们引入了三个新的下限,导致尽可能多的优化问题,权衡理论保证与计算复杂性。然后,我们提出了一个基于模型的强化学习算法,IDE $^{3}$ AL,学习一个最优的政策,根据介绍的目标。最后,我们提供了一组硬探索任务的经验评估该算法。
2019-12-19 cs.LG stat.ML
The Horizon Threshold in Cooperative Multi-Agent Reward-Free Exploration
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究)
本文研究了在无奖励探索设定下合作多智能体强化学习,提出了一种分阶段学习框架,通过有限时间步数的MDP,确定学习阶段数与智能体数量的权衡,证明当学习阶段数等于地平线H时,算法效率与精度的最优平衡。
2026-05-13 cs.LG
Continuous-Time Mean-Variance Portfolio Selection: A Reinforcement Learning Framework
Columbia University(哥伦比亚大学)
本文利用强化学习方法研究了连续时间均值-方差投资组合问题。该问题是为了实现勘探和开采之间的最佳权衡,并制定为熵正则化,放松随机控制问题。我们证明了这个问题的最优反馈策略必须是高斯的,具有时间衰减方差。然后,我们建立熵正则MV和经典MV之间的连接,包括可解性等价性和收敛性的探索加权参数衰减到零。最后,我们证明了一个策略改进定理,在此基础上,我们设计了一个可实现的RL算法。我们发现,我们的算法优于基于自适应控制的方法和基于深度神经网络的算法在我们的模拟大幅度。
2019-05-05 cs.CE cs.LG math.OC
PIKS: A Technique to Identify Actionable Trends for Policy-Makers Through Open Healthcare Data
Fairleigh Dickinson Univ.(菲尔莱狄更斯大学);Clarkson University(克拉克森大学)
本文提出了一种名为PIKS的高效异常值检测技术,结合迭代k均值和剪枝搜索灯扫描,应用于公开医疗数据集,以较少参数实现与自编码器等一致的结果,助力政策制定者快速探索数据。
2023-04-05 cs.CY cs.LG