Risk averse non-stationary multi-armed bandits
Concordia University(康考迪亚大学)
研究了损失非平稳时的风险规避多臂强盗问题。条件风险价值(CVaR)被用作目标函数。两种估计方法提出了这个目标函数的存在下,非平稳损失,一个依赖于加权经验分布的损失和另一个上的双重表示的CVaR。这样的估计可以嵌入到经典的手臂选择方法,如ε贪婪政策。仿真实验评估的两种新的估计方法的基础上的手臂选择算法的性能,这样的政策被证明优于天真的基准不考虑非平稳性。
2021-09-28 cs.LG
Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(Invenia实验室);Microsoft Research(微软研究院)
平稳随机过程(SP)是许多概率模型的关键组成部分,如那些离网时空数据。它们使潜在物理现象的统计对称性得到利用,从而有助于推广。这种模型中的预测可以被看作是从观测数据集到预测SP的翻译等变映射,强调平稳性和等变性之间的密切关系。在此基础上,我们提出了卷积神经过程(ConvNP),它赋予神经过程(NP)平移等方差,并扩展卷积条件NP以允许预测分布中的依赖性。后者使ConvNP能够部署在需要相干样本的设置中,例如Thompson采样或条件图像完成。此外,我们提出了一个新的最大似然目标,以取代标准的ELBO目标在NP,这在概念上简化了框架和经验上提高了性能。我们展示了ConvNP在一维回归,图像完成和真实时空数据的各种任务上的强大性能和泛化能力。
2020-11-20 cs.LG stat.ML
Non-Stationary Delayed Bandits with Intermediate Observations
DeepMind
在线推荐系统在接收反馈时通常会面临长时间的延迟,特别是在优化一些长期指标时。虽然在静态环境中减轻学习延迟的影响是众所周知的,但当环境发生变化时,这个问题变得更具挑战性。事实上,如果变化的时间尺度与延迟相当,就不可能了解环境,因为现有的观测已经过时。然而,如果中间信号没有延迟地可用,则可以解决所出现的问题,使得给定这些信号,系统的长期行为是稳定的。为了模拟这种情况,我们引入了随机的,非平稳的,延迟土匪与中间观测的问题。我们开发了一个计算效率高的算法UCRL的基础上,并证明次线性后悔保证其性能。实验结果表明,我们的方法是能够学习在非平稳的延迟环境中,现有的方法失败。
2020-08-11 cs.LG stat.ML
Non-stationary Diffusion For Probabilistic Time Series Forecasting
Central South University(中南大学)
本文提出非平稳扩散模型,通过改进噪声模型以适应时间变化的不确定性,提升时间序列预测性能。
2026-04-12 cs.AI cs.LG
Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow Models
Weizmann Institute of Science(魏茨曼科学研究所);Meta;FAIR, Meta(元公司FAIR)
提出BNS求解器蒸馏方法,以极少参数和更快优化提升扩散与流模型采样效率,并在多类生成任务中显著改善PSNR与FID。
2024-03-02 cs.AI cs.CV cs.LG
Sample Complexity Bounds for Two Timescale Value-based Reinforcement Learning Algorithms
The Ohio State University(俄亥俄州立大学)
双时标随机逼近在基于值的强化学习算法中得到了广泛的应用。在策略评估环境中,它可以将线性和非线性的梯度修正时间差分学习(TDC)算法分别建模为线性SA和非线性SA。在策略优化设置中,两个时间尺度的非线性SA也可以模拟贪婪梯度Q(Greedy-GQ)算法。在以往的研究中,线性TDC和贪婪GQ的非渐近分析已经研究了马尔可夫设置,减少或精度依赖的步长。对于非线性TDC算法,仅证明了其渐近收敛性。本文研究了两时标线性和非线性TDC和Greedy-GQ在马尔可夫抽样和精度无关的常数步长下的非渐近收敛速度。对于线性TDC,我们提供了一种新的非渐近分析,并表明它达到了一个$ε$ -精确的解决方案,最佳的样本复杂度为$\mathcal{O}(ε^{-1}\log(1/ε))$下一个恒定的步长。对于非线性TDC和Greedy-GQ,我们证明了这两种算法都能以$\mathcal{O}(ε^{-2})$的样本复杂度获得$ε$ -精确平稳解。这是第一个非渐近收敛的结果,建立了非线性TDC下马尔可夫抽样和贪婪GQ的结果优于以前的结果有序的一个因素的$\mathcal{O}(ε^{-1}\log(1/ε))$。
2020-11-10 cs.LG stat.ML
A Single-Timescale Method for Stochastic Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
随机双层优化将经典的随机最优化从单个目标的最小化推广到依赖于另一个最优化问题的解的目标函数的最小化。最近,随机双层优化在新兴的机器学习应用中重新流行,例如超参数最优化和模型无关Meta学习。为了解决这类随机最优化问题,现有的方法需要双循环或两个时间尺度的更新,有时效率较低。本文对一类随机双层优化问题提出了一种新的最优化方法--单时间尺度随机双层优化方法(STABLE)。STABLE以单循环方式运行,并使用具有固定批大小的单时间刻度更新。为了实现$ε$ -二层问题的稳定点,STABLE需要${\cal O}(ε^{-2})$样本总数;并且为了在强凸情况下实现$ε$ -最优解,STABLE需要${\cal O}(ε^{-1})$样本。据我们所知,这是第一个双层优化算法实现相同的顺序的样本复杂性的随机梯度下降方法的单级随机最优化。
2022-03-31 cs.LG math.OC stat.ML
eCDANs: Efficient Temporal Causal Discovery from Autocorrelated and Non-stationary Data (Student Abstract)
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
传统的时间因果发现(CD)方法具有高维性,无法识别滞后的因果关系,并且经常忽略关系中的动态性。在这项研究中,我们提出了一种新的基于约束的CD方法,自相关和非平稳时间序列数据(eCDAN)能够检测滞后和同期的因果关系随着时间的变化。eCDAN通过优化条件集同时进行条件独立性(CI)测试来解决高维问题,并通过引入替代变量来表示时间依赖性来识别因果关系的变化。对合成数据和真实数据的实验表明,eCDAN可以识别时间影响并优于基线。
2023-03-06 cs.AI cs.LG stat.ME
A Two-Timescale Framework for Bilevel Optimization: Complexity Analysis and Application to Actor-Critic
University of Minnesota(明尼苏达大学);The Chinese University of Hong Kong(香港中文大学);Northwestern University(西北大学);Princeton University(普林斯顿大学)
本文分析了一种求解双层优化问题的两时标随机算法框架。双层优化是一类具有两层结构的优化问题,其目标是最小化一个外部目标函数,该外部目标函数的变量被约束为一个(内部)最优化问题的最优解。我们考虑的情况下,当内部问题是无约束和强凸的,而外部问题是有约束的,并有一个光滑的目标函数。我们提出了一个双时标随机逼近(TTSA)算法来解决这样的双层问题。在该算法中,具有较大的步长的随机梯度更新用于内部问题,而具有较小的步长的投影随机梯度更新用于外部问题。我们分析了TTSA算法在各种情况下的收敛速度:当外部问题是强凸的(分别为~弱凸),TTSA算法找到一个$\mathcal{O}(K^{-2/3})$ -最优(分别为~ $\mathcal{O}(K^{-2/5})$ -稳态)解,其中$K$是总迭代次数。作为一个应用程序,我们表明,一个两个时标的自然演员-评论家近端策略优化算法可以被视为我们的TTSA框架的一个特例。重要的是,自然的演员-评论家算法收敛速度$\mathcal{O}(K^{-1/4})$在预期的折扣奖励的差距相比,一个全球最优的政策。
2022-06-08 cs.LG math.OC
Using Eigencentrality to Estimate Joint, Conditional and Marginal Probabilities from Mixed-Variable Data: Method and Applications
La Trobe University(拉筹伯大学)
估计某些变量集合上的联合、条件和边际概率分布的能力对于许多常见的机器学习任务具有很大的实用性。然而,估计这些分布可能具有挑战性,特别是在数据包含离散和连续变量的混合的情况下。本文提出了一种直接从数据集估计这些分布的非参数方法。数据首先表示为由对象节点和属性值节点组成的图。根据要估计的分布,然后构造适当的特征向量方程。然后求解该方程以找到图的相应平稳分布,然后可以从中估计和采样所需的分布。本文演示了如何将该方法应用于许多常见的机器学习任务,包括分类,回归,缺失值填补,离群值检测,随机向量生成和聚类。
2018-09-19 cs.LG stat.ML
Score-Based Modeling of Effective Langevin Dynamics with State-Dependent Mobility
Department of Mathematics, Massachusetts Institute of Technology(数学系,麻省理工学院)
提出一种基于有限时间转移密度条件分数的随机降阶模型校准方法,通过最小二乘拟合从数据中推断漂移和扩散系数,避免轨迹微分或状态空间划分。
2026-11-04 cs.LG nlin.CD stat.ML
Distributionally Robust Local Non-parametric Conditional Estimation
Stanford University(斯坦福大学);HEC Montréal(蒙特利尔高等商学院)
给定特定协变量值的条件估计(即,局部条件估计或函数估计)对于工程、社会和自然科学中的应用是普遍有用的。现有的数据驱动的非参数估计主要集中在结构化的同质数据(例如,弱独立和稳定的数据),因此它们对对抗性噪声敏感,并且在低样本量下可能表现不佳。为了缓解这些问题,我们提出了一种新的分布鲁棒估计,通过最小化Wasserstein模糊集中所有对抗分布的最坏情况条件预期损失来生成非参数局部估计。我们表明,尽管一般是棘手的,本地估计可以有效地找到通过凸优化广泛适用的设置下,它是强大的腐败和异质性的数据。合成和MNIST数据集的实验表明,这类新的估计的竞争力。
2020-10-12 cs.LG math.ST stat.ML
Discrete distributions are learnable from metastable samples
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
研究从物理随机动力学的亚稳态样本恢复多变量离散分布的真实平稳模型,核心是利用强亚稳条件下单变量条件概率与真实分布接近,用条件似然估计器有效学习,还扩展到伊辛模型并数值验证。
2026-07-07 cond-mat.stat-mech cs.LG stat.ML
Stock Volume Forecasting with Advanced Information by Conditional Variational Auto-Encoder
Faculty of Mathematics, University of Cambridge(剑桥大学数学学院);School of Mathematical Sciences, Queen Mary University of London(伦敦大学玛丽皇后学院数学科学学院)
本文提出使用条件变分编码器(CVAE)结合再平衡日期等先验信息进行股票成交量预测,生成非线性样本外预测,在准确性和相关性拟合上优于传统线性模型,并可用于场景生成。
2024-06-19 cs.LG q-fin.PR q-fin.ST