FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出傅里叶MoE,通过频域分析提升大语言模型在多任务适应中的性能,采用频域适应方法减少参数开销,实验证明其在单任务和多任务场景中均优于基线方法。
2026-04-02 cs.AI cs.CL cs.DC
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习,提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法,得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Is $\sqrt{d}$ Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Amazon, Inc.(亚马逊公司)
本文证明在高维设置下,梯度EM学习高斯混合模型所需的真实分量间最小分离度必须达到$\Omega(\sqrt{d})$量级,且任何更小的分离度(如$\Omega(d^{0.5-\epsilon})$)在最坏情况下均不足以保证随机初始化下的全局收敛,从而建立了几乎最优的下界。
2026-10-07 cs.LG stat.ML
A spectral mixture representation of isotropic kernels with application to random Fourier features
Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);EDF Lab Paris-Saclay(法国电力集团巴黎-萨克雷实验室)
本文提出各向同性核的谱混合表示方法,为多种核函数提供简单的谱采样公式,适用于支持向量机等机器学习技术。
2026-02-22 cs.LG math.PR stat.CO
On Learning Mixtures of Well-Separated Gaussians
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Northwestern University(西北大学)
我们考虑的问题,有效地学习大量的球形高斯混合物,当混合物的成分是很好的分离。在这个问题的最基本形式中,我们从$k$标准球面高斯的均匀混合中获得样本,目标是使用$poly(k,d, 1/δ)$样本估计达到$δ$精度的均值。在这项工作中,我们研究了以下问题:什么是最小的分离需要解决这个任务的手段之间?Vempala和Wang [JCSS 2004]提出的最著名算法要求分离大约$\min\{k,d\}^{1/4}$。另一方面,Moitra和Valiant [FOCS 2010]表明,在分离$o(1)$的情况下,需要大量样品。我们通过显示以下结果来解决这两个界限之间的重大差距。1.我们表明,分离$o(\sqrt{\log k})$,超多项式许多样本是必需的。事实上,即使在$d=O(\log k)$维中随机选取高斯的$k$均值时,这也成立。2.我们表明,与分离$Ω(\sqrt{\log k})$,$poly(k,d,1/δ)$样品足够。注意,分离的界限与$δ$无关。这个结果是基于一个新的和有效的“准确性提升”算法,该算法作为输入的真实手段的粗略估计,并在时间$poly(k,d, 1/δ)$输出估计的手段,以任意精度$δ$假设之间的分离手段是$Ω(\min\{\sqrt{\log k},\sqrt{d}\})$(独立于$δ$)。我们还提出了一个计算效率高的算法,在$d=O(1)$尺寸只有$Ω(…
2017-10-31 cs.DS cs.LG math.ST
Learning Gaussian Mixtures with Arbitrary Separation
Ohio State University(俄亥俄州立大学)
在本文中,我们提出了一种学习的混合物的参数的$k$相同的球形高斯在$n$维空间与任意小的组件之间的分离。我们的算法是多项式的所有参数以外的$k$。该算法是基于一个适当的网格搜索的参数空间。该算法的理论分析取决于一个减少的问题,1维和显示,两个1维的混合物,其密度接近的$L^2$规范必须有类似的手段和混合系数。为了产生这样一个下界的$L^2$范数的相应的平均值之间的距离,我们分析的行为的混合高斯在1维周围的原点,这原来是密切相关的Vandermonde矩阵的属性从组件的平均值。这个矩阵的分析与基本函数的近似结果,使我们能够提供一个下界的混合物在傅立叶域的范数。近年来,许多研究的目的是了解高维高斯混合分布的学习参数的计算方面。据我们所知,所有现有的工作学习参数的高斯混合假设最小的分离成分的混合物,这是一个增加的功能,无论是空间的尺寸$n$或组件的数量$k$。在本文中,我们证明了第一个结果表明,参数的$n$维高斯混合模型与任意小的组件分离,可以在$n$的时间多项式学习。
2010-05-13 cs.DS cs.LG
The EM Algorithm gives Sample-Optimality for Learning Mixtures of Well-Separated Gaussians
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究了具有$k \geq 3$分量的球面高斯混合模型在分量分离良好时的问题。之前的一个基本结果表明,分离$Ω(\sqrt{\log k})$对于多项式样本复杂性参数的可识别性是必要且充分的(Regev和Vijayaraghavan,2017)。在相同的背景下,我们证明了$\tilde{O} (kd/ε^2)$样本足以满足任何$ε\lesssim 1/k$,关闭从多项式到线性的差距,从而给出了第一个最佳的样本上限分离高斯混合的参数估计。我们通过证明期望最大化(EM)算法的一个新结果来实现这一点:我们证明了EM在分离$Ω(\sqrt{\log k})$下局部收敛。先前最著名的保证需要$Ω(\sqrt{k})$分离(Yan等人,2017年)的报告。与以前的工作不同,我们的结果不假设或使用先验知识的(可能不同的)混合权重或高斯分量的方差。此外,我们的研究结果表明,EM的有限样本误差不依赖于非通用的量,如高斯分量的平均值之间的成对距离。
2020-06-19 cs.LG math.ST stat.ML
Learning Stochastic Shortest Path with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了强化学习中的随机最短路径问题,其中转移核表示为未知模型的线性混合。我们称这类SSP问题为线性混合SSP。本文提出了一种新的基于Hoeffding型置信集的线性混合SSP学习算法,该算法可以获得$\tilde{\mathcal{O}}(d B_{\star}^{1.5}\sqrt{K/c_{\min}})$的遗憾值.这里,$K$是发作次数,$d$是混合模型中特征映射的维度,$B_{\star}$限定了最优策略的预期累积成本,而$c_{\min}>0$是成本函数的下界。我们的算法也适用于$c_{\min} = 0$和$\tilde{\mathcal{O}}(K^{2/3})$后悔保证的情况。据我们所知,这是第一个学习线性混合SSP的次线性后悔保证算法。此外,我们设计了一个改进的Bernstein型置信集,并提出了一种改进的算法,该算法可证明地实现了$\tilde{\mathcal{O}}(d B_{\star}\sqrt{K/c_{\min}})$遗憾。作为对遗憾上界的补充,我们还证明了$Ω(dB_{\star} \sqrt{K})$的一个下界.因此,我们的改进算法匹配的下限到一个$1/\sqrt{c_{\min}}$因子和多对数因子,实现了近最优的遗憾保证。
2022-07-05 cs.LG math.OC stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes
University of California, Los Angeles(加州大学洛杉矶分校);Deepmind(深度思维);University of Alberta(阿尔伯塔大学)
我们研究了具有线性函数近似的强化学习(RL),其中马尔可夫决策过程(MDP)的潜在转移概率核是线性混合模型(Jia et al.,2020; Ayoub等人,2020; Zhou等人,2020),并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式,我们提出了一个新的,计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现,$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾,其中$d$是特征映射的维度,$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置,这表明,$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外,我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣,并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾,其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人(2020)证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配,达到对数因子,表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…
2021-01-07 cs.LG math.OC stat.ML
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法,用于高效估计一维高斯混合模型的模型阶数和混合分布,且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
Fourier PCA and Robust Tensor Decomposition
Microsoft Research India(微软研究院印度);Georgia Tech(佐治亚理工学院);CMU(卡内基梅隆大学)
傅立叶主成分分析是一个矩阵的主成分分析,该矩阵是从分布的傅立叶变换的对数的高阶导数获得的。我们通过对在秩- $1$分解中共享相同向量的一对张量开发一种张量分解方法,使这种方法算法化。我们的主要应用是欠定ICA的第一个可证明多项式时间算法,即,从观测值$y=Ax$学习$n \times m$矩阵$A$,其中$x$从具有任意非高斯分量的未知乘积分布中得出。分量分布的数目$m$可以任意大于维数$n$,并且$A$的列只需要满足自然且有效可验证的非简并性条件。作为第二个应用程序,我们给出了一个替代算法学习混合球高斯线性独立的手段。这些结果也适用于高斯噪声的存在。
2014-06-27 cs.DS cs.LG stat.ML
Fourier Transform Approach to Machine Learning II: Fourier Clustering
我们提出了一个基于傅立叶的方法优化的几个聚类算法。在数学上,集群数据可以通过由狄拉克混合分布表示的密度函数来描述。密度函数可以通过应用傅立叶变换和高斯滤波器来平滑。高斯滤波器的最佳标准偏差的确定将通过使用与平滑和原始密度函数之间的相关性有关的收敛准则来完成。原则上,最优平滑密度函数具有局部最大值,其对应于聚类中心。因此,通过检测平滑密度函数的峰值,简化了寻找聚类质心的复杂任务。一个多滑动窗口程序被用来检测峰值。该算法的显着的准确性表明,它的能力作为一个可靠的通用方法,提高聚类性能,其全局优化,也消除了许多聚类方法中的初始化问题。
2019-09-22 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
最近的研究表明,情景强化学习(RL)并不比上下文强盗更困难,即使有很长的规划视野和未知的状态转换。然而,这些结果仅限于表格马尔可夫决策过程(MDP)或线性混合MDP的计算效率低下的算法。在本文中,我们提出了第一个计算效率的地平线自由算法的线性混合MDP,实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态,其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时,我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾,其中$d$是上下文的维度,$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时,这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Private estimation algorithms for stochastic block models and mixture models
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院);Università Bocconi(博科尼大学);UC San Diego(加州大学圣迭戈分校)
本文提出高维私有估计通用工具,实现随机块模型恢复和球面高斯混合中心恢复,统计保证接近非私有算法,且为首个高效差分私有算法。
2023-11-16 cs.CR cs.DS cs.LG
A 1/R Law for Kurtosis Contrast in Balanced Mixtures
Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)(翻译神经影像与数据科学转化研究中心);Georgia State University(佐治亚州立大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);Department of Computer Science(计算机科学系);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出平衡混合中kurtosis对比的1/R定律,并展示通过纯化方法恢复对比的机制,验证了理论预测和实验结果。
2026-02-25 cs.AI cs.LG stat.ML
Moment-Accurate Gaussian Mixtures for Constant-Step Stochastic Approximation
University of Chicago(芝加哥大学)
本文通过匹配平稳能量与局部OU极限建立常步长随机逼近的矩精确高斯混合,给出Wasserstein误差界,并验证了可观测协方差与SGD预测。
2026-10-06 cs.LG stat.ML
Streaming Kernel PCA with $\tilde{O}(\sqrt{n})$ Random Features
Johns Hopkins University(约翰斯·霍普金斯大学)
我们研究的统计和计算方面的核主成分分析使用随机傅立叶特征,并表明,在温和的假设下,$O(\sqrt{n} \log n)$功能足以实现$O(1/ε^2)$样本的复杂性。此外,我们给出了一个内存有效的流算法的基础上,经典的Oja的算法,达到这个速度。
2018-11-15 cs.AI cs.LG stat.ML
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University(加川大学);Seoul National University(首尔国立大学);University of Arizona(亚利桑那大学)
在在线学习问题中,利用低方差在获得严格的性能保证方面发挥着重要作用,但由于方差通常事先未知,因此具有挑战性。最近,Zhang等人(2021)取得了相当大的进展,他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界,以及线性混合马尔可夫决策过程(MDP)的无水平遗憾界。在本文中,我们提出了新的分析,提高他们的遗憾边界显着。对于线性强盗,我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$,其中$d$是特征的维度,$K$是时间范围,$σ_k^2$是时间步长$k$处的噪声方差,并且$\tilde O$忽略了多对数依赖性,这是$d^3$改进的一个因素。对于线性混合MDP,假设在$[0,1]$中的事件中的最大累积奖励,我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界,其中$d$是基础模型的数量,$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析,利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
MoFE: A Novel Mixture-of-Experts Framework with Fourier Neural Operators for Cryptocurrency Forecasting
School of Art and Science University of Rochester(罗切斯特大学艺术与科学学院);AGI Lab Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院AGI实验室)
该研究针对加密货币预测难题,提出结合FNO的MoFE框架,经比特币数据集实验,在T+1、T+5预测中达SOTA,缓解相位滞后,获更优DA、IC及高夏普比率的超额收益。
2026-08-19 cs.AI cs.LG
Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path
University of California, Los Angeles(加州大学洛杉矶分校)
针对线性混合随机最短路径问题,提出基于扩展值迭代与高阶矩递归估计方差感知置信集的新算法,消除成本下界等限制性假设,实现了近似极小极大最优的遗憾界。
2024-02-14 cs.LG stat.ML
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes
Tsinghua University(清华大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
强化学习(RL)算法可以用于提供个性化服务,这些服务依赖于用户的隐私和敏感数据。为了保护用户的隐私,需要保护隐私的强化学习算法。本文研究了具有线性函数逼近和局部差分隐私(LDP)保证的强化学习.提出了一种新的$(\varepsilon, δ)$算法来学习一类称为线性混合MDP的马尔可夫决策过程,并得到了一个$\tilde{\mathcal{O}}( d^{5/4}H^{7/4}T^{3/4}\left(\log(1/δ)\right)^{1/4}\sqrt{1/\varepsilon})$遗憾,其中$d$是特征映射的维数,$H$是规划视野的长度,$T$是与环境的交互次数.我们还证明了一个下界$Ω(dH\sqrt{T}/\left(e^{\varepsilon}(e^{\varepsilon}-1)\right))$学习线性混合MDP下$\varepsilon$ -LDP约束。在人工数据集上的实验验证了算法的有效性。据我们所知,这是第一个具有线性函数近似的可证明的隐私保护RL算法。
2021-10-19 cs.CR cs.LG math.OC
Learning Mixtures of Smooth Product Distributions: Identifiability and Algorithm
University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
研究了非参数乘积分布混合模型的学习问题。学习混合模型的问题是使用从混合物生成的观察样本来找到成分分布以及混合权重。这个问题在参数设置中得到了很好的研究,即,当分量分布是参数族的成员时--例如高斯分布。在这项工作中,我们专注于非参数产品分布的多元混合物,并提出了一个两阶段的方法,恢复平滑条件下的混合物的成分分布。我们的方法建立在张量的典型多元(低秩)分解的可识别性属性的基础上,与来自信号处理的傅立叶和香农-奈奎斯特采样吻合。我们证明了该方法在合成和真实数据集上的有效性。
2019-04-02 cs.LG eess.SP stat.ML
Near-optimal Policy Optimization Algorithms for Learning Adversarial Linear Mixture MDPs
UCLA(加州大学洛杉矶分校)
在存在敌手的情况下学习马尔可夫决策过程(MDP)是强化学习(RL)中的一个具有挑战性的问题。本文研究了具有对抗性奖励和完全信息反馈的情节MDP中的强化学习,其中未知转移概率函数是给定特征映射的线性函数,奖励函数可以随情节任意变化.我们提出了一个乐观策略优化算法POWERS,并表明它可以实现$\tilde{O}(dH\sqrt{T})$遗憾,其中$H$是情节的长度,$T$是与MDP的交互次数,和$d$是特征映射的维度。此外,我们还证明了一个匹配的下限$\tildeΩ(dH\sqrt{T})$的对数因子。我们的主要技术贡献是两方面的:(1)一个新的价值函数估计的基础上的重要性加权;(2)一个更严格的置信度设置的过渡内核。它们共同导致了近似极小极大的最优后悔。
2022-04-20 cs.LG math.OC stat.ML
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Learning Mixtures of Gaussians Using the DDPM Objective
UT Austin(德克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校)
本文首次证明了在特定分离条件下,梯度下降优化DDPM目标能高效恢复高斯混合模型的真实参数,并揭示了基于得分的方法与EM算法、谱方法之间的新联系。
2023-07-03 cs.DS cs.LG stat.ML
Gaussian mixture model decomposition of multivariate signals
KTH Royal Institute of Technology(KTH皇家理工学院);Schlumberger Cambridge Research(斯伦贝谢剑桥研究中心)
我们提出了一个贪婪的变分方法分解的非负的多元信号的加权和的高斯,借用统计学的术语,我们称为高斯混合模型。值得注意的是,我们的方法具有以下特点:(1)它接受多元信号,即采样的多元函数,直方图,时间序列,图像等作为输入。(2)该方法可以处理一般(即椭球)高斯。(3)不需要预先假设混合物组分的数量。据我们所知,没有以前的方法高斯混合模型分解同时享有所有这些功能。我们还证明了一个上界,这不能提高一个全球性的常数,从高斯混合模型的任何模式到相应的手段的集合的距离。对于具有共同方差$σ^2$的球面高斯的混合,界限采用简单形式$\sqrt{n}σ$。我们评估我们的方法上的一维和二维信号。最后,我们讨论了聚类和信号分解之间的关系,并将我们的方法与基线期望最大化算法进行了比较。
2020-05-20 cs.LG stat.ML
Multi-Subspace Multi-Modal Modeling for Diffusion Models: Estimation, Convergence and Mixture of Experts
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
本文提出基于多子空间多模态建模的扩散模型,通过引入低秩混合高斯混合结构,有效捕捉多模态信息并提升生成性能。
2026-01-04 cs.LG
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了有限时间内两人零和马尔可夫博弈的强化学习,其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是,我们假设我们可以控制双方的球员,并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡(CCE),这是计算效率。具体来说,我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾,其中$d$是线性函数的尺寸,$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性,我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子,这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
A Fourier analytique approach to Gaussian mixture learning
School of Technology and Computer Science(技术与计算机科学学院);Tata Institute of Fundamental Research(印度基础研究科学研究所)
本文提出了一种基于傅里叶分析的高斯混合学习算法,能够在任意维度和组件数量下,以多项式复杂度学习高斯分布的中心和权重。
2026-07-13 cs.DS cs.LG math.OC
The EM Algorithm is Adaptively-Optimal for Unbalanced Symmetric Gaussian Mixtures
Technion - Israel Institute of Technology(以色列理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文研究了对称双分量高斯混合序列$δ_{*}\cdot N(θ_{*},I)+(1-δ_{*})\cdot N(-θ_{*},I)$的均值$\pmθ_{*}\in\mathbb{R}^{d}$的估计问题,其中权值$δ_{*}$和权值$1-δ_{*}$是不相等的.假设$δ_{*}$是已知的,我们表明,人口版本的EM算法全局收敛,如果初始估计具有非负的内积与较大的权重分量的平均值。这可以通过简单的初始化$θ_{0}=0$来实现。对于基于$n$样本的经验迭代,我们表明,当在$θ_{0}=0$初始化时,EM算法自适应地在不超过$O\Big(\frac{1}{\|θ_{*}\|(1-2δ_{*})}\Big)$迭代(具有高概率)中实现极小极大错误率$\tilde{O}\Big(\min\Big\{\frac{1}{(1-2δ_{*})}\sqrt{\frac{d}{n}},\frac{1}{\|θ_{*}\|}\sqrt{\frac{d}{n}},\left(\frac{d}{n}\right)^{1/4}\Big\}\Big)$。我们还考虑EM迭代估计的权重$δ_{*}$,假设一个固定的平均$θ$(这可能是不匹配的$θ_{*}$)。对于$n$样本的经验迭代,我们证明了极小极大错误率$\tilde{O}\Big(\frac{1}{\|θ_{*}\|}\sqrt{\frac{d}{n}}\Bi…
2021-03-29 cs.IT cs.LG math.IT
Mixture of neural operator experts for learning boundary conditions and model selection
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种结合体积惩罚与专家混合的神经算子边界条件施加方法,在圆盘和槽道流等非周期域上实现算子学习、模型选择与贝叶斯外推预测。
2025-02-06 cs.LG cs.NA math.NA
Model Selection and Parameter Estimation for Multidimensional Gaussian Mixture Models with a Common Covariance Matrix
Department of Mathematics, Hong Kong University of Science and Technology (HKUST)(香港科技大学数学系)
本文研究了多维高斯混合模型的学习问题,重点在于模型阶选择和高效混合分布估计。通过建立信息论下界,提出基于阈值的估计算法,结合梯度下降方法和PCA降维,验证了方法的最优性与高效性。
2026-09-01 cs.LG stat.ML
Continuous LWE is as Hard as LWE & Applications to Learning Gaussian Mixtures
MIT(麻省理工学院)
我们展示了经典错误学习(LWE)问题与其连续模拟CLWE(Bruna,Regev,Song和Tang,STOC 2021)之间的直接和概念上简单的简化。这使我们能够将基于LWE的密码学的强大机制应用于CLWE的应用。例如,我们得到的硬度CLWE下的经典最坏情况下的硬度间隙最短向量问题。以前,这是已知的量子最坏情况下的硬度晶格问题。更广泛地说,随着我们在两个问题之间的减少,LWE的任何未来发展也将适用于CLWE及其下游应用。作为一个具体的应用,我们显示了改进的硬度结果的混合高斯密度估计。在这个计算问题中,给定样本访问高斯混合,目标是输出一个估计混合密度函数的函数。在经典LWE问题的指数硬度下(合理且被广泛认为),我们证明了在$\mathsf{poly}(n)$样本下具有大致$\log n$高斯分量的$\mathbb{R}^n$中的高斯混合密度估计在$n$中需要时间准多项式。在LWE的(保守)多项式硬度下,我们显示了对于任何常数$ε> 0$的$n^ε$高斯密度估计的硬度,这改进了Bruna,Regev,Song和Tang(STOC 2021),他们在多项式(量子)硬度假设下显示了至少$\sqrt{n}$高斯的硬度。我们的关键技术工具是从经典LWE减少到具有$k$的LWE-稀疏秘密,其中噪声的乘法增加仅为$O(\sqrt{k})$,独立于环境维度$n$。
2022-11-02 cs.CR cs.LG
Fourier Policy Gradients
University of Oxford(牛津大学)
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术,基于傅立叶分析,重铸积分出现预期的策略梯度卷积,并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者,我们对待三角和径向基函数,两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的,包括混合或混合连续-离散概率分布。此外,我们推导出一个一般家庭的基于样本的估计随机策略梯度,统一现有的结果基于样本的近似。我们相信,这种技术有潜力塑造下一代的策略梯度方法,由分析结果提供动力。
2018-05-30 cs.AI cs.LG
Learning Mixtures of Linear Dynamical Systems
Princeton University(普林斯顿大学)
我们研究了学习混合的多个线性动力系统(LDS)从未标记的短样本轨迹,每个生成的LDS模型之一的问题。尽管时间序列数据的混合模型具有广泛的适用性,但现有文献中基本上没有端到端性能保证的学习算法。存在多个技术挑战来源,包括但不限于(1)潜在变量(即轨迹的未知标签)的存在;(2)样本轨迹可能具有比LDS模型的维度$d$小得多的长度的可能性;以及(3)时间序列数据固有的复杂时间依赖性。为了解决这些挑战,我们开发了一个两阶段的元算法,这是保证有效地恢复每个地面实况LDS模型的错误$\tilde{O}(\sqrt{d/T})$,其中$T$是总样本量。我们验证了我们的理论研究与数值实验,确认所提出的算法的有效性。
2022-05-25 cs.LG cs.SY eess.SY