Blind Source Separation for Mixture of Sinusoids with Near-Linear Computational Complexity
我们提出了一个多音分解算法,可以找到的频率,幅度和相位的基本正弦信号在一个嘈杂的观察序列。在独立同分布的高斯噪声下,我们的方法利用最大似然方法从受污染的观测中估计相关的音调参数。在估计$M$数目的正弦源时,我们的算法连续地估计它们的频率,并联合优化它们的幅度和相位。我们的方法也可以实现为一个盲源分离器的信息的情况下,有关$M$。我们的算法的计算复杂度是近似线性的,即,$\tilde{O}(N)$。
2022-03-27 cs.LG eess.AS eess.SP
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
针对不完整数据下VAE估计中后验复杂度增加的问题,提出基于有限变分混合和插补变分混合的两种策略,并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Local Function Complexity for Active Learning via Mixture of Gaussian Processes
Berlin Institute of Technology(柏林工业大学);Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);BIFOLD-Berlin Institute for the Foundations of Learning and Data(BIFOLD-柏林学习与数据基础研究院);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
针对真实数据非均匀性带来的统计推断挑战,本文提出基于高斯过程回归的局部函数复杂度估计方法,替代局部多项式平滑指标构建鲁棒可扩展的模型无关主动学习框架,在合成数据和小分子力场重构任务中实现最优性能并降低训练需求。
2023-12-12 cs.LG cs.NA math.NA
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205(里昂大学,里昂第二大学,LIRIS UMR 5205)
本文研究了混合专家变换器的泛化和缩放规律,通过分离输入容量与路由组合学,推导出覆盖数界,并结合标准ERM分析得出泛化界,揭示了在适当考虑活跃参数时,近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
On Sample Complexity of Projection-Free Primal-Dual Methods for Learning Mixture Policies in Markov Decision Processes
Stanford University(斯坦福大学)
研究了一类具有大量状态的无限时域、折扣费用马尔可夫决策过程的学习策略问题。我们计算的政策,几乎一样好的政策选择一个合适的预言机从一个给定的混合政策类的特点是由一组已知的基本政策的凸包的行动。为了学习混合模型的系数,我们将问题重新定义为MDP的近似线性规划(ALP)公式,其中特征向量对应于在状态-动作空间上定义的基本策略的占用度量。然后,我们提出了一个无投影的随机原始-对偶方法与Bregman分歧解决的特征ALP。此外,我们分析了所提出的随机算法的可能近似正确(PAC)样本的复杂性,即达到接近最优的目标值所需的查询数量。我们还提出了一个修改我们所提出的算法与多面体约束采样的平滑ALP,其中的限制下边界近似放松。此外,我们提出的算法应用到排队问题,并比较其性能与罚函数算法。数值结果表明,原始-对偶实现了更好的效率和低方差在不同的试验相比,罚函数方法。
2019-08-30 cs.LG stat.ML
The Free Inference Dimension: Complexity Measure for Zero-Collision Navigation under Hypothesis Mixtures
PUC-Rio(里约热内卢天主教大学);Instituto Militar de Engenharia(军事工程学院)
本文提出自由推断维度dFI,度量值混合智能体在假设混合下零碰撞导航的复杂度,证明其小于VC维,并验证混合策略的最优性。
2026-09-17 cs.AI cs.LG
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);University of Amsterdam(阿姆斯特丹大学);ELLIS Institute Finland(芬兰ELLIS研究所)
本文提出一种混合模型偏好学习框架,通过学习潜在偏好原型而非假设单一效用函数,提升多目标优化中异质性人价值结构的适应性,并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology(谢里夫理工大学)
伯努利混合模型(Bernoulli Mixture Model,BMM)是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中,从群体遗传学到社交网络中的活动分析。在本文中,我们从理论的角度分析了集群的可集群性,当集群的数量是未知的。特别是,我们对模型的样本复杂度和维度规定了一组条件,以保证数据集的可能近似正确(PAC)可集群性。据我们所知,这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Identification of Mixtures of Discrete Product Distributions in Near-Optimal Sample and Time Complexity
California Institute of Technology(加州理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对 $k$ 个离散乘积分布混合的识别问题,本文结合稳健张量分解与 Hadamard 扩展矩阵条件数新界,在 $n\geq2k-1$ 时达到 $(1/ζ)^{O(k)}$ 的近优样本与时间复杂度。
2023-09-25 cs.DS cs.LG eess.SP
Tight bounds for learning a mixture of two gaussians
IBM Research Almaden(IBM阿尔马登研究中心);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑从一个独立的随机样本序列中识别两个任意$d$维高斯的未知混合模型的参数的问题。我们的主要结果是上界和下界,给出了一个计算效率高的基于矩的估计,具有最佳收敛速度,从而解决了Pearson(1894)提出的一个问题。由$σ^2$的未知混合物的方差表示,我们证明了$Θ(σ^{12})$样本是必要的和足够的估计每个参数恒定的附加误差时,$d=1.$我们的上限扩展到任意尺寸$d>1$的对数损失在$d$使用一种新的-但简单的--降维技术。我们进一步确定了几个有趣的特殊情况下,样本的复杂性是显着小于我们的最佳最坏情况下的界限。例如,如果两个分量的均值由$Ω(σ)$分离,则样本复杂度降低到$O(σ^2)$,并且这又是最优的。我们的研究结果也适用于学习混合物的每个组成部分,总变化距离的小误差,我们的算法在样本复杂性方面比以前的工作有很大的改进。我们还扩展了我们的下限$k$高斯的混合物,表明$Ω(σ^{6k-2})$样本是必要的,以估计每个参数恒定的附加误差。
2015-05-17 cs.DS cs.LG stat.ML
Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks
Institute of Science Tokyo(东京科学研究院);NII LLMC(国家信息研究所语言模型中心);Tohoku University(东北大学);RIKEN(日本研究机构)
研究通过分析MoE模型的稀疏性对记忆和推理任务的影响,发现推理任务需在活跃FLOPs和TPP之间找到最优平衡。
2026-03-01 cs.AI cs.CL cs.LG
Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes
McMaster University(麦克马斯特大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);University of British Columbia(不列颠哥伦比亚大学);McGill University(麦吉尔大学)
我们证明,$\tildeΘ(k d^2 / \varepsilon^2)$样本是必要的和充分的学习混合物的$k$高斯在$\mathbb{R}^d$,错误$\varepsilon$的总变化距离。这改进了该问题的已知上界和下界。对于轴对齐高斯的混合物,我们表明,$\tilde{O}(k d / \varepsilon^2)$样本就足够了,匹配一个已知的下限。此外,这些结果也适用于不可知学习/鲁棒估计设置,其中目标分布仅近似为高斯混合。上界显示使用一种新的技术,分布学习的基础上的概念“压缩。任何允许这种压缩方案的分布类别也可以用很少的样本来学习。此外,如果一类分布具有这样的压缩方案,那么这些分布的乘积和混合类也具有这样的压缩方案。我们主要结果的核心是证明了$\mathbb{R}^d$中的高斯类允许一个小尺寸的压缩方案。
2020-07-21 cs.LG math.ST stat.TH
Probabilistic Point Cloud Modeling via Self-Organizing Gaussian Mixture Models
Carnegie Mellon University(卡内基梅隆大学)
这封信提出了一种连续的概率建模方法,空间点云数据使用有限高斯混合模型(GARCH)的组件的数量是适应场景的复杂性的基础上。已经提出了一些分层和自适应的方法来解决平衡模型保真度与大小的挑战。相反,最先进的映射方法需要针对特定用例调优参数,但不能在不同的环境中推广。为了解决这个问题,我们利用信息理论学习的自组织原理,根据传感器数据中的相关信息自动调整GMM模型的复杂性。该方法进行评估对现有的点云建模技术在现实世界的数据与不同程度的场景复杂性。
2023-03-13 cs.GR cs.LG cs.RO
Learning Mixtures of Permutations: Groups of Pairwise Comparisons and Combinatorial Method of Moments
Georgia Institute of Technology(佐治亚理工学院);Yale University(耶鲁大学)
在秩聚合等应用中,当总体表现出异质性时,经常使用排列的混合模型。在这项工作中,我们研究了广泛使用的Malows混合模型。在高维设置中,我们提出了一个多项式时间算法,学习Mallow混合的$n$元素的最佳样本的复杂性,是成比例的$\log n$,改进以前的结果,规模与$n$的排列。在高噪声的制度,我们表征的样本复杂性的噪声参数的最佳依赖。这两个目标都是通过首先研究分层置换下的无噪声查询模型使用组的成对比较,这可以被看作是时刻的混合分布,然后将这些结果扩展到嘈杂的Mallow模型通过模拟无噪声的神谕。
2022-03-04 cs.DS cs.LG math.ST
Sample Complexity of Learning Mixtures of Sparse Linear Regressions
Microsoft Research(微软研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在学习线性回归混合的问题中,目标是从一系列(可能有噪声)线性测量中学习信号向量的集合,其中每个测量都是在从这个集合中均匀提取的未知信号上进行评估的。这种设置是非常有表现力的,并已在实际应用方面进行了研究,并为建立理论保证。在本文中,我们考虑的情况下,信号向量是稀疏的,这概括了流行的压缩感知范式。我们对最先进的结果进行了如下改进:在有噪声的情况下,我们通过展示如何处理两个以上向量的集合来解决Yin等人(IEEE Transactions on信息论,2019)的一个公开问题,并提出了第一个鲁棒重建算法,即,如果信号不是完全稀疏的,我们仍然学习信号的良好稀疏近似。在无噪声的情况下,以及在嘈杂的情况下,我们展示了如何规避需要在以前的工作中所需的限制性假设。我们的技术是完全不同的,从那些在以前的工作:对于无噪声的情况下,我们依赖于稀疏多项式的属性和嘈杂的情况下,我们提供了新的连接学习高斯混合和使用的思想从理论的纠错码。
2019-10-30 cs.IT cs.LG math.IT
The Label Complexity of Active Learning from Observational Data
University of California San Diego(加州大学圣地亚哥分校)
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置,学习者还可以访问未标记的例子,并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习,以及重要性加权损失估计器来考虑反事实,这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险,使其适合主动学习,也要修改主动学习过程,使其适合风险。我们证明,这是一个算法,这是统计上一致的,以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
Activized Learning: Transforming Passive to Active with Improved Label Complexity
Carnegie Mellon University(卡内基梅隆大学)
我们研究了主动学习相对于被动学习的理论优势。具体来说,我们证明了,在无噪声分类器学习VC类,任何被动学习算法可以转化为一个主动学习算法,渐近严格优越的标签复杂性的所有非平凡的目标函数和分布。我们进一步提供了一个一般的表征,这些改进的幅度方面的一种新的泛化的不一致系数。我们还将这些结果扩展到标签噪声存在下的主动学习,并发现即使在广泛的噪声分布下,我们通常也可以保证严格改进被动学习的已知结果。
2011-08-08 cs.LG math.ST stat.ML
Minimax Analysis of Active Learning
IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
本文建立了在各种噪声模型下,具有一般假设类的主动学习的极大极小标签复杂度的分布自由上界和下界。结果揭示了一些令人惊讶的事实。特别地,在Tsybakov(2004)的噪声模型下,具有VC类的主动学习的极小极大标签复杂度总是渐近小于被动学习的极小极大标签复杂度,并且通常显著小于主动学习文献中先前公布的最佳上限。在高噪声条件下,所有给定VC维的主动学习问题具有大致相同的极大极小标签复杂度,这与有界噪声的著名结果形成对比。在低噪音制度,我们发现,标签的复杂性是很好的特点,一个简单的组合复杂性措施,我们称之为星数。有趣的是,我们发现,几乎所有的复杂性措施,以前探讨的主动学习文献中有最坏的情况下的值正好等于星数。我们还提出了新的主动学习策略,几乎实现这些极大极小标签的复杂性。
2014-10-03 cs.LG math.ST stat.ML
Sample-Efficient Learning of Mixtures
University of Waterloo(滑铁卢大学);Simons Institute for Theory of Computing(西蒙斯理论计算研究所);University of California, Berkeley(加州大学伯克利分校)
我们考虑概率分布的PAC学习(a.k.a.密度估计),其中我们被给予i.i.d.。从未知目标分布生成的样本,并希望输出在总变化距离上接近目标的分布。令$\mathcal F$是概率分布的任意类,并且令$\mathcal{F}^k$表示$k$的类-$\mathcal F$的元素的混合。假设存在一种学习具有样本复杂度$m_{\mathcal{F}}(ε)$的$\mathcal F$的方法,我们提供了一种学习具有样本复杂度$O({k\log k \cdot m_{\mathcal F}(ε) }/{ε^{2}})$的$\mathcal F^k$的方法。我们的混合学习算法的属性,如果$\mathcal F$ -学习者是正确的/不可知的,那么$\mathcal F^k$ -学习者也将是正确的/不可知的。这个一般性的结果使我们能够提高各种重要的混合物类的最知名的样本复杂性上界。首先,我们证明了$\mathbb{R}^d$中$k$轴对齐高斯的混合物类在不可知的设置中具有$\widetilde{O}({kd}/{ε^ 4})$样本,这在$k$和$d$中是紧密的对数因子。第二,我们证明了$\mathbb{R}^d$中的$k$高斯混合物类在样本复杂度为$\widetilde{O}({kd^2}/{ε^ 4})$的不可知环境中是PAC可学习的,这改进了以前已知的$\widetilde{O}({k^3d^…
2018-06-03 cs.LG
Screening Rules and its Complexity for Active Set Identification
Riken AIP(理化学研究所革新智能综合研究中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院)
筛选规则最近被引入作为一种技术,用于显式地识别活跃的结构,如稀疏性,在机器学习中出现的优化问题。这导致了基于大幅降维的新加速方法。我们表明,筛选规则源于次微分集和最优性条件的自然属性的组合,因此可以以一种统一的方式理解。在温和的假设下,我们分析了确定任何收敛算法的最佳活动集所需的迭代次数。我们证明了它只依赖于它的收敛速度。
2020-09-06 cs.LG math.OC stat.CO
Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
提出GQE,在分组查询注意力上应用混合专家层,每token仅激活一半查询头,在250M参数规模下匹配全激活基线性能。
2026-06-24 cs.LG
Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair
National Institute of Technology, Calicut(卡利卡特国家理工学院)
针对自动程序修复,提出加权质量指数(QI)综合评估功能正确性、可维护性、安全性和效率,发现MoE模型以更少激活参数达到与较大密集模型相当的正确性,凸显激活参数作为评估视角的重要性。
2026-10-07 cs.LG cs.SE
A Fast Incremental Gaussian Mixture Model
Universidade Federal do Rio Grande do Sul(南里奥格兰德州联邦大学)
这项工作建立在以前在线增量学习的基础上,即增量高斯混合网络(IGMN)。IGMN能够通过在分析每个数据点之后改进其模型并在此后丢弃它来在单遍中从数据流中学习。然而,由于其对于$N$数据点、$K$高斯分量和$D$维度的$\operatorname{O}\bigl(NKD^3\bigr)$的渐近时间复杂度,其遭受可伸缩性观点,使得其不适合于高维数据。在本文中,我们设法减少这种复杂性,$\operatorname{O}\bigl(NKD^2\bigr)$推导公式直接与精度矩阵,而不是协方差矩阵。最终的结果是一个更快的和可扩展的算法,可以应用于高维任务。这是通过将修改后的算法应用于高维分类数据集来证实的。
2015-06-18 cs.LG
Multi-View Active Learning in the Non-Realizable Case
Nanjing University(南京大学)
在可实现性假设下,主动学习的样本复杂度已经得到了很好的研究。然而,可实现性假设在实践中很少成立。本文从理论上刻画了多视点环境下不可实现情形下主动学习的样本复杂度。我们证明,与无界Tsybakov噪声,多视图主动学习的样本复杂度可以是$\widetilde{O}(\log\frac{1}ε)$,对比单视图设置,其中多项式的改进是最好的可能的成就。我们还证明,在一般的多视图设置的样本复杂度的主动学习与无界Tsybakov噪声是$\widetilde{O}(\frac{1}ε)$,其中的顺序$1/ε$是独立的参数在Tsybakov噪声,对比以前的多项式边界的顺序$1/ε$是相关的参数在Tsybakov噪声。
2010-10-29 cs.LG
MolSets: Molecular Graph Deep Sets Learning for Mixture Property Modeling
Northwestern University(西北大学)
本文提出 MolSets 模型,将分子表示为图、混合物表示为集合,结合图神经网络与 deep sets 建模混合物性质,并在锂电池电解质电导率预测与虚拟筛选中验证其效果。
2023-12-27 cond-mat.mtrl-sci cs.LG
Slicing and Dicing: Configuring Optimal Mixtures of Experts
Paul G Allen School of Computer Science(保罗·G·艾伦计算机科学学院);University of Washington(华盛顿大学);New York University(纽约大学);Courant School of Data Science(科廷数据科学学院)
本文研究了混合专家架构中专家数量、粒度等核心参数的优化问题,发现专家数量和粒度对性能影响显著,其他参数影响较小。
2026-05-12 cs.CL cs.LG
Sampling from multi-modal distributions with polynomial query complexity in fixed dimension via reverse diffusion
CREST, ENSAE Institut Polytechnique de Paris(CREST,ENSAE 巴黎高等理工学院)
本文提出一种固定维度下基于反向扩散的多模态分布采样算法,通过自归一化蒙特卡洛估计得分函数,实现多项式查询复杂度,避免亚稳态且无需模态先验知识。
2025-10-23 cs.LG math.ST stat.CO