UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models
School of Computer Science and Statistics, Trinity College Dublin, Ireland(特里尼蒂学院都柏林分校计算机科学与统计学学院);School of Computer Science, University College Dublin, Ireland(都柏林大学学院计算机科学学院)
本文提出UB-SMoE,通过动态调节路由和通用伪梯度解决异构联邦学习中专家利用率失衡和Top-K路由非可微问题,实现低资源客户端的计算节省与性能提升。
2026-05-15 cs.LG
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University(普林斯顿大学)
本文改进了Mitra算法在离散混合分布分类中的分析,通过将其调整为二部随机块模型,获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Feature Selection Facilitates Learning Mixtures of Discrete Product Distributions
Yale University(耶鲁大学)
特征选择可以在离散随机变量的混合物出现时(例如,在众包任务中)促进对它们的学习。直觉上,并不是所有的员工都同样可靠,但是,如果不太可靠的员工可以被淘汰,那么学习应该会更强大。通过类比高斯混合模型,我们寻求一种低阶统计方法,并在这里介绍一种算法的基础上(成对)的互信息。这导致了一种对工人的秩序,这种秩序是为“一枚硬币”模式精心构建的。更一般地说,它是合理的拟合优度的措施,并验证经验。实际数据集的改进可能是实质性的。
2017-11-25 cs.LG stat.ML
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));University of Helsinki(赫尔辛基大学)
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的,因为采样过程是不可微的。连续松弛(例如分类分布的Gumbel-Softmax)支持基于梯度的优化,但不为离散观测定义有效的概率质量。在实践中,选择松弛量是困难的,并且需要优化与期望目标不一致的目标,这会导致问题,特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布,允许直接优化证据下限,并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Mixture Representation Learning with Coupled Autoencoders
Allen Institute(艾伦研究所)
在没有监督的情况下,联合识别离散和连续可变因素的混合物是解开复杂现象的关键问题。变分推理已经成为一种很有前途的方法来学习可解释的混合表示。然而,在高维潜在空间,特别是离散因素的后验近似仍然具有挑战性。在这里,我们提出了一个无监督的变分框架,使用多个相互作用的网络称为cpl-mixVAE,可以很好地扩展到高维离散设置。在这个框架中,每个网络的混合表示通过对离散因子施加共识约束来正则化。我们证明使用这个框架提供理论和实验结果。最后,我们使用所提出的方法来共同揭示离散和连续的变异因素,描述基因表达的单细胞转录组数据集分析超过一百种皮层神经元类型。
2021-04-13 cs.LG stat.ML
Discrete Sampling using Semigradient-based Product Mixtures
ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
我们考虑离散概率模型中的推理问题,即有限基集子集上的分布。这些包括机器学习中的一系列众所周知的模型,例如决定点过程和伊辛模型。局部移动马尔可夫链蒙特卡罗算法,如吉布斯采样器,通常用于这种模型的推理,但它们的收敛速度有时非常慢。这通常是由状态空间瓶颈引起的,状态空间瓶颈极大地阻碍了这种采样器的移动。我们提出了一种新的抽样策略,使用特定的混合产品分布,提出全球移动,从而加速收敛。此外,我们将展示如何使用半梯度信息构建这样的混合。我们说明了我们的采样器与现有的相结合的有效性,无论是理论上的一个示例模型,以及实际上从现实世界的数据集学习的三个模型。
2018-07-09 cs.LG stat.ML
Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
ÉTS(高等技术学院)
针对CNN池化架构搜索中单SuperNet参数共享导致训练困难的问题,提出平衡混合SuperNet方法,在多个数据集上优于默认配置和其他方法。
2023-06-21 cs.CV cs.LG
Optimal Scaling for Locally Balanced Proposals in Discrete Spaces
Georgia Tech(佐治亚理工学院);Google Brain(谷歌大脑);U of Alberta(阿尔伯塔大学)
连续空间中的Metropolis-Hastings(M-H)算法的最优尺度已经得到了很好的研究,但在离散空间中缺乏类似的理解。最近,离散空间的一族局部平衡建议(LBP)已被证明是渐近最优的,但最优缩放的问题仍然是开放的。在本文中,我们建立,第一次,在离散空间中的M-H的效率也可以由一个渐近接受率,是独立的目标分布。此外,我们从理论和经验两方面验证了LBP和随机游走Metropolis(RWM)的最佳接受率分别为$0.574$和$0.234$。这些结果也有助于建立LBP是渐近$O(N^\frac{2}{3})$更有效的RWM方面的模型尺寸$N$。最优接受率的知识允许人们自动调整离散空间中建议分布的邻域大小,直接类似于连续空间中的步长控制。我们凭经验证明,这种自适应M-H采样可以鲁棒地改善离散空间中各种目标分布的采样,包括训练基于深度能量的模型。
2022-10-14 cs.LG
Gaussian mixture models with Wasserstein distance
University College London(伦敦大学学院);ASI Data Science(ASI数据科学);Alan Turing Institute(艾伦·图灵研究所)
具有离散和连续潜变量的生成模型受到许多现实世界数据集结构的高度激励。然而,它们在训练中表现出微妙之处,通常表现在离散的潜在存在中。在本文中,我们证明了当使用Wasserstein自动编码器的最优传输框架时,这种模型更适合训练。我们发现我们的离散潜变量在训练时被模型充分利用,而无需对目标函数进行任何修改或进行显著的微调。我们的模型生成的样本与其他方法相当,而使用相对简单的神经网络,因为离散的潜在变量进行了大量的描述性负担。此外,离散潜伏期提供了对发电的显著控制。
2018-06-12 cs.LG stat.ML
A RAD approach to deep mixture models
Google Brain(谷歌大脑);DeepMind
基于流的模型(如Real NVP)是一种非常强大的密度估计方法。然而,现有的基于流的模型仅限于将连续输入空间上的连续密度转换为连续潜变量上的类似连续分布。这使得它们不太适合建模和表示数据分布中的离散结构,例如类成员关系或离散对称性。为了解决这个困难,我们提出了一个规范化的流架构,它依赖于域分区使用局部可逆函数,并拥有真实和离散值的潜变量。这种真实和离散(RAD)的方法保留了理想的规范化流特性的精确采样,精确的推理,和分析计算的概率,而在同一时间允许同时建模的连续和离散结构的数据分布。
2020-08-26 cs.LG stat.ML
MoEQuant: Enhancing Quantization for Mixture-of-Experts Large Language Models via Expert-Balanced Sampling and Affinity Guidance
Houmo AI(后摩智能);Southeast University(东南大学)
MoEQuant针对MoE大语言模型量化中的专家间与专家内不均衡问题,提出专家均衡自采样和亲和度引导量化两种技术,在4-bit量化下显著提升模型精度与效率。
2025-05-02 cs.AI cs.LG
Towards Optimal Discrete Online Hashing with Balanced Similarity
Xiamen University(厦门大学);Tencent Technology (Shanghai) Co., Ltd(腾讯科技(上海)有限公司);Peng Cheng Laboratory(鹏城实验室)
当面对大规模的图像数据集时,在线哈希是一种很有前途的在线检索和预测任务的解决方案。它将在线流数据编码为紧凑的二进制代码,同时更新哈希函数以更新现有数据集的代码。为此,现有方法仅基于新数据批次更新散列函数,而不调查这种新数据与现有数据集之间的相关性。此外,现有的作品更新散列函数使用松弛过程在其相应的近似连续空间。如何在在线哈希中直接应用离散优化仍然是一个悬而未决的问题。在本文中,我们提出了一种新的监督在线散列方法,称为平衡相似在线离散散列(BSODH),在一个统一的框架来解决上述问题。BSODH采用了一种设计良好的哈希算法,通过非对称图正则化来保持流数据和现有数据集之间的相似性。我们进一步发现了由构造的非对称图所带来的“数据不平衡”问题,该问题限制了离散优化在我们问题中的应用。因此,进一步提出了一种新的平衡相似性,它使用两个平衡因子来平衡相似和不相似的权重,并最终使离散优化的使用。在三个广泛使用的基准上进行的大量实验证明了所提出的方法比最先进的方法的优势。
2019-04-23 cs.IR cs.LG
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University(卡内基梅隆大学)
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是,混合高斯可以非常快地拟合数据使用加速EM算法,采用多分辨率kd树(摩尔,1999年)。在本文中,我们提出了一种贝叶斯网络,在该网络中,在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模,而不需要对连续变量进行离散化。我们提出了有效的启发式算法,从数据中自动学习这些网络,并进行比较实验,说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络,以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
Mixture Density Network Estimation of Continuous Variable Maximum Likelihood Using Discrete Training Samples
University of Texas(德克萨斯大学);Rutgers University(罗格斯大学)
混合密度网络(MDN)可用于在给定一组可观测量$\mathbf{x}$的情况下生成模型参数$\boldsymbolθ$的概率密度函数。在某些应用中,训练数据仅可用于连续参数$\boldsymbolθ$的离散值。在这种情况下,会出现一些性能限制问题,从而导致有偏差的估计。我们演示了使用MDNs的参数估计,讨论了偏差的起源,并提出了一个纠正方法,为每个问题。
2021-07-20 cs.LG hep-ex physics.data-an
MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
Georgia Institute of Technology(佐治亚理工学院)
针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题,提出MoETuner方案,通过ILP优化专家放置并利用层间令牌路由依赖,实现负载均衡与通信优化,单节点和多节点推理速度分别提升9.3%和17.5%。
2025-02-10 cs.DC cs.LG
Deinterleaving of Discrete Renewal Process Mixtures with Application to Electronic Support Measures
Thales DMS France SAS(泰雷兹DMS法国公司)
本文提出一种基于惩罚似然最大化的离散更新马尔可夫链混合去交织方法,利用符号序列与到达时间信息,理论证明大样本下可恢复真实划分,并在合成数据及RESM脉冲序列去交织中验证了其有效性。
2024-11-08 cs.LG
On the Role of Discrete Representation in Sparse Mixture of Experts
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所)
针对 SMoE 路由器的不一致与表示坍塌问题,本文提出基于向量量化离散表示间接分配专家的 VQMoE,并在语言和视觉任务中验证其鲁棒性提升 28%。
2025-07-27 cs.LG
Learning Mixtures of Discrete Product Distributions using Spectral Decompositions
Microsoft Research India(微软研究院印度);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了从样本中学习分布的问题,当底层分布是离散域上的乘积分布的混合时。这个问题是由几个实际应用,如众包,推荐系统,学习布尔函数的动机。现有的解决方案要么严重依赖于混合物中组分的数量是有限的这一事实,要么具有在组分数量上呈指数的样本/时间复杂度。在本文中,我们介绍了一个多项式时间/样本复杂性的方法来学习混合的$r$离散产品分布在$\{1, 2, \dots, \ell\}^n$,一般$\ell$和$r$。我们表明,我们的方法是统计上一致的,并进一步提供有限的样本保证。我们使用的技术,从最近的工作张量分解高阶矩匹配。这些矩匹配方法的关键步骤是构造一个特定的矩阵和一个特定的张量与低秩谱分解。这些张量通常直接从样本中估计。学习离散乘积分布的混合物的主要挑战是这些低秩张量不能直接从样本矩中获得。相反,我们将张量估计问题简化为:$a$)仅使用非对角块元素来估计低秩矩阵;以及$b$)使用少量线性测量来估计张量。利用矩阵完备化的最新发展,我们给出了一种基于交替最小化的方法来估计低秩矩阵,并将张量完备化问题表示为最小二乘问题。
2014-05-17 cs.CC cs.IT cs.LG
Learning Mixtures of Arbitrary Distributions over Large Discrete Domains
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Caltech(加州理工学院)
我们给出了一个学习混合{ \em非结构}分布的算法。这个问题出现在各种无监督学习场景中,例如在从跨越若干主题的文档语料库学习{ \em主题模型}中。我们展示了如何学习的$k$任意分布在一个大的离散域$[n]=\{1,2,\dots,n\}$和混合权重的混合物的成分,使用$O(n\polylog n)$样本。(In主题模型学习设置,混合成分对应于主题分布。对于$k>1$,在混合分布的通常采样过程中,该任务在信息理论上是不可能的。然而,存在每个样本点由来自相同混合成分的若干观察组成的情况(诸如上述主题模型情况)。我们称之为{ \em“采样孔径”}的这个观测数是问题的关键参数。我们获得了这个混合学习问题{ \em}的{ \em first}界,而没有对混合成分施加任何假设。我们表明,有效的学习是可能的,正是在信息理论上最小可能的孔径$2k-1$。因此,我们实现了对$n$和最佳孔径的接近最佳的依赖性。虽然我们的算法所需的样本大小指数依赖于$k$,我们证明了这样的依赖是{ \em不可避免}时,考虑一般的混合物。一系列的工具有助于算法,如随机矩阵的浓度结果,降维,矩估计和灵敏度分析。
2013-09-18 cs.DS cs.LG
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
从观察到的样本估计互信息是一个基本的原语,在几个机器学习任务中很有用,包括相关性挖掘,信息瓶颈聚类,学习Chow-Liu树和(因果)图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量,但现有的估计只能处理两种特殊情况:纯离散或纯连续的随机变量对。主要的挑战是,这些方法首先估计X、Y和对(X;Y)的(微分)熵,并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间,其中熵没有很好的定义。在本文中,我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比,其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量,量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性,其中一些变量是离散的,一些是连续的,并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Dual Mixture-of-Experts Framework for Discrete-Time Survival Analysis
Lunit Inc.(Lunit公司)
生存分析是一项对感兴趣的事件发生之前的时间进行建模的任务,广泛用于临床和生物医学研究。一个关键的挑战是对患者异质性进行建模,同时还根据个体特征和时间动态调整风险预测。我们提出了一个双混合专家模型(MoE)的离散时间生存分析框架。我们的方法结合了一个功能编码器MoE的子群感知表示学习与危险MoE,利用患者的功能和时间嵌入捕捉时间动态。这种双MoE设计灵活地与现有的基于深度学习的生存管道集成。在METABRIC和GBSG乳腺癌数据集上,我们的方法始终提高了性能,将测试集上的时间依赖性C指数提高到0.04,并在纳入Consurv框架时进一步提高了性能。
2025-10-29 cs.AI cs.LG
Learning mixtures of structured distributions over discrete domains
UC Berkeley(加州大学伯克利分校);University of Edinburgh(爱丁堡大学);Columbia University(哥伦比亚大学)
设$\mathfrak{C}$是离散域$[n] = \{1,...,n\}.$上的一类概率分布,我们证明了如果$\mathfrak{C}$满足一个相当一般的条件--本质上,$\mathfrak{C}$中每个分布都可以用具有较少箱的可变宽度直方图很好地近似--那么就有一个高效的(在运行时间和样本复杂度方面)可以从$\mathfrak{C}.$学习$k$未知分布的任何混合的算法我们分析了$[n]$上的几种自然类型的分布,包括对数凹,单调的风险率和单峰分布,并表明它们具有所需的结构属性,可以很好地近似直方图与几个箱。应用我们的一般算法,我们获得了所有这些混合学习问题的近最优有效算法。
2012-10-02 cs.DS cs.LG math.ST
A Novel Use of Discrete Wavelet Transform Features in the Prediction of Epileptic Seizures from EEG Data
African Institute for Mathematical Sciences(非洲数学科学研究所);Stellenbosch University(斯泰伦博斯大学);Rochester Institute of Technology(罗切斯特理工学院)
本文证明了离散小波变换(DWT)的预测优势,以前使用的特征提取方法在诊断癫痫发作的EEG数据。分类准确性、特异性和灵敏度被用作评估指标。我们特别展示了2种组合(DWT-db 4与SVM组合和DWT-db2与RF组合)在平衡或不平衡数据集中诊断癫痫发作时与其他组合相比的巨大潜力。结果还强调,MFCC的表现低于本研究中使用的所有DWT,并且在不平衡和平衡数据集中,平均差异分别具有统计学显著性。最后,无论是在平衡或不平衡的数据集,特征提取技术,模型,以及它们之间的相互作用有统计上显着的分类精度的影响。
2021-01-31 cs.CE cs.LG eess.SP
Learning Arbitrary Statistical Mixtures of Discrete Distributions
Tsinghua University(清华大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);California Institute of Technology(加州理工学院)
本文研究了大型有限集上的非标记样本的非常一般的统计混合模型的学习问题。具体地,要学习的模型$\vartheta$是概率分布$p$上的概率分布,其中每个这样的$p$是$[n] = \{1,2,\dots,n\}$上的概率分布。当我们从$\vartheta$采样时,我们不直接观察$p$,而只是通过从分布$p$重复地、独立地从$[n]$采样$K$次来间接地并且以非常嘈杂的方式观察$p$。问题是在运输(推土机)距离中高精度地推断$\vartheta$。我们给出了第一个有效的算法来学习这个混合模型,而不对分布$\vartheta$的结构作任何限制性假设。我们将解决方案的质量作为样本大小$K$和所用样本数量的函数。我们的模型和结果应用于各种无监督学习场景,包括学习主题模型和协同过滤。
2015-04-10 cs.DS cs.LG
Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学);Vicarious Inc.(维卡里奥公司);Carnegie Mellon University(卡内基梅隆大学)
尽管最近概率程序设计语言(PPL)在人工智能应用中取得了成功,但PPL仅提供有限的随机变量支持,其分布结合了离散和连续元素。我们开发的概念的测量理论贝叶斯网络(MTBN),并使用它来提供更一般的语义PPLs与任意多个随机变量定义在任意测量空间。我们开发了两个新的通用采样算法,可证明是正确的MTBN框架下:字典似然加权(LLW)一般MTBN和字典粒子滤波器(LPF),一个专门的算法状态空间模型。我们进一步集成MTBN到一个广泛使用的PPL系统,博客,并通过代表性的例子验证新的推理算法的有效性。
2018-06-08 cs.AI cs.LG cs.PL
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题,提出 MATI,通过区域感知高斯混合专家与测试时自监督聚合动态适配分布,在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出RESM方法,通过改进的参数融合策略提升大型语言模型在有用性、诚实性和无害性方面的平衡对齐效果。
2026-01-31 cs.AI cs.CL cs.LG
MixAR: Mixture Autoregressive Image Generation
Tsinghua University(清华大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(Mohamed bin Zayed人工智能大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对离散AR图像生成保真度受限、连续AR建模难度高的问题,提出MixAR混合自回归框架,设计多种离散-连续混合策略与TI-Mix机制,平衡效率与保真度并实现训练推理分布一致。
2025-11-15 cs.CV cs.LG
Identification of Mixtures of Discrete Product Distributions in Near-Optimal Sample and Time Complexity
California Institute of Technology(加州理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对 $k$ 个离散乘积分布混合的识别问题,本文结合稳健张量分解与 Hadamard 扩展矩阵条件数新界,在 $n\geq2k-1$ 时达到 $(1/ζ)^{O(k)}$ 的近优样本与时间复杂度。
2023-09-25 cs.DS cs.LG eess.SP
Efficient Clustering for Stretched Mixtures: Landscape and Optimality
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
本文考虑了一个典型的聚类问题,其中一个接收未标记的样本从一个平衡的混合物的两个椭圆分布和目标的分类器来估计标签。许多流行的方法,包括PCA和k-means,都要求混合物的各个成分是球形的,当它们被拉伸时,性能很差。为了克服这个问题,我们提出了一个非凸的程序,寻求仿射变换,把数据变成一个一维的点云集中在$-1$和$1$,之后聚类变得容易。我们的理论贡献是双重的:(1)我们表明,非凸损失函数具有理想的几何性质时,样本量超过一些常数倍的尺寸,(2)我们利用这一点来证明,一个有效的一阶算法实现接近最佳的统计精度没有良好的初始化。我们还提出了一个通用的聚类方法与灵活的选择功能转换和损失的目标。
2021-11-27 cs.LG math.OC math.ST