Variational Bayes and Truncation approximations for Enriched Dirichlet process mixtures
本文提出了一种用于增强狄利克雷过程混合模型(EDPM)的变分贝叶斯估计器,通过改进的截断近似方法提高效率,并展示了其在Nimble中实现阻塞吉布斯采样器的应用,通过模拟和实际数据验证了方法的有效性。
2026-06-03 stat.ME
Attention augmented differentiable forest for tabular data
Xiamen University(厦门大学);Department of Electronic Science(电子科学系)
可微森林是一组具有完全可微性的决策树的集合。其简单的树结构易于使用和解释。在完全可微的情况下,它将在端到端的学习框架中使用基于梯度的优化方法进行训练。本文在可微森林的框架下提出了树的注意块(TAB)。TAB块有两种操作,挤压和调节。挤压操作将提取每棵树的特征。调节操作将学习这些树之间的非线性关系。因此,TAB块将学习每棵树的重要性,并调整其权重,以提高准确性。我们在大型表格数据集上的实验表明,注意力增强可微森林将获得与梯度提升决策树(GBDT)相当的准确性,这是最先进的表格数据集算法。在某些数据集上,我们的模型比最好的GBDT库(LightGBM,Catboost和XGBoost)具有更高的准确性。可微森林模型支持批量训练,批量大小远小于训练集的大小。因此,在较大的数据集上,它的内存使用率比GBDT模型低得多。源代码可在www.example.com上获得。
2020-10-02 cs.LG stat.ML
Stochastic Volatility in Mean: Efficient Analysis by a Generalized Mixture Sampler
本文提出一种基于三十个正态分布混合近似非中心卡方分布的广义混合采样器,用于高效贝叶斯估计均值随机波动率模型,并通过实证表明该模型优于其他波动率模型。
2024-11-20 econ.EM q-fin.MF stat.AP
Mixture of Layers with Hybrid Attention
Department of Software Systems, Uzhhorod National University(软件系统系,乌日霍罗德国立大学)
本文提出MoL,通过减少维度的并行薄块替代全宽度Transformer块,并引入混合注意力解决稀疏路由中的覆盖问题。
2026-05-10 cs.AI cs.LG
An Introduction to the Practical and Theoretical Aspects of Mixture-of-Experts Modeling
La Trobe University(拉筹伯大学);Normandie Universite(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
专家混合模型(Mixture-of-Experts,MoE)是对复杂数据生成过程(DGP)中产生的数据进行建模的强大范例。在这篇文章中,我们演示了如何构建不同的MoE模型来近似任意类型数据的底层DGP。由于概率性质的MoE模型,我们提出了最大拟似然(MQL)估计作为一种方法估计MoE模型参数的数据,我们提供的条件下,MQL估计是一致的和渐近正态的。提出了块最小化-最大化(blockwise-MM)算法框架,作为构造获得MQL估计的算法的通用方法。提供了逐块MM算法的示例推导。然后,我们提出了一种方法来构建信息准则估计的数量在MoE模型和经典的贝叶斯信息准则(BIC)提供的理由。我们解释了如何使用MoE模型进行分类,聚类和回归,我们说明了这些应用程序通过一对工作的例子。
2017-07-12 cs.LG stat.ML
Nondiagonal Mixture of Dirichlet Network Distributions for Analyzing a Stock Ownership Network
the University of Tokyo(东京大学);Rikkyo University(立教大学);National Institute of Informatics(国立信息学研究所);The Canon Institute for Global Studies(佳能全球研究所)
块模型在复杂网络研究中有着广泛的应用。基石模型是随机块模型(SBM),在过去几十年中被广泛使用。然而,SBM在分析复杂网络时受到限制,因为该模型本质上是一个随机图模型,无法再现许多复杂网络的基本属性,例如稀疏性和重尾度分布。在本文中,我们提供了一个边缘可交换块模型,结合这些基本功能,同时推断出一个给定的复杂网络的潜在块结构。我们的模型是一个贝叶斯非参数模型,它灵活地估计块的数量,并考虑到看不见的节点的可能性。使用一个合成数据集和一个现实世界的股票所有权数据集,我们表明,我们的模型优于国家的最先进的SBM的举行了链接预测任务。
2020-11-01 cs.LG cs.SI stat.ML
On Quantile Regression Forests for Modelling Mixed-Frequency and Longitudinal Data
本论文扩展分位数回归森林算法,提出MIDAS-QRF和FM-QRF两种新方法,分别处理混合频率和纵向数据,并在金融风险管理和气候变化评估中验证其有效性。
2025-02-24 cs.LG stat.ME stat.ML
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University(普林斯顿大学)
本文改进了Mitra算法在离散混合分布分类中的分析,通过将其调整为二部随机块模型,获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Private estimation algorithms for stochastic block models and mixture models
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院);Università Bocconi(博科尼大学);UC San Diego(加州大学圣迭戈分校)
本文提出高维私有估计通用工具,实现随机块模型恢复和球面高斯混合中心恢复,统计保证接近非私有算法,且为首个高效差分私有算法。
2023-11-16 cs.CR cs.DS cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research(高通人工智能研究院)
提出Mixture-of-Control(MoC)框架,通过稀疏混合专家机制自适应融合局部和全局控制信号,增强Transformer块间信息交换,实现高效微调。
2026-10-22 cs.AI cs.LG
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Optimizing Mixture of Block Attention
MIT(麻省理工学院);NVIDIA(英伟达)
本文提出改进MoBA的FlashMoBA,通过优化块大小和键卷积提升路由精度,并在GPU上实现高效执行,使理论改进落地。
2025-12-19 cs.CL cs.LG
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida(中佛罗里达大学)
本文考虑了一种混合多层随机块模型(MMLSBM),该模型将多层网络划分为多个相似的网络组,每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群,并识别这些层中的社区。Jing等人(2020)介绍了MMLSBM,并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术,交替最小化算法(ALMA),其目的是在同时恢复的层分区,连同不同层的连接概率的矩阵的估计。与TWIST相比,ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
Sun Yat-sen University(中山大学)
RevFFN通过可逆Transformer块实现混合专家语言模型的高效全参数微调,减少内存消耗,提升训练效率。
2025-12-24 cs.AI cs.LG
Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心)
Q-Strata是一种双层分配器,通过为混合专家MoE大型语言模型的每个模块设置一个预算,优化模型级目标以实现混合精度量化,在低比特 regime 下优于GPTQ、MxMoE和GEMQ。
2026-09-01 cs.AI cs.LG
IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
DreamX, Alibaba Group(阿里巴巴集团 DreamX)
IntBMoE通过块级条件与稀疏执行解耦参与度、执行度和物化度,实现全参与MoE,在图像分类、语言建模和推荐任务上超越基线,并已部署于高德地图推荐系统。
2026-09-21 cs.LG
Unconstrained Face Recognition using ASURF and Cloud-Forest Classifier optimized with VLAD
Center for Pattern Recognition and Machine Intelligence, PES University(PES大学模式识别与机器智能中心)
本文提出了一种计算效率高的多类人脸图像分类算法,其中图像受到平移、旋转、尺度、颜色、光照和仿射失真的约束。该方法分为五个主要模块:用于人脸检测的Haar-Cascade、用于去除图像噪声的双边滤波器、用于关键点检测和描述的仿射加速鲁棒特征(ASURF)、用于特征量化的局部聚集描述符矢量(VLAD)和用于图像分类的云雾森林。所提出的方法旨在提高人脸识别系统的准确性和所需的时间。使用Cloud Forest算法作为分类器对三个基准数据集(即FACES 95,FACES 96和ORL面部数据集)进行分类,显示出良好的结果。所提出的方法,使用云森林算法成功地提高了识别模型2-12\%时,区别于其他集成技术,如随机森林分类器取决于所使用的数据集。
2021-04-02 cs.CV cs.LG
Asset price movement prediction using empirical mode decomposition and Gaussian mixture models
Hamilton Institute, Maynooth University(梅努斯大学汉密尔顿研究所);Maynooth University(梅努斯大学);DLT Capital(DLT资本)
本研究结合经验模态分解与高斯混合模型,通过特征工程和机器学习算法优化交易决策,实验表明EMD变换提升集成学习性能,GMM过滤扩大优于随机基准的组合范围。
2025-03-26 cs.LG stat.ME
MoBA: Mixture of Block Attention for Long-Context LLMs
Moonshot AI(月之暗面);Tsinghua University(清华大学);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
针对长上下文LLMs传统注意力机制的二次复杂度问题,提出块注意力混合机制(MoBA),通过将MoE原理应用于注意力机制,实现全注意力与稀疏注意力的无缝切换,提升长上下文任务性能与效率,已支持Kimi的长上下文请求。
2025-02-18 cs.AI cs.CL cs.LG
Mixtures of Subspaces for Bandwidth Efficient Context Parallel Training
Pluralis Research
提出一种基于子空间混合的压缩方法,在低带宽分布式训练中实现超过95%的通信压缩,支持百亿参数模型在100K上下文长度下高效训练。
2026-06-16 cs.LG
Mining Block I/O Traces for Cache Preloading with Sparse Temporal Non-parametric Mixture of Multivariate Poisson
NetApp, Inc.(网存公司);Indian Institute of Science(印度科学学院)
本文提出稀疏时间非参数混合多维泊松模型,用于从块I/O轨迹中挖掘缓存预加载的长程模式,通过稀疏建模提高效率,实验证明在基准轨迹上显著提升命中率。
2014-10-13 cs.LG cs.OS cs.SY
Bayes Blocks: An Implementation of the Variational Bayesian Building Blocks Framework
Helsinki University of Technology(赫尔辛基理工大学)
提出了一个用于构造和学习概率模型的软件库。该库提供了一组构建块,从中可以构建各种静态和动态模型。这些模型包括其他变量方差的分层模型和许多非线性模型。基本的变分贝叶斯机制,提供快速和鲁棒的估计,但在数学上,而涉及,几乎完全隐藏的用户,从而使它非常容易使用的库。构建块包括高斯、修正高斯和混合高斯变量以及可以相当自由地组合的计算节点。
2012-07-04 cs.LG cs.MS stat.ML
Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals
本研究提出首个利用混合专家(MoE)专属内部信号的InnerExpert方法,在五个数据集和两种MoE架构上,以单次前向传播实现优于现有方法的逐词幻觉检测性能。
2026-08-19 cs.AI cs.LG
CNN Mixture-of-Depths
Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
我们介绍了用于卷积神经网络(CNN)的混合深度(MoD),这是一种新方法,通过基于通道与当前预测的相关性选择性地处理通道来提高CNN的计算效率。该方法通过动态选择特征图中的关键通道来优化计算资源,以便在卷积块(Conv-Blocks)内进行集中处理,同时跳过不太相关的通道。与需要动态计算图的条件计算方法不同,CNN MoD使用具有固定张量大小的静态计算图,这提高了硬件效率。它加快了训练和推理过程,而不需要定制的CUDA内核,独特的损失函数或微调。CNN MoD可以通过减少推理时间、GMAC和参数来匹配传统CNN的性能,或者在保持相似的推理时间、GMAC和参数的同时超过它们的性能。例如,在ImageNet上,ResNet 86-MoD的性能比标准ResNet 50高出0.45%,CPU加速比为6%,GPU加速比为5%。此外,ResNet 75-MoD实现了与ResNet 50相同的性能,CPU加速比为25%,GPU加速比为15%。
2024-09-25 cs.CV cs.LG
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);La Trobe University(乐卓博大学);University of Queensland(昆士兰大学)
专家混合(MoE)是一类流行的统计和机器学习模型,多年来由于其灵活性和效率而受到关注。在这项工作中,我们考虑高斯门控本地化MoE(GLoME)和块对角协方差本地化MoE(BLoME)回归模型,以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题,无论是从计算和理论的角度。在惩罚极大似然估计的框架下,研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是,我们建立了非渐近的风险界,采取的形式弱预言不等式,提供的下界的处罚举行。我们的模型的良好的经验行为,然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
Mammo-Mamba: A Hybrid State-Space and Transformer Architecture with Sequential Mixture of Experts for Multi-View Mammography
Concordia Institute for Information Systems Engineering (CIISE)(康科德信息系统工程研究所);Concordia University(康科德大学);Thomas Jefferson University Hospital(托马斯·杰斐逊大学医院)
本文提出Mammo-Mamba框架,融合选择性状态空间模型、Transformer注意力与SeqMoE专家细化机制,以提升多视图乳腺X线影像分类效率,并在CBIS-DDSM上实现更优性能。
2025-07-23 cs.CV cs.LG eess.IV
Towards Efficient Mixture of Experts: A Holistic Study of Compression Techniques
University of Maryland, College Park(马里兰大学帕克分校);Rutgers University(罗格斯大学);University of Sydney(悉尼大学)
本文系统研究MoE压缩,提出Layer Drop、Block Drop并结合Expert Slimming与Expert Trimming,在Mixtral-8x7B上以极小性能损失实现6.05倍加速和77.1%内存削减。
2025-03-17 cs.AI cs.LG