Grouped Sequency-arranged Rotation: Optimizing Rotation Transformation for Quantization for Free
Seoul National University(首尔国立大学)
针对LLMs在极低位宽量化下表现不佳的问题,提出免训练的分组序率排列旋转(GSR)方法,利用序率排序的Walsh-Hadamard变换减少量化误差并隔离异常值,在无需训练下达到优化方法相当性能。
2025-08-14 cs.AI cs.CL cs.LG
Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
提出通过数据专家混合高效近似候选数据混合的交叉熵损失,以优化预训练数据混合,在SlimPajama上显著优于仅用混合比例的回归方法,并提升少样本下游性能。
2025-02-21 cs.CL cs.LG
DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
University of Michigan(密歇根大学);Microsoft Research(微软研究院);KAIST AI(韩国科学技术院人工智能研究所);Drexel University(德雷塞尔大学)
针对不断涌现的指令微调数据集,提出DynamixSFT动态自动优化方法。将问题转化为多臂老虎机设置,采用Prior-scaled Boltzmann Exploration和1-Step Look-ahead Reward更新采样概率,有效优化数据集并减少计算开销。
2026-07-07 cs.AI cs.CL cs.LG
Optimizing Large Language Models to Expedite the Development of Smart Contracts
Mazzuma Research(马祖马研究院)
针对智能合约开发存在的知识技能缺口问题,研究推出经优化可生成智能合约代码的大语言模型MazzumaGPT,以提升开发效率,并介绍了模型参数、性能评估及研究的局限与影响。
2023-10-08 cs.AI cs.CL cs.SE
MergeMix: Optimizing Mid-Training Data Mixtures via Learnable Model Merging
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
MergeMix通过可学习模型合并权重优化中训练数据混合,实现高效的数据混合优化,性能优于传统手动调优,且具有高一致性与强可转移性。
2026-01-25 cs.AI cs.LG
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
混合专家模型架构通过独立于计算需求(FLOP)缩放模型参数大小来允许非常大的神经网络。然而,当前的DNN框架不能有效地支持混合专家模型中的动态数据流,并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性,我们提出了DynaMoE,DNN库,使用动态重新编译,优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明,Dyna MoE实现了1.8倍的加速比,并支持2.3倍的模型大小相比,现有的MoE系统,即使不使用重新编译。然后,我们提出了通过动态重新编译实现的进一步优化,可以产生额外的1.7倍加速,同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Mixture of Layers with Hybrid Attention
Department of Software Systems, Uzhhorod National University(软件系统系,乌日霍罗德国立大学)
本文提出MoL,通过减少维度的并行薄块替代全宽度Transformer块,并引入混合注意力解决稀疏路由中的覆盖问题。
2026-05-10 cs.AI cs.LG
Optimizing Block-Sparse Matrix Multiplications on CUDA with TVM
在CUDA平台上实现并优化了稠密矩阵和块稀疏矩阵之间的矩阵乘法运算。我们利用TVM(一种深度学习编译器)来探索操作的调度空间并生成高效的CUDA代码。通过TVM中的自动参数调整,我们的基于跨线程缩减的实现与其他最先进的框架相比具有竞争力或更好的性能。
2020-07-26 cs.DC cs.LG cs.MS
Self-Optimizing and Pareto-Optimal Policies in General Environments based on Bayes-Mixtures
研究了在未知概率环境下的序贯决策问题。在循环$t$中,动作$y_t$导致感知$x_t$和奖励$r_t$,其中所有量通常可以取决于完整的历史。感知$x_t$和奖励$r_t$从(反应性)环境概率分布$μ$中采样。这种非常一般的设置包括但不限于(部分可观察的,k阶)马尔可夫决策过程。序贯决策理论告诉我们,如果$μ$是已知的,我们应该如何行动,以最大化总的预期回报,即价值。如果$μ$未知,则通常使用强化学习。在贝叶斯方法中,将混合分布$ξ$定义为分布$ν\in\M$的加权和,其中$\M$是包括真实环境$μ$的任何分布类。我们表明,贝叶斯最优策略$p^ξ$的基础上的混合$ξ$是自优化的意义上说,所有$μ\in\M$的平均值渐近收敛到(不可行的)贝叶斯最优策略$p^μ$,它知道$μ$提前实现的最优值。我们表明,$\M$承认自我优化的政策在所有的必要条件,也是充分的。未对$\M$进行其他结构假设。作为一个例子的应用程序,我们讨论遍历马尔可夫决策过程,允许自我优化的政策。此外,我们表明,$p^ξ$是帕累托最优的意义上说,没有其他政策产生更高或相等的价值在{ \em所有}环境$ν\in\M$和严格更高的价值在至少一个。
2002-04-17 cs.AI cs.LG math.OC
Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting
本文提出贝叶斯域加权方法,引入Gamma先验从狄利克雷分布推断权重,实现稳定高效的域权重学习,以更少数据识别最优数据混合,适用于大规模应用。
2026-07-31 cs.LG
Dirichlet process mixtures of block $g$ priors for model selection and prediction in linear models
Google Inc.(谷歌公司);Department of Statistics, University of Washington(华盛顿大学统计学系)
本文提出块g先验的狄利克雷过程混合用于线性模型中的模型选择和预测,通过允许不同参数块的差异收缩并考虑预测变量的相关结构,实现了模型选择与连续收缩先验的桥梁。
2026-05-12 cs.LG stat.ME
DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks
National University of Singapore(新加坡国立大学);Agency for Research, Science, Technology and Research (A*STAR)(研究、科技与研发机构)
本文提出DUET算法,通过结合影响函数与贝叶斯优化,利用未见评估任务的反馈优化训练数据混合,理论证明其能收敛至最优混合,实验显示优于现有方法。
2026-05-13 cs.AI cs.LG stat.ML
A Forest Mixture Bound for Block-Free Parallel Inference
University of Southern California(南加州大学)
坐标上升变分推理是概率模型推理的一种重要算法,但由于每次只更新一个变量,速度较慢。块坐标方法通过并行更新变量块来更快地执行推理。然而,这些算法的速度和稳定性取决于如何将变量划分成块。在本文中,我们给出了一个稳定的并行算法推理深指数族,不需要将变量划分成块。我们通过一个新的目标来降低ELBO的边界,我们称之为森林混合边界(FM边界),它将隐藏层中变量的推理问题分开。我们将其应用到简单的情况下,当所有的随机变量都是高斯和经验表明,该算法收敛速度更快的模型,本质上更像森林。
2018-05-17 cs.LG stat.ML
Optimizing the Training Diet: Data Mixture Search for Robust Time Series Forecasting
DISI - Università di Bologna(博洛尼亚大学DISI)
本文提出了一种数据混合搜索方法,通过优化训练数据组成提升时间序列预测的鲁棒性,实验表明其在PMSM数据集上性能提升达19.41%。
2025-12-12 cs.AI cs.LG
Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
提出将基于GMMs的机器人策略优化转化为Wasserstein梯度流问题,利用$L^2$-Wasserstein距离和Bures-Wasserstein流形约束更新,在避障等任务中提升了成功率与稳定性。
2023-05-17 cs.LG cs.RO
BlockLLM: Memory-Efficient Adaptation of LLMs by Selecting and Optimizing the Right Coordinate Blocks
University of British Columbia(不列颠哥伦比亚大学);Yahoo! Research(雅虎研究院);ServiceNow Research(ServiceNow研究院)
BlockLLM受块坐标下降启发,通过选择并优化少量坐标块实现LLM内存高效微调与预训练,在GLUE基准上以少于5%参数取得最先进困惑度,并显著降低内存占用。
2024-12-15 cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research(高通人工智能研究院)
提出Mixture-of-Control(MoC)框架,通过稀疏混合专家机制自适应融合局部和全局控制信号,增强Transformer块间信息交换,实现高效微调。
2026-10-22 cs.AI cs.LG
Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本研究针对机器人模仿学习的数据选择问题,提出Re-Mix方法,基于分布鲁棒优化学习数据集域权重,通过早停等策略适配机器人数据差异,在Open X-Embodiment数据集上显著优于均匀及人工权重。
2024-08-26 cs.LG cs.RO
Optimizing Distributed Deployment of Mixture-of-Experts Model Inference in Serverless Computing
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
针对无服务器平台上大型MoE推理的专家热度倾斜与scatter-gather通信瓶颈,提出结合多维epsilon-greedy搜索的贝叶斯优化部署框架,在AWS Lambda上显著降低计费成本并保持吞吐量。
2025-01-09 cs.DC cs.LG
Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach
Illinois Institute of Technology(伊利诺伊理工学院);Drexel University(德雷塞尔大学)
本文提出一种双模型策略,通过线性组合标准与鲁棒化MoE模型,并采用联合训练JTDMoE,在保持高自然准确率的同时增强对抗鲁棒性,实验验证了其有效性。
2025-05-27 cs.AI cs.LG
RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
Sun Yat-sen University(中山大学)
RevFFN通过可逆Transformer块实现混合专家语言模型的高效全参数微调,减少内存消耗,提升训练效率。
2025-12-24 cs.AI cs.LG
Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心)
Q-Strata是一种双层分配器,通过为混合专家MoE大型语言模型的每个模块设置一个预算,优化模型级目标以实现混合精度量化,在低比特 regime 下优于GPTQ、MxMoE和GEMQ。
2026-09-01 cs.AI cs.LG
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Mixture of multilayer stochastic block models for multiview clustering
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);Univ Evry(埃夫里大学);ENSIIE(法国信息与能源工程科学学院)
本文提出一种多层随机块模型混合方法,通过共成员矩阵聚合多源聚类,利用变分贝叶斯EM算法估计参数并自动选择最优簇数,在合成数据和全球食品贸易网络分析中表现优异。
2024-01-09 cs.LG math.ST stat.ML
IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
DreamX, Alibaba Group(阿里巴巴集团 DreamX)
IntBMoE通过块级条件与稀疏执行解耦参与度、执行度和物化度,实现全参与MoE,在图像分类、语言建模和推荐任务上超越基线,并已部署于高德地图推荐系统。
2026-09-21 cs.LG
Nondiagonal Mixture of Dirichlet Network Distributions for Analyzing a Stock Ownership Network
the University of Tokyo(东京大学);Rikkyo University(立教大学);National Institute of Informatics(国立信息学研究所);The Canon Institute for Global Studies(佳能全球研究所)
块模型在复杂网络研究中有着广泛的应用。基石模型是随机块模型(SBM),在过去几十年中被广泛使用。然而,SBM在分析复杂网络时受到限制,因为该模型本质上是一个随机图模型,无法再现许多复杂网络的基本属性,例如稀疏性和重尾度分布。在本文中,我们提供了一个边缘可交换块模型,结合这些基本功能,同时推断出一个给定的复杂网络的潜在块结构。我们的模型是一个贝叶斯非参数模型,它灵活地估计块的数量,并考虑到看不见的节点的可能性。使用一个合成数据集和一个现实世界的股票所有权数据集,我们表明,我们的模型优于国家的最先进的SBM的举行了链接预测任务。
2020-11-01 cs.LG cs.SI stat.ML
Optimizing Mixture-of-Experts Inference Time Combining Model Deployment and Communication Scheduling
本文提出 Aurora 方法,通过联合优化 MoE 模型的部署与全对全通信调度,在多种 GPU 集群场景下最小化推理时间,并在同构和异构环境中分别实现最高 2.38 倍和 3.54 倍加速。
2024-10-22 cs.LG cs.NI
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Private estimation algorithms for stochastic block models and mixture models
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院);Università Bocconi(博科尼大学);UC San Diego(加州大学圣迭戈分校)
本文提出高维私有估计通用工具,实现随机块模型恢复和球面高斯混合中心恢复,统计保证接近非私有算法,且为首个高效差分私有算法。
2023-11-16 cs.CR cs.DS cs.LG
An Introduction to the Practical and Theoretical Aspects of Mixture-of-Experts Modeling
La Trobe University(拉筹伯大学);Normandie Universite(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
专家混合模型(Mixture-of-Experts,MoE)是对复杂数据生成过程(DGP)中产生的数据进行建模的强大范例。在这篇文章中,我们演示了如何构建不同的MoE模型来近似任意类型数据的底层DGP。由于概率性质的MoE模型,我们提出了最大拟似然(MQL)估计作为一种方法估计MoE模型参数的数据,我们提供的条件下,MQL估计是一致的和渐近正态的。提出了块最小化-最大化(blockwise-MM)算法框架,作为构造获得MQL估计的算法的通用方法。提供了逐块MM算法的示例推导。然后,我们提出了一种方法来构建信息准则估计的数量在MoE模型和经典的贝叶斯信息准则(BIC)提供的理由。我们解释了如何使用MoE模型进行分类,聚类和回归,我们说明了这些应用程序通过一对工作的例子。
2017-07-12 cs.LG stat.ML
Optimizing SSD Caches for Cloud Block Storage Systems Using Machine Learning Approaches
本文提出一种利用机器学习动态优化云块存储系统SSD缓存写入策略的方法,通过实时识别并过滤只写数据,显著减少有害写入并提升缓存利用率,优于传统方法。
2025-01-28 cs.DC cs.LG cs.OS
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida(中佛罗里达大学)
本文考虑了一种混合多层随机块模型(MMLSBM),该模型将多层网络划分为多个相似的网络组,每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群,并识别这些层中的社区。Jing等人(2020)介绍了MMLSBM,并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术,交替最小化算法(ALMA),其目的是在同时恢复的层分区,连同不同层的连接概率的矩阵的估计。与TWIST相比,ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
Block Chain and Internet of Nano-Things for Optimizing Chemical Sensing in Smart Farming
Waterford Institute of Technology(沃特福德理工学院);National University Galway(爱尔兰国立高威大学);Teagasc(爱尔兰农业与食品发展局)
物联网(IoT)与纳米物联网(IoNT)的结合使用可以进一步扩展决策系统(DMS)以提高可靠性,因为它提供了一系列更细粒度的数据来做出决策。然而,越来越多的问题,如数据安全性,透明度和处理能力的挑战,他们在现实世界中的应用。DMS与区块链(BC)技术的集成可以为克服这些挑战做出巨大贡献。使用IoNT和IoT以及BC来制作DMS还没有被调查过。本研究提出了一种BC供电的IoNT(BC-IoNT)系统,用于在农场管理的背景下感测化学品水平。这是智能农业的一个关键应用,旨在通过控制化学品的交付来改善可持续的农业实践。BC-IoNT系统包括通过使用朗缪尔分子结合模型和贝叶斯理论形成的新型机器学习模型,并用作感知化学品水平的智能合约。信用模型用于量化农场的可追溯性和可信度,以确定它们是否符合化学标准。分布式BC-IoNT方法检测化学品的准确率>90%,集中式方法<80%。此外,感测化学品水平的效率取决于采样频率和农场之间化学品水平的变化。
2020-10-05 cs.DC cs.LG eess.SP
Mining Block I/O Traces for Cache Preloading with Sparse Temporal Non-parametric Mixture of Multivariate Poisson
NetApp, Inc.(网存公司);Indian Institute of Science(印度科学学院)
本文提出稀疏时间非参数混合多维泊松模型,用于从块I/O轨迹中挖掘缓存预加载的长程模式,通过稀疏建模提高效率,实验证明在基准轨迹上显著提升命中率。
2014-10-13 cs.LG cs.OS cs.SY
Mixtures of Subspaces for Bandwidth Efficient Context Parallel Training
Pluralis Research
提出一种基于子空间混合的压缩方法,在低带宽分布式训练中实现超过95%的通信压缩,支持百亿参数模型在100K上下文长度下高效训练。
2026-06-16 cs.LG
Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals
本研究提出首个利用混合专家(MoE)专属内部信号的InnerExpert方法,在五个数据集和两种MoE架构上,以单次前向传播实现优于现有方法的逐词幻觉检测性能。
2026-08-19 cs.AI cs.LG
HAR-DoReMi: Optimizing Data Mixture for Self-Supervised Human Activity Recognition Across Heterogeneous IMU Datasets
School of Computer Science, University of South China(南华大学计算机学院);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Engineering and Design, Department of Electrical, Computer and Software Engineering, University of Auckland(奥克兰大学电气、计算机与软件工程学院工程设计部门)
本文提出 HAR-DoReMi 框架,通过 MSE 掩码重建与 Mahony 朝向对齐优化自监督 HAR 预训练数据混合,在跨异构 IMU 数据集迁移中以更少数据显著提升准确率。
2025-03-16 cs.AI cs.LG
Mammo-Mamba: A Hybrid State-Space and Transformer Architecture with Sequential Mixture of Experts for Multi-View Mammography
Concordia Institute for Information Systems Engineering (CIISE)(康科德信息系统工程研究所);Concordia University(康科德大学);Thomas Jefferson University Hospital(托马斯·杰斐逊大学医院)
本文提出Mammo-Mamba框架,融合选择性状态空间模型、Transformer注意力与SeqMoE专家细化机制,以提升多视图乳腺X线影像分类效率,并在CBIS-DDSM上实现更优性能。
2025-07-23 cs.CV cs.LG eess.IV
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);La Trobe University(乐卓博大学);University of Queensland(昆士兰大学)
专家混合(MoE)是一类流行的统计和机器学习模型,多年来由于其灵活性和效率而受到关注。在这项工作中,我们考虑高斯门控本地化MoE(GLoME)和块对角协方差本地化MoE(BLoME)回归模型,以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题,无论是从计算和理论的角度。在惩罚极大似然估计的框架下,研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是,我们建立了非渐近的风险界,采取的形式弱预言不等式,提供的下界的处罚举行。我们的模型的良好的经验行为,然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST