Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SToICaL损失,通过项级再加权和前缀树边际化,提升LLM在排序任务中的表现,证明ARR在表达能力上优于双编码器。
2026-02-11 cs.AI cs.IR cs.LG
Option Pricing and Hedging for Discrete Time Autoregressive Hidden Markov Model
HEC Montréal(蒙特利尔高等商学院);Concordia University(康考迪亚大学)
本文研究了资产收益服从多元自回归隐马尔可夫模型的离散时间均值-方差套期保值问题。时间相关波动率和序列相关性是金融时间序列的公认性质,我们的模型涵盖了两者。为了说明我们所提出的方法的相关性,我们首先通过似然比检验和一种新的拟合优度检验对标准普尔500指数的日收益率与著名的隐马尔可夫模型进行比较。其次,我们提出了标准普尔500香草期权的样本外对冲结果,以及一个基于理论价格的交易策略,我们比较简单的模型,包括经典的布莱克-斯科尔斯delta对冲方法。
2017-07-07 cs.LG q-fin.CP q-fin.PR
TRACE: Temporal Routing with Autoregressive Cross-channel Experts for EEG Representation Learning
Department of Biomedical Informatics and Data Science, Yale University(耶鲁大学生物医学信息学与数据科学系)
TRACE通过自回归跨通道专家实现EEG表示学习,解决多通道非平稳信号的时序路由问题,提升跨通道一致性与时间适应性。
2026-05-12 cs.AI cs.LG
Autoregressive Asymmetric Linear Gaussian Hidden Markov Models
Universidad Politécnica de Madrid(马德里理工大学);Aingura IIoT(Aingura工业物联网公司)
本文提出一种带非对称自回归成分的隐马尔可夫模型,能自适应选择自回归阶数以最大化惩罚似然,并适配推理、解码与学习,实验验证其有效性。
2020-10-27 cs.LG stat.AP stat.ME
Autoregressive GNN-ODE GRU Model for Network Dynamics
Shanghai Jiao Tong University(上海交通大学);Shanghai University(上海大学)
揭示网络上的连续动力学对于理解、预测甚至控制复杂系统是必不可少的,但是由于复杂和未知的控制方程、复杂系统的高维数以及不令人满意的观测结果,很难学习和建模连续网络动力学。此外,在实际情况下,观测到的时间序列数据通常是不均匀和稀疏的,这也带来了严重的挑战。在本文中,我们提出了一个自回归GNN-ODE GRU模型(AGOG)学习和捕获连续的网络动态,并实现预测节点状态在任意时间的数据驱动的方式。GNN模块用于对复杂的非线性网络动力学进行建模。该方法利用常微分方程系统确定节点状态的隐态,利用增广常微分方程系统将GNN映射到连续时域。隐藏状态通过GRUCell通过观察进行更新。作为先验知识,在同一时间戳的真实观察与下一次预测的隐藏状态相结合。我们使用自回归模型进行一步预测的基础上的观测历史。通过求解常微分方程的初值问题来实现预测。为了验证我们的模型的性能,我们将学习的动态可视化,并在三个任务中进行测试:插值重建,外推预测和规则序列预测。结果表明,该模型能够准确地捕捉复杂系统的连续动态过程,并以最小的误差对节点状态进行精确预测。我们的模型可以始终优于其他基准或实现可比的性能。
2022-11-19 cs.AI cs.LG
Partially Hidden Markov Chain Linear Autoregressive model: inference and forecasting
Nantes University(南特大学);LS2N / UMR CNRS 6004(LS2N / 法国国家科研中心UMR 6004)
在计量经济学、金融学和气象学等领域,时间序列的变化引起了人们的极大兴趣。对于离散值区域,一些模型,如流行的隐马尔可夫链(HMC)描述的时间序列,其状态过程在所有时间步是未知的。有时,由于一些注释功能,时间序列首先被标记。因此,另一类模型处理的情况下,在所有的时间步骤观察制度。我们提出了一个新的模型,解决了中间的情况下:(一)状态过程与这样的时间序列部分隐马尔可夫链(PHMC)建模;(二)线性自回归(LAR)模型驱动的动态的时间序列,在每个政权。我们描述了一个变体的期望最大化(EM)算法致力于PHMC-LAR模型学习。我们提出了一个隐藏的状态推理过程和预测功能,考虑到观察到的状态时,存在。我们评估推理和预测性能,并分析EM收敛时间的新模型,使用模拟数据。我们展示了使用部分观测状态来减少EM收敛时间的好处。带有不可靠标签的完全标记方案也可以加快EM。这为增强PHMC-LAR模型选择提供了有希望的前景。我们还指出,PHMC-LAR的鲁棒性标记错误的推理任务,当大的训练数据集和适度的标签出错率考虑。最后,我们强调了显着的鲁棒性错误标记的预测任务,在整个范围内的出错率。
2021-02-24 cs.LG
Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach
KU Leuven(鲁汶大学);Siemens Digital Industries Software(西门子数字工业软件)
本文提出一种基于自回归混合专家模型的两阶段从观测中模仿学习方法,结合Lyapunov稳定性约束确保模型渐近稳定性,并在自动驾驶数据集上验证了其建模复杂非线性动力学的有效性。
2024-11-12 cs.LG math.OC
Autoregressive Hidden Markov Models with partial knowledge on latent space applied to aero-engines prognostics
Department of Applied Mechanics(应用力学系);Institut FEMTO-ST, UBFC/UFC/ENSMM/CNRS/UTBM(FEMTO-ST 研究所,UBFC/UFC/ENSMM/CNRS/UTBM)
[This论文最初发表在2016年的PHME会议上,被选为进一步发表在国际预后与健康管理杂志上。提出了一种基于传感器数据的设备故障检测与故障诊断的自回归部分隐马尔可夫模型(ARPHMM)。它是一种特殊的动态贝叶斯网络,允许通过隐马尔可夫模型(HMM)和自回归(AR)过程来表示系统的动态。马尔可夫链假设系统在内部状态之间来回切换,而AR过程确保传感器测量的时间相干性。基于极大似然的标准ARHMM的良好学习过程允许同时迭代地估计所有参数。本文提出了一种修改的学习过程,考虑到一个可能有先验知识的结构,成为部分隐藏。先验的整合是基于加权分布理论,该理论与期望最大化算法在收敛性质仍然满足的意义上兼容。我们将展示如何应用该模型来估计剩余的使用寿命的健康指标的基础上。自回归参数确实可以用于预测,而潜在结构可以用于获得有关退化水平的信息。CMAPSS数据集上证明了所提出的方法的性能和健康评估的兴趣。
2021-05-01 cs.LG stat.AP stat.ME
Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training
Princeton University(普林斯顿大学);Meta AI
针对MoE模型路由网络不可微的问题,提出全可微分MoE架构Lory,通过因果分段路由和相似度批处理技术实现自回归语言模型预训练,性能优于同参数量稠密模型且具备领域专业化能力。
2024-08-19 cs.CL cs.LG
Unveiling Hidden Collaboration within Mixture-of-Experts in Large Language Models
Tsinghua University(清华大学);College of Software, Northeastern University(东北大学软件学院)
针对MoE LLMs专家协作机制不明的问题,提出HSDL方法识别协作模式、CAEP算法剪枝低贡献专家,实验验证模式与输入类型相关且语义显著,剪枝平均提升性能2.5%,为模型优化与可解释性提供支持。
2025-04-16 cs.AI cs.LG
Causal Imitation Learning under Expert-Observable and Expert-Unobservable Confounding
Department of Computer Science, University of Oxford, UK(计算机科学系,牛津大学);ETH Zurich, Switzerland(苏黎世联邦理工学院)
本文提出DML-IL算法,通过工具变量回归解决因果模仿学习中的隐藏混杂问题,并在连续状态-动作环境中优于现有基线方法。
2026-01-29 cs.AI cs.LG
SoftMoE: Soft Differentiable Routing for Mixture-of-Experts in LLMs
AGH University of Krakow, Poland(克拉科夫AGH大学);Faculty of Mathematics(数学系);Computer Science, Jagiellonian University, Poland(计算机科学系,杰哥利安大学,波兰);Centre for Credible Artificial Intelligence, Warsaw University of Technology(可信人工智能中心,华沙技术大学)
提出SoftMoE,通过软top-k LapSum松弛替代离散路由,实现专家路由的梯度优化,并学习每层专家激活数量,在语言建模中激活更少专家达到相当或更优性能。
2026-06-17 cs.AI cs.LG
Non-Autoregressive Machine Translation with Auxiliary Regularization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Peking University(北京大学)
非自回归机器翻译(NAT)作为一种新的神经机器翻译方法,因其高效的推理能力而受到广泛关注。然而,高效率是以不捕获对转换的目标侧的顺序依赖性为代价的,这导致NAT遭受两种类型的转换错误:1)重复的转换(由于不可区分的相邻解码器隐藏状态),以及2)不完整的转换(由于经由解码器隐藏状态的源侧信息的不完整传输)。在本文中,我们建议通过在NAT模型的训练过程中通过两个辅助正则化项来提高解码器隐藏表示的质量来解决这两个问题。首先,为了使隐藏状态更加可区分,我们根据相应的目标令牌来正则化连续隐藏状态之间的相似性。其次,为了迫使隐藏状态包含源句子中的所有信息,我们利用翻译任务的双重性质(例如,英语到德语和德语到英语),并最小化后向重构误差,以确保NAT解码器的隐藏状态能够恢复源侧语句。在多个基准数据集上进行的大量实验表明,这两种正则化策略都是有效的,可以缓解NAT模型中的重复翻译和不完整翻译问题。因此,NAT模型的准确性相对于最先进的NAT模型显著提高,具有更好的推理效率。
2019-02-22 cs.CL cs.LG stat.ML
Towards Faster Language Model Inference Using Mixture-of-Experts Flow Matching
Duke University(杜克大学)
本文提出MoE-FM框架,通过分解复杂潜空间传输几何结构,提升语言模型推断效率,YAN模型在多个任务中表现优异,速度提升显著。
2026-04-16 cs.AI cs.LG
A Neural Autoregressive Approach to Collaborative Filtering
Hulu LLC.(葫芦有限责任公司)
本文提出了CF-NADE,一个神经自回归架构的协同过滤(CF)任务,这是受限制玻尔兹曼机(RBM)的CF模型和神经自回归分布估计(NADE)。我们首先描述了CF任务的基本CF-NADE模型。然后,我们提出了改进模型之间共享参数不同的评级。一个因子化的版本CF-NADE也提出了更好的可扩展性。此外,我们考虑的顺序性质的偏好,并提出了一个顺序成本优化CF-NADE,表现出优越的性能。最后,CF-NADE可以扩展到深度模型,仅适度增加计算复杂性。实验结果表明,具有单个隐藏层的CF-NADE在MovieLens 1 M,MovieLens 10 M和Netflix数据集上击败了所有先前的最先进方法,并且添加更多隐藏层可以进一步提高性能。
2016-05-31 cs.IR cs.LG stat.ML
FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping
University of Texas at Austin(德克萨斯大学奥斯汀分校);Eindhoven University of Technology(埃因霍温理工大学);University of Aberdeen(阿伯丁大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Oxford(牛津大学)
针对自回归 LLM 逐层生成的计算瓶颈,本文提出输入自适应的 FFN-SkipLLM,在无需处理 KV cache 的情况下跳过 25–30% 的 FFN 块,并在多项知识密集型基准上保持接近原模型性能。
2024-04-05 cs.CL cs.LG
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University(斯旺西大学);University of Sheffield(谢菲尔德大学)
估计隐藏的过程从非线性噪声观测是特别困难的,当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地,由自回归移动平均(ARMA)线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗(SMC)算法涉及采样与重要性采样响应(SISR)。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后,以基因表达时间序列中缺失值的估计为例,证明了该方法在向量自回归(VAR)数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Switching between Hidden Markov Models using Fixed Share
Centrum Wiskunde & Informatica (CWI)(荷兰数学和计算机科学研究学会(CWI))
在专家建议的预测中,目标是设计在线预测算法,与参考方案相比,实现较小的遗憾(整个数据的额外损失)。在最简单的这种方案中,人们可以将其比作事后失去了最好的专家。一个更雄心勃勃的目标是将数据划分为多个部分,并与每个部分的最佳专家进行比较。这是适当的,如果数据的性质变化之间的部分。标准的固定份额算法是快速和实现小的遗憾相比,这种方案。固定份额将专家视为黑箱:没有关于他们如何产生预测的假设。但是,如果专家正在学习,那么就会出现以下问题:专家应该从所有数据中学习,还是只从自己所在领域的数据中学习?原始算法自然解决了第一种情况。在这里,我们考虑第二种选择,这是更合适的时候,数据的性质变化段之间。一般来说,将固定份额扩展到第二种情况将使其在T结果上的T因子减慢。然而,我们表明,没有这样的减速是必要的,如果专家是隐马尔可夫模型。
2010-08-26 cs.LG
$n$-Musketeers: Reinforcement Learning Shapes Collaboration Among Language Models
University of California, Irvine(加州大学欧文分校);Intel Corporation(英特尔公司);United States Military Academy at West Point(美国西点军校);Northeastern University(东北大学)
本文提出软隐藏状态协作方法,通过可训练的注意力接口整合多个冻结的SLM专家,实验证明其在推理任务中与强基线竞争,并揭示了专家利用的双机制。
2026-02-09 cs.AI cs.LG
Monte Carlo Tree Diffusion with Multiple Experts for Protein Design
University of Chicago(芝加哥大学);Data Science Institute(数据科学研究所);Department of Biochemistry and Molecular Biology(生物化学与分子生物学系);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Argonne National Laboratory(阿贡国家实验室);Princeton University(普林斯顿大学)
MCTD-ME通过结合多专家的蒙特卡洛树扩散方法,提升蛋白质设计任务的性能,特别是在反向折叠、折叠和条件设计挑战中表现优异。
2026-02-23 cs.AI cs.LG q-bio.BM
ExpertMatcher: Automating ML Model Selection for Clients using Hidden Representations
MIT(麻省理工学院);MGH/Harvard Medical School(麻省总医院/哈佛医学院)
最近,已经开发了拆分学习,一种用于分布式计算的框架,其中模型组件在客户端和服务器之间拆分(Vepakomma等人,2018年b)。由于拆分学习扩展到包括许多不同的模型组件,因此需要一种将客户端模型组件与最佳服务器端模型组件相匹配的方法。在ExpertMatcher(Sharma等人,2019)框架,它使用自动编码器将原始数据与模型相匹配。在这项工作中,我们提出了一个扩展的ExpertMatcher,匹配可以执行,而不需要共享客户端的原始数据表示。该技术适用于存在本地客户端和集中式专家ML模型的情况,但原始数据的共享受到限制。
2019-10-09 cs.CV cs.DC cs.LG
Hint-Based Training for Non-Autoregressive Machine Translation
UC Berkeley(加州大学伯克利分校);Peking University(北京大学);Google AI(谷歌人工智能);Facebook(脸书);Microsoft Research(微软研究院)
由于自回归因子分解的不可并行性,自回归转换(ART)模型必须在解码期间顺序地生成令牌,因此遭受高推理延迟。非自回归翻译(NART)模型被提出来减少推理时间,但只能达到较差的翻译精度。在本文中,我们提出了一种新的方法来利用隐藏状态和单词对齐的提示来帮助训练NART模型。对于WMT 14 En-De和De-En数据集,结果比以前的NART模型有了显着的改进,甚至可以与基于LSTM的ART基线相媲美,但在推理方面快了一个数量级。
2019-09-15 cs.CL cs.LG stat.ML
FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Research Institute(中国电信研究院)
本研究提出FM-LLM框架,通过频谱标记对齐器与非对称MoE解码器等设计,在11个基准的多数指标上优于现有LLM基线,且具备良好迁移性。
2026-08-13 cs.AI cs.LG cs.NI
Fast Generation for Convolutional Autoregressive Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
卷积自回归模型最近在许多生成任务上表现出最先进的性能。虽然快速、并行的训练方法对于它们的成功至关重要,但生成通常是以一种天真的方式实现的,其中不必要地重复冗余计算。这会导致生成速度缓慢,使此类模型不适用于生产环境。在这项工作中,我们描述了一种方法来加快生成卷积自回归模型。其关键思想是缓存隐藏状态以避免冗余计算。我们将我们的快速生成方法应用于Wavenet和PixelCNN ++模型,并分别实现了$21\times$和$183\times$的加速。
2017-04-20 cs.CV cs.LG stat.ML
Deep AutoRegressive Networks
Google DeepMind(谷歌DeepMind)
我们引入了一个深度的,生成式的自动编码器,能够从数据中学习分布式表示的层次结构。连续的深随机隐藏层配备有自回归连接,这使得模型能够通过祖先采样快速准确地采样。我们推导出一个有效的近似参数估计方法的基础上的最小描述长度(MDL)的原则,这可以被看作是最大化的变分下界的对数似然,与前馈神经网络实现近似推理。我们在一些经典数据集上展示了最先进的生成性能:几个UCI数据集,MNIST和Atari 2600游戏。
2014-05-20 cs.LG stat.ML
Improving MoE Compute Efficiency by Composing Weight and Data Sparsity
University of Washington(华盛顿大学)
通过结合权重和数据稀疏性,提高MoE计算效率,减少训练-推理不匹配,提升模型性能。
2026-01-21 cs.AI cs.LG
Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment
Duke University(杜克大学);AITHYRA
本文提出REPR-ALIGN方法,通过表征对齐将自回归模型转换为扩散模型,实现4倍训练加速,尤其在低数据情况下效果显著。
2026-05-07 cs.AI cs.LG
How Do Consumers Really Choose: Exposing Hidden Preferences with the Mixture of Experts Model
EGADE Business School Tec de Monterrey(蒙特雷理工学院EGADE商学院)
本文引入专家混合(MoE)框架建模消费者异质性偏好,利用概率门控和专家网络动态细分消费者,并在大规模零售数据上验证其预测准确性优于传统计量模型,为需求预测和精准营销提供新方法。
2025-03-03 cs.LG econ.EM
Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode
该研究协同设计流水线原生Transformer架构与CPU推理引擎cflow,在TinyStories训练任务上实现了更低的权重带宽、更少的缓存缺失,且解码速度优于同类模型的CPU后端。
2026-08-26 cs.AR cs.LG cs.PF
dpart: Differentially Private Autoregressive Tabular, a General Framework for Synthetic Data Generation
Hazy(Hazy公司);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
我们提出了一个通用的,灵活的,可扩展的框架dpart,一个开源的Python库的差异私人合成数据生成。该方法的核心是自回归建模-将联合数据分布分解为一系列低维条件分布,通过各种方法捕获,例如机器学习模型(逻辑/线性回归,决策树等),简单的直方图计数或自定义技术。创建该图书馆的目的是作为一个快速和可访问的基线,并容纳广泛的用户,从那些在合成数据生成方面迈出第一步的用户,到那些具有领域专门知识的更有经验的用户,他们可以配置建模的不同方面并提出新的方法/机制。dpart的具体实例包括Independent,PrivBayes的优化版本,以及新提出的模型dp-mappop。代码:https://github.com/hazy/dpart
2022-07-12 cs.CR cs.LG
Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Scitix;Cornell University(康奈尔大学);Duke University(杜克大学);UC Davis(加州大学戴维斯分校);Southern University of Science and Technology(南方科技大学)
本文提出专家选择路由方法,通过确定性负载平衡提升扩散语言模型的吞吐量和收敛速度,并展示如何通过时间步依赖的专家容量优化计算分配,从而在匹配FLOPs下提升性能。
2026-08-04 cs.CL cs.LG
Learning Deep Representation Without Parameter Inference for Nonlinear Dimensionality Reduction
无监督深度学习是最强大的表示学习技术之一。受限玻尔兹曼机、稀疏编码、正则化自动编码器和卷积神经网络是深度学习的先驱构建模块。本文提出了一种新的构造块--分布随机模型。该方法是专家乘积的一种特殊的完全实现:(1)每个专家拥有多个隐单元,不同的专家拥有不同数量的隐单元;(ii)每个专家的模型是k-中心聚类,其k-中心仅是均匀采样的示例,并且其输出(即隐藏单元)是仅保留来自几个最近邻居的相似性值的稀疏码。最后,分析了该方法与当前研究热点、几个主要研究方向之间的关系。实验结果表明,该深度模型能够学习到比深度信念网络更好的表示,同时可以用比深度信念网络更少的时间训练更大的网络。
2014-01-02 cs.LG stat.ML
Data-Driven Stochastic Modeling Using Autoregressive Sequence Models: Translating Event Tables to Queueing Dynamics
Columbia University, Graduate School of Business(哥伦比亚大学商学院)
本文提出基于自回归序列模型的数据驱动框架,从事件流学习条件分布,自动构建排队网络仿真器,实现高保真仿真、不确定性量化与反事实评估。
2025-09-06 cs.LG
AMLNet: Adversarial Mutual Learning Neural Network for Non-AutoRegressive Multi-Horizon Time Series Forecasting
School of Computer Science, The University of Sydney(悉尼大学计算机学院)
AMLNet 通过在线知识蒸馏结合深层 AR 与 NAR 解码器作为集成教师,并利用结果驱动和提示驱动两种机制训练浅层 NAR 解码器,在提升多时段时序预测精度的同时加快计算速度。
2023-10-30 cs.LG
Generating Hidden Markov Models from Process Models Through Nonnegative Tensor Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);North Carolina State University(北卡罗来纳州立大学)
本文提出一种基于非负张量分解的新方法,将专家构建的理论过程模型与相互关联的最小隐马尔可夫模型(HMM)集成,以克服数据稀缺问题,并在合成与真实过程模型上验证了其有效性。
2024-04-26 cs.LG
Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference
Imperial College London(帝国理工学院伦敦分校)
提出一种基于编译器优先的状态空间对偶性(SSD)结构的推理方法,通过标准JAX原语实现无自定义内核的单源推理路径,在TPU和GPU上达到高硬件利用率,且缓存解码速度比全前缀重计算快27-36倍。
2026-06-11 cs.AI cs.DC cs.LG
Stochastic Action Prediction for Imitation Learning
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber Physical Systems(罗伯特·博世信息物理系统中心)
模仿学习是一种数据驱动的获取技能的方法,它依赖于专家演示来学习将观察映射到行动的策略。在执行演示时,专家并不总是一致的,可能会以略有不同的方式完成相同的任务。在本文中,我们展示了固有的随机性,收集的任务,包括线以下的遥控车和操作任务,包括达到,推动,采摘和放置一个对象的演示。我们使用自回归动作生成,生成对抗网络和变分预测来模拟数据分布的随机性,并比较这些方法的性能。我们发现,占随机性的专家数据导致任务完成的成功率大幅提高。
2020-12-26 cs.LG cs.RO
Anomaly Detection by Recombining Gated Unsupervised Experts
Fraunhofer AISEC(弗劳恩霍夫应用集成安全研究所)
异常检测已被认为是在几个程度的先验知识。无监督方法不需要任何标记的数据,而半监督方法利用一些已知的异常。受混合专家模型和对神经网络隐藏激活的分析的启发,我们提出了一种新的数据驱动的异常检测方法ARGUE。我们的方法不仅适用于无监督和半监督环境,而且还受益于自监督设置的先验知识。我们将ARGUE设计为专用专家网络的组合,这些专家网络专门处理部分输入数据。ARGUE采用门控混合专家体系结构,将分布在各专家系统中的知识进行融合,以做出最终决策。我们的评估动机,先验知识的正常数据分布可能是有价值的已知异常。
2022-05-23 cs.LG stat.ML
INSIGHT: Universal Neural Simulator for Analog Circuits Harnessing Autoregressive Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出INSIGHT,一个基于自回归Transformer的GPU通用神经仿真器,能以微秒级推理准确预测模拟电路性能,并作为代理模型将尺寸调整所需实时仿真降至20次以下,成本降低100-1000倍。
2024-08-06 cs.CE cs.LG
Efficient Mixture-of-Experts with Speculative Decoding via Expert Coactivation
Apple(苹果公司)
本研究针对MoE模型结合投机解码时内存传输瓶颈问题,发现训练中采用全局负载均衡损失、共享专家、一致性损失和自回归专家选择机制可增强专家共激活,从而在保持准确率的同时将吞吐量提升21%。
2026-09-22 cs.CL cs.LG
A Deep and Autoregressive Approach for Topic Modeling of Multimodal Data
Tsinghua University(清华大学);Université de Sherbrooke(舍布鲁克大学)
基于潜在狄利克雷分配(LDA)的主题建模已经成为处理多模态数据的首选框架,例如在图像标注任务中。对多模态数据进行建模的另一种流行方法是通过深度神经网络,例如深度玻尔兹曼机(DBM)。最近,一种新型的主题模型被称为文档神经自回归分布估计(DocNADE),并证明了最先进的性能,为文本文档建模。在这项工作中,我们将展示如何成功地应用和扩展该模型的多模态数据,如同时图像分类和注释。首先,我们提出SupDocNADE,监督扩展DocNADE,增加了辨别能力的学习隐藏的主题功能,并显示如何使用它来学习联合表示从图像视觉词,注释词和类标签信息。我们在LabelMe和IUC-Sports数据集上测试了我们的模型,并表明它与其他主题模型相比毫不逊色。其次,我们提出了我们的模型的深度扩展,并提供了一种有效的方法来训练深度模型。实验结果表明,我们的深度模型优于其浅版本,并达到最先进的性能多媒体信息检索(MIR)Flickr数据集。
2015-12-31 cs.CV cs.IR cs.LG
Auxiliary-task learning for geographic data with autoregressive embeddings
University of Warwick(华威大学);New York University(纽约大学)
机器学习在处理地理数据的广泛领域越来越受欢迎,例如生态学或大气科学。在这里,数据通常表现出空间效应,这对于神经网络来说可能很难学习。在这项研究中,我们提出了SXL,一种使用辅助任务将空间数据自回归性质的信息直接嵌入学习过程的方法。我们利用当地的莫兰的我,一个流行的措施,当地的空间自相关,“轻推”的模型学习的方向和幅度的地方空间效应,补充学习的主要任务。我们进一步介绍了一种新的扩展莫兰的我多个决议,从而捕捉空间的相互作用,同时在较长和较短的距离。新颖的多分辨率Moran's I可以很容易地构建,并且作为多维张量提供无缝集成到现有的机器学习框架中。在使用真实世界数据的一系列实验中,我们强调了我们的方法如何在无监督和监督学习任务中持续改进神经网络的训练。在生成空间建模实验中,我们提出了一种新的损失辅助任务GANs利用任务的不确定性权重。我们提出的方法优于特定领域的空间插值基准,突出了其下游应用的潜力。这项研究将地理信息科学和机器学习的专业知识结合起来,展示了这种学科整合如何有助于解决特定领域的挑战。我们的实验代码可以在Github上找到:https://github.com/konstantinklemmer/sxl。
2021-08-19 cs.CV cs.LG stat.ML
Emulating the dynamics of complex systems using autoregressive models on manifolds (mNARX)
ETH Zürich(苏黎世联邦理工学院)
提出mNARX方法,通过构建最优外生输入流形并分解子问题,高效准确模拟复杂动力系统,在弹簧-质量系统和风力发电机模拟中优于传统自回归代理。
2023-10-12 cs.LG stat.AP stat.CO