Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models
Nonclinical Biostatistics, F. Hoffmann-La Roche, Switzerland（非临床生物统计学，霍夫曼拉罗奇公司，瑞士）；Institute for Mathematical Stochastics, Cluster of Excellence “Multiscale Bioimaging: from Molecular Machines to Networks of Excitable Cells”（数学概率研究所，卓越中心“多尺度生物成像：从分子机器到可兴奋细胞网络”）；Georg-August-Universität Göttingen, Germany（哥廷根大学，德国）
本文提出了一种快速自适应三元分割（QATS）方法，通过分治策略在序列长度上具有多项对数复杂度，在状态空间大小上具有三次复杂度，适用于大规模隐马尔可夫模型。该方法通过自适应搜索近似最大化局部似然得分，实现了比Viterbi和PMAP更快的解码速度和更高的精度。
2025-10-04 cs.LG stat.ME stat.ML
Adaptive-Distribution Randomized Neural Networks for PDEs: A Low-Dimensional Distribution-Learning Framework
School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, China（西安交通大学数学与统计学院，西安，陕西710049，中国）
本文提出AD-RaNN框架，通过低维优化解决随机神经网络在求解PDEs时的分布敏感问题，减少人工调参，提升求解精度。
2026-04-27 cs.LG cs.NA math.NA
Adaptive Dual Channel Convolution Hypergraph Representation Learning for Technological Intellectual Property
Beijing University of Posts and Telecommunications（北京邮电大学）
在大数据时代，离散国家对技术知识产权中隐藏信息挖掘的需求越来越大。当然，已经提出了相当数量的技术知识产权的图学习算法。其目标是通过图结构对技术知识产权实体及其关系进行建模，并利用神经网络算法提取图中隐藏的结构信息。然而，现有的图学习算法大多只关注技术知识产权中二元关系的信息挖掘，而忽略了隐藏在非二元关系中的高阶信息。为此，提出了一种基于双通道卷积的超图神经网络模型。对于由技术知识产权数据构建的超图，利用超图的超图通道和线扩展图通道学习超图，并引入注意力机制自适应融合两个通道的输出表示。该模型在各种数据集上的性能优于现有方法。
2022-10-12 cs.IR cs.LG
Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair
Shanghai Jiao Tong University（上海交通大学）；Shanghai Maritime University（上海海洋大学）
研究揭示了Adam在持续学习中梯度修改的隐藏失败模式，提出自适应解耦动量路由作为修复方法，通过调整动量路径提升模型稳定性与性能。
2026-07-27 cs.AI cs.LG
Adaptive State-Space Mamba for Real-Time Sensor Data Anomaly Detection
本研究提出自适应状态空间Mamba（ASSM）框架，通过自适应门控机制动态调节隐状态更新，实现流式传感器数据的实时异常检测，在多数据集上性能优于现有基线，且可扩展至其他时间序列任务。
2025-07-29 cs.LG
An Adaptive Learning Method of Restricted Boltzmann Machine by Neuron Generation and Annihilation Algorithm
Hiroshima City University（广岛市立大学）；Prefectural University of Hiroshima（广岛县立大学）
限制玻尔兹曼机（RBM）是一种基于生成式随机能量的人工神经网络模型，用于无监督学习。最近，RBM被认为是深度学习的一种预训练方法。除了可见和隐藏的神经元之外，RBM的结构还具有许多参数，例如神经元之间的权重和它们的系数。因此，我们在确定分析大数据的最佳网络结构时可能会遇到一些困难。为了避免这个问题，我们在学习过程中研究了参数的方差，以找到一个最佳的结构。因此，在RBM模型中，需要对引起能量函数波动的参数方差进行检验。在本文中，我们提出了RBM的自适应学习方法，可以发现一个最佳数量的隐藏的神经元，根据训练情况，通过应用神经元生成和湮灭算法。在该方法中，如果能量函数仍不收敛，且参数方差较大，则生成新的隐层神经元。此外，如果神经元不影响学习情况，则失活的隐藏神经元将被湮灭。本文讨论了一些基准数据集的实验结果。
2018-07-11 cs.CV cs.LG cs.NE
Markovian RNN: An Adaptive Time Series Prediction Network with HMM-based Switching for Nonstationary Environments
Bilkent University（比尔肯特大学）；DataBoss A. S.（DataBoss股份公司）
本文研究非平稳序列数据的非线性回归。在大多数现实生活中的应用，如商业领域，包括金融，零售，能源和经济，时间序列数据表现出非平稳性，由于底层系统的时间变化的动态。我们介绍了一种新的递归神经网络（RNN）架构，它自适应切换内部制度之间的马尔可夫方式来模拟给定数据的非平稳性质。我们的模型，马尔可夫RNN采用隐马尔可夫模型（HMM）的政权过渡，其中每个政权独立地控制隐藏的状态转换的经常性细胞。我们以端到端的方式共同优化整个网络。我们通过对合成和真实数据集的一系列广泛实验，证明了与香草RNN和传统方法（如Markov Switching ARIMA）相比的显着性能提升。我们还解释了推断的参数和政权的信念值，以分析给定序列的潜在动态。
2020-06-17 cs.LG stat.ML
SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models
College of Computing（计算学院）；Data Science, Nanyang Technological University, Singapore, Singapore（数据科学，南洋理工大学，新加坡，新加坡）
针对扩散语言模型因非因果特性无法使用标准KV缓存导致计算开销大的问题，提出SPA-Cache方法，通过低维奇异代理识别关键令牌并自适应分配缓存预算，实现高达8倍吞吐量提升和2-4倍加速。
2026-05-23 cs.AI cs.LG
Optimal Query Complexity for Reconstructing Hypergraphs
Technion（以色列理工学院）
在本文中，我们考虑的问题，重建一个隐藏的加权超图的常秩使用加法查询。证明了：设$G$是一个n阶加权常秩隐超图，其超边为$m$.对于任何$m$，存在使用$$ O(\frac{m\log n}{\log m}) $$加法查询来找到图的边及其权重的非自适应算法。这解决了[S. Choi，J. H. Kim.查找图的最佳查询复杂度界限。{ \em STOC}，749- 758，2008年7月]。当超图的权重是小于$O(poly(n^d/m))$的整数时，其中$d$是超图的秩（并且因此对于未加权超图），存在使用$$ O(\frac{m\log \frac{n^d}{m}}{\log m}). $$加法查询来找到图的边及其权重的非自适应算法。使用信息论界，上述查询复杂度是紧的。
2010-01-03 cs.LG
Pyramidal Hidden Markov Model For Multivariate Time Series Forecasting
本文提出金字塔隐马尔可夫模型PHMM，通过多步HMM提取短随机状态，并以金字塔式堆叠自适应识别长随机状态，从而提升多元时间序列预测的准确性和全面性。
2024-02-27 cs.LG
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen（哥本哈根大学）
提出NAtS-L框架，在同一层内对不同令牌自适应选择线性注意力或softmax注意力，以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Eindhoven University of Technology（埃因霍温理工大学）；University of Aberdeen（阿伯丁大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Oxford（牛津大学）
针对自回归 LLM 逐层生成的计算瓶颈，本文提出输入自适应的 FFN-SkipLLM，在无需处理 KV cache 的情况下跳过 25–30% 的 FFN 块，并在多项知识密集型基准上保持接近原模型性能。
2024-04-05 cs.CL cs.LG
The Hidden Ratio in Adam: Stable Structure, Compression, and Sign Dynamics
The University of Manchester（曼彻斯特大学）；Zhejiang University（浙江大学）
本文揭示tied-β Adam中隐藏的近似尺度稳定比率结构，提出基于4位码本的压缩方法，并阐明其与符号方法的联系，实现高效且性能相当的优化。
2026-09-29 cs.AI cs.LG
Adaptive World Models: Learning Behaviors by Latent Imagination Under Non-Stationarity
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute for Artificial Intelligence, Stuttgart（斯图加特人工智能研究所）
本文提出隐参数部分可观测马尔可夫决策过程形式化方法，用于自适应世界模型，在非平稳强化学习基准中实现鲁棒行为学习，并无监督地学习任务抽象，形成结构化潜在空间。
2024-11-02 cs.AI cs.LG
Time Adaptive Gaussian Model
Università degli Studi di Genova（热那亚大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
多变量时间序列分析正成为数据分析管道中不可或缺的一部分。了解协变量之间的单个时间点连接以及这些连接如何随时间变化是非常重要的。为此，我们提出了一种新的方法，利用隐马尔可夫模型和高斯图模型-时间自适应高斯模型（TAGM）。我们的模型是一个概括的国家的最先进的方法的时间图形模型的推理，其制定利用这两个方面的这些模型提供更好的结果比目前的方法。特别是，它通过对时间上的数据点进行聚类来进行模式识别;并且，它在观察到的变量之间找到概率（和可能的因果关系）关系。与目前的时态网络推理方法相比，它减少了基本假设，同时仍然表现出良好的推理性能。
2021-02-03 cs.LG stat.ML
Adaptive Group Lasso Neural Network Models for Functions of Few Variables and Time-Dependent Data
Dalhousie University（达尔豪斯大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个自适应组Lasso深度神经网络的高维函数逼近，其中输入数据是从一个动态系统和目标函数依赖于少数活动变量或少数变量的线性组合。我们近似的目标函数的深度神经网络，并强制执行一个自适应组Lasso约束的权重合适的隐藏层，以表示对目标函数的约束。我们利用邻近算法来优化惩罚损失函数。利用Bregman距离的非负性质，我们证明了所提出的优化过程实现了损失衰减。我们的实证研究表明，该方法优于最近的国家的最先进的方法，包括稀疏字典矩阵方法，神经网络与或不组Lasso惩罚。
2021-12-03 cs.LG cs.NA math.NA
Adaptive Graph Convolutional Network Framework for Multidimensional Time Series Prediction
在现实世界中，用电量预测、空气质量预测等很多情况下都需要进行长序列时间序列预测（LSTF），多维长时间序列模型对模型的要求更加严格，不仅需要有效捕捉输入与输出之间准确的长期依赖关系，而且需要捕捉不同维度数据之间的关系，最近的研究表明，基于Transformer的Informer模型在长时间序列预测方面取得了优异的性能，然而，该模型在多维预测方面还存在一些不足，不能很好地捕捉不同维度之间的关系。我们改进了Informer，以解决其在多维预测中的缺点。首先，我们引入了一个自适应图神经网络来捕捉隐藏的维度依赖性，主要是时间序列预测。其次，我们将自适应图卷积网络集成到各种时空序列预测模型中，以解决它们无法捕捉不同维度之间关系的缺陷。第三，通过多个数据集的实验测试，将框架引入模型后，准确率提高了约10%。
2022-05-08 cs.AI cs.LG
Deep Stacked Stochastic Configuration Networks for Lifelong Learning of Non-Stationary Data Streams
Nanyang Technological University（南洋理工大学）；Northeastern University（东北大学）
SCN的概念为非平稳数据流的终身学习提供了一个具有普遍近似保证的快速框架。它的自适应范围选择属性，使适当的随机生成的隐藏单元参数，推进传统的随机方法约束与固定范围的随机参数。本文提出了一种用于非平稳数据流持续学习的深度堆叠随机配置网络（DSSCN），主要贡献有两个方面：1）DSSCN具有深度堆叠网络结构的自构造方法，可以从连续生成的数据流中自动提取隐藏单元和隐藏层; 2）提出了SCN的概念，在隐节点添加步骤中随机分配多元高斯函数的逆协方差矩阵，绕过了计算量大的调整阶段。数值评估和比较突出的数据流算法下的两个程序：周期性的保持和presequential测试，然后训练过程证明了所提出的方法的优势。
2019-12-09 cs.LG cs.NE stat.ML
Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training
University of British Columbia（不列颠哥伦比亚大学）；Zhejiang University（浙江大学）
结构在地震激励下的动态分析是一个耗时的过程，特别是在所需时间步长极小的情况下，或者在存在高度几何和材料非线性的情况下。在这种情况下执行参数研究甚至更加繁琐。近年来计算机图形硬件的进步使得能够有效地训练人工神经网络，所述人工神经网络众所周知能够学习高度非线性映射。在这项研究中，人工神经网络采用自适应训练算法开发，可以自动生成节点和添加层。选择双曲正切函数作为激活函数。采用随机梯度下降和反向传播算法对网络进行训练。神经网络以少量的隐藏层和节点开始。在训练期间，网络的性能被连续跟踪，并且如果神经网络达到其容量，则向隐藏层添加新的节点或层。在训练过程结束时，自动形成具有适当架构的网络。该网络的性能已被验证为非弹性剪切框架，以及摇摆结构，其中两者都是第一次内置的有限元程序的动态分析，以产生训练数据。结果表明，所开发的网络可以成功地预测剪切框架和岩石结构在真实地震动记录下的时程反应。神经网络的效率也进行了检查，这表明计算时间可以减少43%的神经网络方法比有限元模型。这表明训练好的神经网络可以更有效地生成需要大量时程分析的结构摇摆谱。
2021-11-21 cs.LG cs.SY eess.SY
Adaptive Learning Method of Recurrent Temporal Deep Belief Network to Analyze Time Series Data
Prefectural University of Hiroshima（广岛县立大学）；Hiroshima City University（广岛市立大学）
深度学习具有分层网络架构来表示输入模式的复杂特征。这种结构是众所周知的，代表更高的学习能力相比，一些传统的模型，如果最佳的网络结构中的最佳参数集被发现。我们一直在开发的自适应学习方法，可以发现最佳的网络结构在深度信念网络（DBN）。该学习方法可以在学习阶段用每个受限玻尔兹曼机中的最优隐层神经元数目和DBN中的最优层数来构造网络结构。该学习方法的网络结构可以根据大数据集的给定输入模式自组织。在本文中，我们嵌入自适应学习方法的递归时态RBM和DBN的自生成层。为了验证该方法的有效性，实验结果表明，该方法的分类能力比传统方法有较大提高。
2018-07-11 cs.LG cs.NE stat.ML
GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对物理 informed 神经网络（PINN）训练耗时、参数冗余的问题，提出生成式预训练 PINN（GPT-PINN），通过超精简元网络结合预训练 PINN 激活函数，实现参数化 PDE 全参数域高效准确的代理解生成。
2023-06-08 cs.LG cs.NA math.NA
On Data-Selective Learning
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）；COPPE（COPPE（巴西里约热内卢联邦大学工程研究生院））
自适应滤波器应用于多种电子和通信设备，例如智能手机、高级耳机、DSP芯片、智能天线和电话会议系统。而且，它们在诸如系统辨识、信道均衡、噪声降低、回声消除、干扰消除、信号预测和股票市场的许多领域中有应用。因此，降低自适应滤波算法的能耗具有重要意义，特别是在绿色技术和使用电池的设备中。在这篇论文中，数据选择自适应滤波器，特别是集员（SM）自适应滤波器，是达到这一目标的工具。在文献中有众所周知的SM自适应滤波器。这项工作介绍了新的算法的基础上，经典的，以提高其性能，并减少所需的算术运算的数量在同一时间。因此，我们首先分析了经典SM自适应滤波算法的鲁棒性。其次，我们将SM技术推广到三齿轮和四元数系统。第三，结合SM滤波和部分更新，提出了一种新的具有约束步长的集员仿射投影改进算法，以改善其稳定性。第四，针对稀疏系统，提出了几种新的低计算复杂度的基于最小均方（LMS）和递归最小二乘的自适应滤波算法。最后，我们推导出一些特征LMS算法来利用参数中隐藏的稀疏性。
2019-09-06 cs.LG eess.SP stat.ML
