Explaining Time Series via Contrastive and Locally Sparse Perturbations
Nanjing University(南京大学);Ailibaba Group(阿里巴巴集团);Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学);Florida International University(佛罗里达国际大学);New Jersey Institute of Technology(新泽西理工学院);A*STAR(新加坡科技研究局);The University of Hong Kong(香港大学)
针对多变量时间序列解释的分布偏移等挑战,提出结合对比学习与样本特定稀疏门控的局部稀疏模型ContraLSP,生成更优解释掩码,在合成与真实数据集上表现超越现有最优模型。
2024-01-29 cs.AI cs.LG
Sparse Dynamic Distribution Decomposition: Efficient Integration of Trajectory and Snapshot Time Series Data
Relation Therapeutics(瑞信治疗公司)
动态分布分解(DDD)是由Taylor-King等人提出的。(PLOS Comp Biol,2020)作为动态模式分解的变体。简而言之,通过在连续状态空间上使用基函数,DDD允许在这些基函数上拟合连续时间马尔可夫链,并因此在分布之间连续映射。DDD中的参数数量是由基函数数量的平方决定的;我们重新定义了这个问题,并将该方法限制在紧凑的基函数上,这导致只对稀疏矩阵进行推理,从而减少了参数的数量。最后,我们展示了DDD如何适合整合轨迹时间序列(后续时间点之间配对)和快照时间序列(未配对的时间点)。能够整合这两种情况的方法与生物医学数据的分析特别相关,研究观察固定时间点的人群(快照)和重复随访的个体患者旅程(轨迹)。
2020-06-11 cs.LG stat.ML
Sparse-GEV: Sparse Latent Space Model for Multivariate Extreme Value Time Serie Modeling
University of Southern California(南加州大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心)
在时间序列模型的许多应用中,如气候分析、社交媒体分析等,我们往往对极端事件感兴趣,如热浪、阵风、突发话题等。这些时间序列数据通常呈现重尾分布而不是高斯分布。由于对数据分布的假设差异很大,而且缺乏足够的极端事件过去数据,这对现有方法构成了巨大挑战。在本文中,我们提出了Sparse-GEV模型,一个潜在的状态模型的基础上的极值建模理论,自动学习稀疏的时间依赖性,并作出预测。我们的模型是理论上有意义的,因为它是第一个模型,学习稀疏的时间依赖性之间的多元极值时间序列。我们证明了我们的算法的性能优越的国家的最先进的方法,包括格兰杰因果关系,copula方法和转移熵,一个合成数据集,一个气候数据集和两个Twitter数据集。
2012-06-18 cs.LG stat.AP stat.ME
MOSAIC: Module Discovery via Sparse Additive Identifiable Causal Learning for Scientific Time Series
University of Illinois Chicago(伊利诺伊大学香槟分校);Case Western Reserve University(凯斯西储大学);Carnegie Mellon University(卡内基梅隆大学);MBZUAI
MOSAIC通过稀疏加法可识别因果学习,在科学时间序列中发现模块结构,通过稀疏解码器恢复观测变量支持,实现可解释的潜在机制发现。
2026-10-19 cs.AI cs.LG
On Sparse High-Dimensional Graphical Model Learning For Dependent Time Series
Auburn University(奥本大学)
本文针对高维平稳高斯时间序列,提出基于频域稀疏组 lasso 和 ADMM 的条件独立图学习方法,并给出联合所有频率的收敛条件与速率。
2024-06-04 cs.LG eess.SP stat.ML
pyFAST: A Modular PyTorch Framework for Time Series Modeling with Multi-source and Sparse Data
College of Computer Engineering, Jimei University(嘉应大学计算机工程学院);Chengyi College, Jimei University(嘉应大学 Chengyi 学院);Department of Technology, Management and Economics, Technical University of Denmark(丹麦技术大学技术、管理与经济系)
pyFAST是一个模块化PyTorch框架,通过解耦数据处理与模型计算,支持多源和稀疏数据的时间序列建模,集成了多种模型和训练工具,促进快速实验。
2025-08-26 cs.AI cs.LG
Sparse Principal Component Analysis for High Dimensional Vector Autoregressive Models
本文在双渐近框架下研究了高维向量自回归时间序列的稀疏主成分分析,该框架允许维数$d$随序列长度$T$变化.我们将时间序列的转移矩阵作为一个讨厌的参数,直接将稀疏主成分分析应用于多变量时间序列,就好像数据是独立的。我们提供了明确的非渐近收敛率领先的特征向量估计,并将这一结果推广到主子空间估计。我们的分析表明,谱范数的过渡矩阵起着至关重要的作用,在确定最终的利率。我们还刻画了稀疏主成分分析达到最优参数率的充分条件。我们的理论结果得到了充分的数值研究的支持。
2013-06-30 stat.ML
Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts
Salesforce AI Research(Salesforce AI研究院);National University of Singapore(新加坡国立大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Moirai-MoE,通过在Transformers内引入稀疏混合专家实现令牌级自动专用化,克服了传统频率级专用化的粗粒度局限,在39个数据集上展现出更优的分布内与零样本预测性能。
2024-10-14 cs.LG stat.ML
Sparse-Group Log-Sum Penalized Graphical Model Learning For Time Series
研究了高维平稳多元高斯时间序列的条件独立图的推断问题。在文献中已经考虑了基于稀疏群套索的频域公式的问题,其目标是估计数据的稀疏逆功率谱密度(PSD)。然后从估计的逆PSD推断CIG。在本文中,我们研究使用稀疏群对数和惩罚(LSP),而不是稀疏群套索惩罚。提出了一种求解非凸问题迭代优化的交替方向乘子法。我们提供了充分条件的Frobenius范数的逆PSD估计的真值的局部收敛。这个结果也产生了收敛速度。我们说明了我们的方法,利用合成和真实数据的数值例子。
2022-04-29 eess.SP stat.ML
Detection of a Sparse Change in High-Dimensional Time Series
针对高维时间序列的稀疏变化检测问题,提出基于稀疏似然的得分与变点检测算法,证明其误差概率上界收敛于0,并通过模拟和S&P500数据集验证了有效性。
2025-07-29 stat.ME
Sparse Tree-Based Aggregation for Time Series Regressions
Maastricht University(马斯特里赫特大学)
提出StarTime方法,利用时间树分层排列滞后项,通过凸惩罚实现系数聚合与稀疏选择,降低高维时间序列回归的维度,提高估计精度。
2026-07-02 econ.EM stat.ME
SparseTIR: Composable Abstractions for Sparse Compilation in Deep Learning
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);OctoML;Shanghai Jiao Tong University(上海交通大学)
稀疏张量正迅速成为现代深度学习工作负载的关键组成部分。然而,开发高性能稀疏运算符可能是困难和繁琐的,现有的供应商库无法满足新的运营商不断增长的需求。稀疏张量编译器简化了运算符的开发,但用于深度学习的高效稀疏编译仍然具有挑战性,因为单一稀疏格式无法最大限度地提高硬件效率,并且单次编译器无法跟上最新的硬件和系统进步。在本文中,我们观察到,解决这两个挑战的关键是利用组合格式和组合转换。我们提出了SparseTIR,这是一种稀疏张量编译抽象,为深度学习工作负载提供了可组合格式和可组合转换。SparseTIR在这些可组合组件上构建了一个搜索空间,用于性能调优。通过这些改进,SparseTIR在GPU上为单个运算符获得了与供应商库一致的性能加速:GNN运算符为1.20- 2.34倍,稀疏注意力运算符为1.05- 2.98倍,稀疏卷积运算符为0.56- 7.45倍。SparseTIR还将GraphSAGE训练的端到端GNN加速了1.08- 1.52倍,RGCN推理加速了4.20- 40.18倍。
2023-02-21 cs.AI cs.LG cs.PL
MAESTRO : Adaptive Sparse Attention and Robust Learning for Multimodal Dynamic Time Series
Northwestern University(西北大学)
提出 MAESTRO 框架,通过自适应稀疏跨模态注意力、符号化 token 与稀疏 MoE 路由,解决多模态时间序列中无主模态、规模扩展及任意缺失问题,并在多数据集上显著优于基线。
2025-09-29 cs.LG stat.ML
Learning the Dynamics of Sparsely Observed Interacting Systems
Inria Paris(巴黎法国国家信息与自动化研究所);Centre de Recherche des Cordeliers(科德利埃研究中心);INSERM(法国国家健康与医学研究院);Université de Paris(巴黎大学);Sorbonne Université(索邦大学);Paris Saclay University(巴黎萨克雷大学);MINES ParisTech(巴黎高等矿业学院);PSL Research University(巴黎文理研究大学);Institut Curie(居里研究所);Califrais’ Machine Learning Lab(Califrais机器学习实验室);AP-HP(巴黎公共援助医院)
本文提出利用受控微分方程与签名理论,将稀疏不规则观测下的非参数交互系统动力学学习转化为高维线性回归,并给出误差界,在模拟和流行病学数据上验证了其预测性能与计算效率。
2023-05-31 cs.LG stat.ML
Multi-SpaCE: Multi-Objective Subsequence-based Sparse Counterfactual Explanations for Multivariate Time Series Classification
Multi-SpaCE是一种用于多变量时间序列分类的多目标反事实解释方法,通过NSGA-II算法平衡多个目标,确保有效性并提供灵活的解决方案。
2025-06-10 cs.LG cs.NE stat.ML
Sparse causality network retrieval from short time series
我们研究如何有效地一个已知的基本稀疏因果结构的模拟多元线性过程可以检索到的时间序列的分析长度短。因果关系从条件转移熵中量化,并且通过仅保留统计验证的贡献来构建网络。我们比较了三种方法的结果:两种常用的正则化方法,Glasso和脊,和一个新引入的技术,LoGo,基于信息过滤网络和图形建模的组合。对于这三种方法,我们探索区域的时间序列长度和模型参数,其中一个显着的部分真正的因果关系链接检索。我们的结论是,当时间序列很短,其长度短于变量的数量,稀疏模型更适合于发现真正的因果关系与Logo检索真正的因果关系网络更准确地比Glasso和岭。
2017-10-05 stat.ME
Bootstrap Based Inference for Sparse High-Dimensional Time Series Models
将稀疏模型拟合到高维时间序列是统计推断的一个重要领域。在本文中,我们考虑稀疏向量自回归模型和发展适当的自助方法来推断这样的过程的属性。我们的引导方法产生伪时间序列使用基于模型的引导程序,其中涉及一个估计,稀疏版本的基础向量自回归模型。使用自回归模型参数的所谓去稀疏或去偏估计量进行推断。我们推导出这种估计量的渐近分布在时间序列的上下文中,并建立渐近有效性的自助程序提出的估计,并适当修改,用于测试的目的。特别是,我们专注于测试,大组的自回归系数等于零。我们的理论结果是补充模拟研究有限样本性能的自举方法。一个真实的数据应用程序。
2019-09-24 stat.ME
Statistical guarantees for sparse deep learning
Ruhr-University Bochum(波鸿鲁尔大学)
神经网络在应用中越来越受欢迎,但我们对其潜力和局限性的数学理解仍然有限。在本文中,我们通过为稀疏深度学习开发统计保证来进一步理解这一点。与以前的工作相比,我们考虑了不同类型的稀疏性,例如很少的活动连接,很少的活动节点,以及其他基于范数的稀疏性类型。此外,我们的理论涵盖了以前的理论所忽略的重要方面,如多个输出,正则化和l2损失。这些保证对网络的宽度和深度有轻微的依赖性,这意味着它们从统计的角度支持稀疏但又宽又深的网络的应用。我们在推导过程中使用的一些概念和工具在深度学习中并不常见,因此可能会引起额外的兴趣。
2022-12-11 cs.AI cs.LG math.ST
An Interpretable and Sparse Neural Network Model for Nonlinear Granger Causality Discovery
虽然大多数经典的格兰杰因果关系检测方法依赖于线性时间序列假设,但神经科学和经济学应用中的许多相互作用是非线性的。我们开发了一种使用多层感知器的非线性Granger因果关系检测方法,其中网络的输入是所有系列的过去时间滞后,输出是单个系列的未来值。在这种情况下,格兰杰非因果关系的一个充分条件是输入数据的所有输出权重,即序列的过去滞后,到第一个隐藏层的权重都为零。对于估计,我们利用组套索惩罚来将输入权重的组缩小到零。我们还提出了一个层次的惩罚同时格兰杰因果关系和滞后估计。我们验证了我们的方法从稀疏线性自回归模型和稀疏和非线性Lorenz-96模型的模拟数据。
2018-06-25 stat.ML
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University(普渡大学)
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战,并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功,但大多数稀疏深度学习算法缺乏理论支持。另一方面,另一系列的工作提出了理论框架,计算上是不可行的。在本文中,我们训练稀疏的深度神经网络,在尖峰和板先验下进行完全贝叶斯处理,并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率,证明了变分贝叶斯方法的一致性。值得注意的是,我们的实证结果表明,这种变分过程提供了贝叶斯预测分布方面的不确定性量化,也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
Sparse Asymptotic PCA: Identifying Sparse Latent Factors Across Time Horizon in High-Dimensional Time Series
本文提出稀疏渐近主成分分析框架,在因子过程稀疏而非载荷稀疏的设定下,用截断幂法与顺序收缩估计高维时间序列的稀疏潜在因子,并应用于标普500数据识别九个风险因子。
2025-08-07 econ.EM q-fin.ST stat.ME
Sparse Tucker Decomposition and Graph Regularization for High-Dimensional Time Series Forecasting
Central China Normal University(华中师范大学);Hong Kong Baptist University(香港浸会大学)
本文提出了一种结合稀疏Tucker分解与图正则化的高维时间序列预测方法,通过减少参数数量和提高估计精度,实现了更高效的模型性能。
2026-01-01 math.ST stat.ML stat.TH
Sparsely Observed Functional Time Series: Estimation and Prediction
功能性时间序列分析,无论是基于时域还是频域方法,传统上都是在假设平稳的组成系列曲线的完全观察的假设下进行的。然而,正如独立函数数据的情况一样,很可能发生的是,分析师可用的数据不是实际的曲线序列,而是每条曲线的相对较少和有噪声的测量,可能在每条曲线的域中的不同位置。在这种稀疏采样制度下,既不建立时间序列的动态估计,也没有相应的理论分析将适用。本文的主题是解决的问题估计的动态和恢复的潜在过程的光滑曲线在稀疏政权。假设平滑的潜曲线,我们构建了一个一致的非参数估计的系列的谱密度算子,并使用它开发一个频域恢复方法,预测潜曲线在给定的时间,通过借用强度(估计)的动态相关性在整个时间的系列。为了进一步从噪声点样本中预测潜在曲线,该方法填补了序列中的空白(曲线没有采样),对数据进行降噪,并作为预测的基础。提供相应的置信带的手段也进行了研究。有趣的是,模拟研究表明,在平滑的情况下,较长时间段的稀疏观测可能比较短时间段的密集观测提供更好的性能。该方法进一步说明了应用程序的环境数据集上的晴天大气电,这自然会导致一个稀疏的功能时间序列。
2019-12-09 stat.ME
Probabilistic NDVI Forecasting from Sparse Satellite Time Series and Weather Covariates
Department of Naval, Electrical, Electronics and Telecommunications Engineering, University of Genoa, Italy(海军、电子、电子与电信工程系,热那亚大学,意大利)
本文提出一种概率预测框架,利用稀疏卫星数据和天气协变量进行田间NDVI预测,通过融合历史和未来数据实现多步分位数预测,实验表明优于传统和深度学习方法。
2026-06-26 cs.CV cs.LG stat.ML
Estimation of time-delayed mutual information and bias for irregularly and sparsely sampled time-series
提出了一种基于时滞互信息经验偏差估计的时间序列相关性估计方法。特别是,时间延迟的互信息的偏差往往是等价的两个分布的点之间的互信息从同一个系统分离的无限时间。因此,直观地说,偏差的估计被简化为由大的时间间隔分隔的数据点的分布之间的互信息的估计。所提出的偏差估计技术的工作洛伦兹方程数据和葡萄糖时间序列数据的三个病人从哥伦比亚大学医学中心的数据库。
2011-10-07 nlin.CD physics.data-an q-bio.QM
A Survey of Estimation Methods for Sparse High-dimensional Time Series Models
高维时间序列数据集在生物科学和社会科学的许多领域变得越来越普遍。一些重要的应用包括使用时程基因表达数据重建基因调控网络,从神经成像数据进行大脑连接分析,对大量宏观经济指标进行结构分析,以及研究金融公司之间的联系,以实现更有力的金融监管。这些应用程序导致了新的兴趣,在开发原则的统计方法和理论,估计大时间序列模型,只有相对较少的时间依赖的样本。稀疏建模方法由于其可解释性和预测准确性在过去二十年中在统计学和机器学习中得到了普及。虽然有丰富的文献中的几个稀疏诱导方法时,样本是独立的,这些方法估计时间序列模型的统计特性的研究仍在进行中。我们调查了这一领域的一些最新进展,侧重于经验上成功的套索为基础的估计方法的两个典型的多变量时间序列模型-随机回归和向量自回归。我们讨论了在高维时间序列分析中出现的关键技术挑战,并概述了几个有趣的研究方向。
2021-07-30 stat.ME
Functional Lagged Regression with Sparse Noisy Observations
函数(滞后)时间序列回归模型涉及标量响应时间序列对由一系列随机函数组成的回归量时间序列的回归。在实践中,潜在的回归曲线时间序列并不总是直接可访问的,而是仅在离散测量位置处观察(采样)的潜在过程。在本文中,我们考虑了所谓的稀疏观测场景,其中只有相对较少的测量位置已被观察到,每个曲线可能不同。测量结果可能进一步受到附加测量误差的污染。被认为是一种谱的方法来估计模型的动态。利用核平滑方法从稀疏观测值中估计回归量时间序列的谱密度以及回归量与响应时间序列之间的互谱密度。滞后回归模型的脉冲响应回归系数然后通过岭回归(Tikhonov正则化)或PCA回归(谱截断)来估计。然后通过预测恢复潜在功能时间序列,条件是所有观察到的观察数据。我们的方法的性能和实施说明通过模拟研究和气象数据的分析。
2020-03-31 stat.ME
Scorch: A Library for Sparse Deep Learning
Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对现有深度学习框架稀疏操作支持不足的问题,提出可无缝集成到PyTorch的稀疏计算库Scorch,通过编译器栈自动优化与适配运行时,在CPU推理任务上实现1.05-5.78倍于PyTorch Sparse的速度提升,助力稀疏架构探索。
2024-06-20 cs.AI cs.LG cs.MS
Stochastic Sparse Sampling: A Framework for Variable-Length Medical Time Series Classification
York University(约克大学);Vector Institute(向量研究所);University Health Network(大学健康网络);University of Toronto(多伦多大学)
针对变长医学时间序列分类问题,提出随机稀疏采样(SSS)框架,通过稀疏采样固定窗口并聚合校准局部预测实现全局预测,在癫痫发作起始区定位任务中优于 SOTA 基线并具备可解释性。
2024-10-22 cs.LG
Time Series Graphical Lasso and Sparse VAR Estimation
我们改进了Davis等人(2016)中的两阶段稀疏向量自回归(sVAR)方法,提出了一种替代的两阶段修改的sVAR方法,该方法依赖于时间序列图形套索来估计第一阶段的稀疏逆谱密度,第二阶段使用错误发现率(FDR)程序来细化AR系数矩阵的非零项。我们的方法具有避免谱密度矩阵求逆的优点,但必须处理具有复值项的埃尔米特矩阵的优化。它显着地提高了计算时间,在预测性能上有一点损失。我们研究了我们提出的方法的属性,并使用模拟和真实的宏观经济数据集比较这两种方法的性能。我们的仿真结果表明,所提出的修改或msVAR是一个首选的目标是学习AR系数矩阵的结构,而sVAR优于msVAR时,最终的任务是预测。
2021-07-04 stat.CO
From sparse to dense functional time series: phase transitions of detecting structural breaks and beyond
本文提出基于B样条平滑CUMSUM过程的函数型时间序列结构突变检测方法,建立稀疏到密集相变理论、断点收敛速率及跳跃幅度推断,并通过数值实验和电价、温度数据验证其有效性。
2024-12-30 math.ST stat.ME stat.TH
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法,通过BIC选择正则化参数,并证明其模型选择一致性,模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Learning Predictive Leading Indicators for Forecasting Time Series Systems with Unknown Clusters of Forecast Tasks
提出了一种新的预测多个相关时间序列系统的方法。该方法学习预测模型,同时从系统内部发现领先指标,这些指标作为良好的预测器,提高了预测准确性和预测任务的聚类结构。该方法是基于经典的线性向量自回归模型(VAR)和链接的领先指标的发现,推断稀疏图的格兰杰因果关系。我们制定了一个新的约束优化问题,以促进所需的稀疏结构的模型和多任务的方式在学习任务之间的信息共享。我们提出了一种算法来解决这个问题,并在一系列合成和真实数据实验中证明了我们的新方法相对于基线VAR模型以及最先进的稀疏VAR学习方法的优势。
2017-10-02 stat.ML
Deep Learning-Aided Subspace-Based DOA Recovery for Sparse Arrays
针对稀疏阵列在相干源和未校准条件下难以进行子空间DOA估计的问题,提出Sparse-SubspaceNet,通过深度学习构造可分离子空间的替代虚拟协方差。
2023-12-17 cs.AI eess.SP
Sparse-Group Factor Analysis for High-Dimensional Time Series
San Diego State University(圣地亚哥州立大学)
针对高维时间序列因子分析的可解释性问题,提出结合个体与组稀疏性的双重稀疏载荷框架,并给出估计算法与渐近性质,模拟与实证均验证其有效性。
2025-10-06 stat.ME
Short-Term Prediction of Signal Cycle in Actuated-Controlled Corridor Using Sparse Time Series Models
交通信号作为智能交通系统的一部分,可以在实现城市智能化方面发挥重要作用。传统上,大多数交通信号灯都设计有固定时间控制,这会导致大量的松弛时间(未使用的绿灯时间)。驱动式交通灯实时控制交通流量,并对交通需求的变化做出更好的响应。对于孤立信号,一系列时间序列模型,如自回归积分移动平均(ARIMA)模型,可以是有益的预测下一个周期长度。然而,当有多个信号灯沿走廊放置具有不同的间距和配置,这样的信号灯的周期长度的变化不仅与每个信号灯的值,但它也受到来自相邻交叉口的车辆队列的影响。本文建立了一个多变量时间序列模型,用于分析全驱动条件下沿走廊布置的多个交叉口信号周期长度的行为。沿一条走廊建立了5个信号交叉口的模型,每个交叉口之间具有不同的间距,并考虑了多层次的交通需求。为了解决问题的高维性质,在估计过程中利用惩罚最小二乘法输出稀疏模型。两种稀疏时间序列方法捕获的信号数据相当不错,并优于传统的向量自回归(VAR)模型-在某些情况下高达17% -以及更强大的单变量模型,如ARIMA。
2018-03-18 stat.AP
A Deep Learning Approach for Predicting Spatiotemporal Dynamics From Sparsely Observed Data
Georgia Institute of Technology(佐治亚理工学院)
本文研究由未知偏微分方程驱动的时空物理过程的预测模型学习问题。我们提出了一个深度学习框架,它可以学习底层动态,并使用稀疏分布的数据站点预测其演变。近年来,深度学习在物理动力学建模方面取得了可喜的成果。然而,大多数现有的用于建模物理动力学的深度学习方法要么专注于解决已知的PDE,要么在管理PDE未知时需要密集网格中的数据。相比之下,我们的方法专注于学习预测模型的未知偏微分方程驱动的动态,只有从稀疏观测数据。该方法具有空间维数无关性和几何灵活性。我们展示了我们的方法在预测任务的二维波动方程和Burgers-Fisher方程在多个几何形状与不同的边界条件,和十维热方程。
2021-05-01 cs.LG cs.NA math.AP
Interpretable Vector AutoRegressions with Exogenous Time Series
向量自回归(VAR)模型是研究多元时间序列的基础。虽然VAR模型被许多研究者深入研究,但实践者往往对分析将未建模外生变量(X)的影响纳入VAR的VARX模型表现出更大的兴趣。然而,由于参数空间随着时间序列的数量二次增长,估计很快变得具有挑战性。虽然已经提出了几个建议来稀疏估计大型VAR模型,但大型VARX模型的估计尚未得到充分探索。此外,通常这些稀疏的建议涉及套索类型的惩罚,并没有将滞后选择到估计过程。因此,由此产生的模型可能难以解释。在本文中,我们提出了一个基于滞后的分层稀疏估计,称为“HVARX”,大型VARX模型。我们说明了HVARX的跨类别管理营销应用程序的有用性。我们的研究结果表明,它提供了一个高度可解释的模型,并提高了样本外的预测精度相比,套索型的方法。
2017-11-09 stat.AP stat.ML
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology(国防科技大学计算机学院)
分布式随机梯度下降(SGD)方法在大规模深度学习中得到了广泛应用,梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而,AllReduce会占用大量带宽资源,而大多数梯度在许多情况下是稀疏的,因为许多梯度值为零,应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销,我们提出了稀疏草图还原器(S2还原器),一种新的基于草图的稀疏梯度聚合方法,具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本,并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明,S2 Reducer收敛到相同的精度,减少了81\%的稀疏通信开销,并实现了1.8 $ \times $的加速比相比,国家的最先进的方法。
2021-11-26 cs.AI cs.DC
Probability aggregation in time-series: Dynamic hierarchical modeling of sparse expert beliefs
大多数主观概率聚合过程使用来自每个专家的单个概率判断,即使对于研究实际问题的专家来说,随着时间的推移更新他们的概率估计是很常见的。本文通过考虑一个动态的背景下,专家可以更新他们的信念在随机间隔的概率聚合的未开发领域的进展。更新很少发生,导致稀疏的数据集,不能通过标准的时间序列程序建模。针对缺乏适当的方法,本文提出了一个层次模型,考虑到专家的自我报告的专业知识水平,并产生总概率是尖锐的,以及校准的样本内外。该模型在一个真实世界的数据集上进行了演示,该数据集包括2300多名专家,他们在两年内对166个国际政治事件的不同子集进行了多个概率预测。
2014-08-01 stat.AP
Robust Estimation of Sparse, High Dimensional Time Series with Polynomial Tails
高维向量自回归(VAR)由于在健康、工程、金融和社会科学等领域的新应用,近年来受到了广泛的关注。分析VAR时会出现三个问题:(a)在存在许多时间序列的情况下,模型的高维性质对其参数的一致估计提出了挑战;(b)时间依赖性的存在为各种估计程序的理论分析带来了额外的挑战;(b)在许多应用中存在重尾。最近的工作,例如[Basu和Michailbane,2015],[Kock和Callot,2015],已经解决了基于$\ell_1$ LASSO过程的稀疏高维稳定高斯VAR模型的一致估计。此外,所获得的速率是最优的,在某种意义上,它们与iid数据的速率相匹配,加上时间依赖性的乘法因子(这是所付出的“代价”)。然而,第三个问题在现存的文献中仍然没有得到解决。本文在以下重要方向推广了已有的结果:考虑了由重尾同方差或异方差噪声过程(不具有所有矩)驱动的稀疏高维VAR模型参数的相合估计.一种鲁棒的惩罚方法(例如,LASSO)的最优一致性率和相应的有限样本边界的基础模型参数获得匹配的iid数据,虽然付出代价的时间依赖性。理论结果说明VAR模型和其他流行的时间序列模型。值得注意的是,使用的关键技术工具是重尾依赖过程的单一浓度边界。
2022-11-14 math.ST stat.TH
High-dimensional changepoint estimation via sparse projection
变化点是大数据的一个非常常见的特征,它以数据流的形式到达。在本文中,我们研究高维时间序列中,在某些时间点,平均结构的变化在一个稀疏的坐标子集。挑战是在坐标上借用力量,以检测比任何单个组件系列中观察到的变化更小的变化。我们提出了一个两阶段的程序,称为“检查”的变化点的估计:首先,我们认为,一个良好的投影方向可以获得领先的左奇异向量的矩阵,解决了凸优化问题,来自时间序列的CLUUM变换。然后,我们将现有的单变量变点估计算法应用于预测序列。我们的理论提供了强有力的保证,估计变点的数量和收敛速度的位置,我们的数值研究验证了其高度竞争力的经验表现,广泛的数据生成机制。R软件包“InspectChangepoint”中提供了执行该方法的软件。
2017-03-17 math.ST stat.ME stat.TH
De-Biasing Structure Function Estimates From Sparse Time Series of the Solar Wind: A Data-Driven Approach
本文针对太阳风稀疏时间序列中结构函数估计因数据缺口产生偏差的问题,提出一种从帕克太阳探测器数据中学习的经验校正因子,有效去偏并推广至旅行者号等数据,为碎片化时间序列分析提供工具。
2025-06-02 astro-ph.SR physics.space-ph stat.AP
Machine Learning Time Series Regressions with an Application to Nowcasting
本文介绍了结构化机器学习回归的高维时间序列数据可能在不同的频率采样。稀疏组LASSO估计器可以利用这样的时间序列数据结构,并优于非结构化LASSO。我们建立了一个框架内,允许混合过程的稀疏组LASSO估计的甲骨文不等式,并认识到金融和宏观经济数据可能有比指数尾重。一个实证应用,以nowcasting美国的GDP增长表明,估计表现良好相比,其他替代品和文本数据可以是一个有用的除了更传统的数值数据。
2020-12-12 econ.EM stat.AP stat.ME
BigVAR: Tools for Modeling Sparse High-Dimensional Multivariate Time Series
R包BigVAR允许通过将结构化惩罚应用于传统的向量自回归(VAR)和带外生变量的向量自回归(VARX)框架来同时估计高维时间序列。我们的方法可以用于许多预测应用程序,利用时间依赖的数据,如宏观经济,金融和互联网流量。我们的软件包扩展了解决方案的算法从机器学习和信号处理文献的时间依赖性设置:选择正则化参数的顺序交叉验证,并提供了大量的改进,预测性能比传统的方法。我们提供了一个用户友好的界面,利用R的s4对象类结构,这使得我们的方法很容易访问的开发人员。在本文中,我们概述了我们的符号,包括BigVAR的模型,我们的包的功能与使用公开的宏观经济数据的详细示例。此外,我们提出了一个模拟研究比较的几个程序,改装的BigVAR程序选择的支持,根据最小二乘法的几个变种的性能,并得出结论,改装一般降低预测性能。
2017-02-23 stat.CO
Regularized estimation in sparse high-dimensional time series models
许多科学和经济问题涉及到高维时间序列数据集的分析。然而,迄今为止,高维统计的理论研究主要依赖于独立同分布(i.i.d.)样品在这项工作中,我们专注于稳定的高斯过程和研究的$\ell _1$ -正则化估计的理论性质在两个重要的统计问题的背景下,高维时间序列:(a)随机回归序列相关误差和(b)转移阵估计向量自回归(VAR)模型。我们推导出正则化估计的估计误差的非渐近上界,并建立了高维尺度下的一致估计是可能的,通过$\ell_1$ -正则化的一大类稳定的过程稀疏约束下。一个关键的技术贡献的工作是引进一种措施的稳定性平稳过程使用其频谱特性,提供了深入了解的影响依赖于正则化估计的准确性。利用这个稳定性测度,我们为相依数据建立了一些有用的偏差界,这些偏差界可以用来研究时间序列中几个重要的正则化估计。
2015-07-30 math.ST stat.ME stat.TH
Sparse cointegration
协整分析用于估计多个时间序列之间的长期均衡关系。这些长期均衡关系的系数就是协整向量。在本文中,我们提供了一个稀疏估计的协整向量。估计技术是稀疏的意义上,一些元素的协整向量将被估计为零。为此,我们结合了惩罚估计过程的向量自回归模型与稀疏降秩回归。稀疏协整过程实现了更高的估计精度比传统的Johansen协整方法中设置的真正的协整向量具有稀疏结构,和/或当样本量是低的相比,时间序列的数量。我们还讨论了一个标准,以确定协整秩,我们说明了它的良好性能在几个模拟设置。在第一个实证应用中,我们调查是否利率期限结构的预期假设,这意味着稀疏协整向量,在实践中成立。在第二个实证应用中,我们表明,在高维系统的预测性能可以提高稀疏估计的协整关系。
2015-01-06 stat.ME
Sparse Vector Autoregressive Modeling
向量自回归(VAR)模型已被广泛用于多变量时间序列的时间相关性建模。对于大(甚至中等)维度,AR系数的数量可能非常大,导致噪声估计,不稳定的预测和难以解释的时间依赖性。为了克服这些缺点,我们提出了一个2阶段的方法来拟合稀疏VAR(sVAR)模型,其中许多AR系数为零。第一阶段选择非零AR系数的基础上估计的部分频谱相干性(PSC)连同BIC的使用。PSC用于量化多变量过程中边际序列之间的条件关系。然后应用细化第二阶段以进一步减少参数的数量。这2阶段的方法的性能示出了仿真结果。两阶段方法也适用于两个实际数据的例子:第一个是谷歌流感趋势数据,第二个是空气污染物浓度水平的时间序列。
2012-07-02 stat.AP stat.CO
An autocovariance-based learning framework for high-dimensional functional time series
本文针对高维函数型时间序列,提出基于自协方差的三步学习框架,通过降维、分块正则化最小距离估计获得稀疏估计,并在模拟与真实数据上验证其显著优于现有方法。
2022-08-23 math.ST stat.ME stat.TH
Penalized Likelihood Estimation in High-Dimensional Time Series Models and its Application
提出了平稳多时间序列模型中参数个数可能发散时惩罚拟极大似然(PQML)估计的一般理论框架。我们展示了高层次下的预言属性的PQML估计,但易于处理的假设,包括论文的前半部分。利用这些结果,我们在文章的后半部分提出了一种高维向量自回归(VAR)模型的稀疏估计方法。最后,通过仿真研究和收益率曲线预测的实证分析,验证了稀疏高维VAR模型的可用性。
2017-04-26 math.ST stat.AP stat.TH
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration
Purdue University(普渡大学);Guangxi Normal University(广西师范大学)
深度学习为人工智能(AI)最近的成功提供了动力。然而,作为深度学习的基本模型,深度神经网络存在局部陷阱和误校准等问题。在本文中,我们提供了一个新的稀疏深度学习框架,它以连贯的方式解决了上述问题。特别是,我们为稀疏深度学习奠定了理论基础,并提出了用于学习稀疏神经网络的先验退火算法。前者成功地将稀疏的深度神经网络驯服到统计建模的框架中,使预测的不确定性得到正确量化。后者可以渐近保证收敛到全局最优,使下游的统计推断的有效性。数值结果表明了该方法与现有方法相比的优越性。
2021-12-02 cs.LG stat.ML
Trajectory growth lower bounds for random sparse deep ReLU networks
Mathematical Institute(数学研究所);University of Oxford(牛津大学)
本文考虑了一维轨迹在通过深度ReLU神经网络时长度的增长,这是深度网络表达能力的一种度量。我们概括了现有的结果,提供了一种替代的,更简单的方法,通过随机网络的下界预期轨迹增长,更一般的权重分布,包括稀疏连接的网络。我们说明了这种方法推导出的稀疏高斯,稀疏均匀,稀疏离散值随机网的界限。我们证明,轨迹增长可以保持指数的深度与这些新的分布,包括他们的稀疏变量,与稀疏参数出现在指数的基础。
2019-11-25 cs.LG stat.ML
Deep Sparse Representation-based Classification
提出一种基于转导深度学习的稀疏表示分类方法,利用卷积自编码器和全连接层学习深度特征与稀疏编码,在三个数据集上优于现有SRC方法。
2019-04-24 cs.AI cs.CV cs.LG