Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction
Maastricht University（马斯特里赫特大学）
时间序列预测（单变量和多变量）是一个高复杂性的问题，因为必须在输入中检测不同的模式，从高频到低频。在本文中，我们提出了一个新的模型，利用卷积层的特征提取，一个经常性的编码器和线性自回归组件的时间序列预测。我们激励模型，我们测试和比较它对广泛使用的现有架构的基线单变量和多变量时间序列。所提出的模型似乎优于基线，在几乎每一种情况下的多变量时间序列数据集，在某些情况下，甚至有50%的改善，这表明这种混合架构在复杂的时间序列的优势。
2019-03-06 cs.LG stat.ML
Multivariate Time Series Classification using Dilated Convolutional Neural Network
Xsensor Technology Corp（Xsensor科技公司）；University of Alberta（阿尔伯塔大学）
多元时间序列分类是机器学习领域的一个重要研究课题。特征提取是分类任务中的一个主要步骤。传统方法采用手工制作的特征进行分类，而卷积神经网络（CNN）能够自动提取特征。本文将扩张卷积神经网络用于多变量时间序列分类。为了部署扩张的CNN，将多变量时间序列转换为类似图像的样式，并应用扩张和跨步卷积的堆栈来同时提取时间序列中变量的特征。我们在两个人类活动识别时间序列上评估了我们的模型，发现为时间序列提取的自动特征可以像手工制作的特征一样有效。
2019-05-05 cs.LG stat.ML
Multivariate trend-cycle extraction with the Hodrick-Prescott filter
Hodrick-Prescott滤波器是提取宏观经济时间序列趋势周期最常用的方法之一。在本文中，我们提供了一个多变量推广的Hodrick-Prescott滤波器，看似无关的时间序列的方法的基础上。首先，我们推导出封闭形式的表达式连接的信号噪声矩阵比的参数的模型的VARMA表示。然后，我们表明，可以使用最近推出的方法，称为“矩估计通过聚合（Meta）”的参数估计。该方法取代了传统的多元似然估计的过程，只需要估计单变量过程。这使得估计更简单，更快，更好地表现数值。我们证明了我们的估计方法是一致的，渐近正态分布的建议框架。最后，我们提出了一个实证应用程序，重点是几个欧洲国家的工业生产。
2015-08-23 stat.ME
PAC-Bayes Bounds for Multivariate Linear Regression and Linear Autoencoders
Kent State University（肯特州立大学）；Auburn University（阿伯丁大学）
本文提出多变量线性回归和线性自编码器的PAC-Bayes界，通过理论分析提升计算效率，并验证其在推荐系统中的有效性。
2025-12-15 cs.LG stat.ML
ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models
Beijing Institute of Technology（北京理工大学）
多变量时间序列预测因其在智能交通、人工智能等方面的广泛应用而受到广泛关注。生成模型在时间序列建模中取得了令人印象深刻的结果，因为它们可以建模数据分布并考虑噪声。然而，由于生成模型的函数形式的限制或对超参数的敏感性，许多现有的工作不能被广泛使用。在本文中，我们提出了ScoreGrad，一个基于连续能量生成模型的多变量概率时间序列预测框架。ScoreGrad由时间序列特征提取模块和基于条件随机微分方程的分数匹配模块组成。该预测可以通过迭代求解逆时矩来实现。据我们所知，ScoreGrad是第一个用于时间序列预测的基于连续能量的生成模型。此外，ScoreGrad在六个真实世界的数据集上实现了最先进的结果。超参数和采样器类型对性能的影响也进行了探讨。代码可在https://github.com/yantijin/ScoreGradPred上获得。
2021-06-18 cs.LG stat.ML
Multi-SpaCE: Multi-Objective Subsequence-based Sparse Counterfactual Explanations for Multivariate Time Series Classification
Multi-SpaCE是一种用于多变量时间序列分类的多目标反事实解释方法，通过NSGA-II算法平衡多个目标，确保有效性并提供灵活的解决方案。
2025-06-10 cs.LG cs.NE stat.ML
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society（马克斯·普朗克学会弗里茨·哈伯研究所）；Humboldt-Universität zu Berlin（柏林洪堡大学）
相关特征的识别，即，决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而，互信息需要概率分布作为输入，这不能从连续分布（诸如像长度或能量的物理量）可靠地估计。在这里，我们介绍了总累积互信息（TCMI），相互依赖的相关性，扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量，其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择，即，识别与感兴趣的属性在统计上非线性相关的变量集，考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能，比较其性能与类似的多变量依赖措施，并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
Active Region-based Flare Forecasting with Sliding Window Multivariate Time Series Forest Classifiers
Georgia State University（佐治亚州立大学）
本研究提出基于滑动窗口的多元时间序列森林分类器，用于太阳耀斑预报，兼顾高精度（TSS>85%）与可解释性，并识别关键特征子区间。
2024-02-05 astro-ph.SR cs.LG stat.AP
MTHetGNN: A Heterogeneous Graph Embedding Framework for Multivariate Time Series Forecasting
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测通过分析历史时间序列来预测未来趋势，可以有效地帮助决策。MTS中变量之间的复杂关系，包括静态、动态、可预测和潜在的关系，使得挖掘MTS的更多特征成为可能。复杂关系的建模不仅是刻画潜在依赖和建模时态依赖的必要条件，也给MTS预测任务带来了巨大的挑战。然而，现有的方法主要集中在建模MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，称为通过异构图神经网络进行多变量时间序列预测（MTHetGNN）。为了刻画变量之间的复杂关系，MTHetGNN设计了关系嵌入模块，将每个变量看作一个图节点，每种边表示一种特定的静态或动态关系。同时，时间嵌入模块引入时间序列的特征提取，其中涉及卷积神经网络（CNN）滤波器与不同的感知尺度。最后，采用异构图嵌入模块来处理两个模块生成的复杂结构信息。来自现实世界的三个基准数据集被用来评估所提出的MTHetGNN。综合实验表明，MTHetGNN在MTS预测任务中取得了较好的效果。
2021-12-15 cs.LG stat.ML
MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry
Paul Wurth S.A.（保尔沃斯公司）
在当前时代，越来越多的机器学习模型被生成用于工业过程的自动化。为此，使用每个单个资产的历史数据来训练机器学习模型，从而导致基于资产的模型的开发。为了将机器学习模型提升到更高的学习能力水平，领域自适应为从组合在一起的多个资产中提取相关模式打开了大门。在这项研究中，我们专注于将特定的基于资产的历史数据（源域）转换为对应于一个参考资产（目标域）的数据，从而创建训练域不变通用机器学习模型所需的多资产全局数据集。本研究旨在将领域自适应应用于炼铁工业，特别是通过收集来自不同高炉的数据来创建领域不变数据集。高炉数据具有多变量时间序列的特征。多元时间序列数据的领域自适应在文献中尚未得到广泛的研究。我们提出了MTS-CycleGAN，基于CycleGAN的多变量时间序列数据的算法。据我们所知，这是CycleGAN首次应用于多变量时间序列数据。我们的贡献是在CycleGAN架构中集成了一个基于长短期记忆（LSTM）的自动编码器（AE），用于生成器和一个堆叠的基于LSTM的编码器，以及专用的扩展特征提取机制。MTS-CycleGAN使用两个人工数据集进行验证，嵌入反映高炉过程的变量之间的复杂时间关系。MTS-CycleGAN成功地学习了两个人工多变量时间序列数据集之间的映射，允许从源数据集到目标人工高炉数据集的有效转换。
2020-07-15 cs.LG stat.ML
Causal Patterns: Extraction of multiple causal relationships by Mixture of Probabilistic Partial Canonical Correlation Analysis
在本文中，我们提出了一个混合的概率部分典型相关分析（MPPCCA），提取两个多元时间序列的因果模式。因果模式是指两个元素之间相互作用的信号模式，它们具有多种类型的相互因果关系，而不是同时相关的混合物或元素之间不存在因果关系。在多变量统计中，部分典型相关分析（PCCA）在减去第三个多变量的影响后评估两个多变量之间的相关性。PCCA可以计算Granger因果指数（它测试一个时间序列是否可以从另一个时间序列预测），但不适用于包含多个偏典型相关的数据。在介绍了MPPCCA，我们提出了一个期望最大化（EM）算法估计的参数和潜变量的MPPCCA。MPPCCA可以在没有任何监督信号的情况下从数据序列中提取多个偏典型相关，从而将数据分割为聚类。然后在合成数据实验中对该方法进行了评价。在合成数据集上，我们的方法比现有的方法更准确地估计了多重偏典型相关。为了确定该方法可检测的模式类型，还在真实数据集上进行了实验。该方法估计运动捕捉数据中的通信模式。MP-PCCA适用于各种类型的信号，如脑信号，人类交流和非线性复杂多体系统。
2017-12-12 stat.ME stat.ML
Directional Multivariate Ranking
University of Virginia（弗吉尼亚大学）
用户提供的多方面评价体现了用户对推荐项目的详细反馈，并能够细粒度地了解他们的偏好。大量的研究表明，对这些数据进行建模可以大大提高建议的有效性和可解释性。然而，由于排名在推荐中是必不可少的，因此还没有原则性的解决方案用于在不同方面共同生成多个项目排名。在这项工作中，我们提出了一个方向性的多方面的排名标准，使一个整体的排名项目的多个方面。具体来说，我们认为多方面的评价作为一个整体的努力，从用户形成一个向量，他/她的喜好方面。我们的关键见解是，两个多方面的偏好向量之间的差异向量的方向揭示了成对的比较顺序。因此，有必要为多方面的排名标准，以保持从这样的成对比较观察到的方向。我们进一步推导出一个完整的解决方案的多方面的排名问题的基础上的概率多元张量分解模型。在一个大型TripAdvisor多方面评分数据集和一个Yelp评论文本数据集上的综合实验分析证实了我们的解决方案的有效性。
2020-06-09 cs.IR cs.LG stat.ML
BPMR: Bayesian Probabilistic Multivariate Ranking
University of Virginia（弗吉尼亚大学）
多方面的用户偏好在推荐系统中引起了更广泛的关注，因为它们能够更详细地了解用户对项目的评价。以往的研究表明，将多方面的偏好，可以大大提高推荐的性能和可解释性。然而，由于推荐本质上是一个排名问题，因此没有原则性的解决方案来对多个方面进行集体排名以增强推荐。在这项工作中，我们推导出一个多方面的排名标准。为了保持不同方面之间的依赖性，我们建议使用多方面评级的向量化表示，并开发一个概率多变量张量分解框架（PMTF）。该框架自然会导致一个概率多方面的排名标准，它概括了单方面的排名，以多变量的时尚。在一个大的多方面评论评分数据集上的实验结果证实了我们的解决方案的有效性。
2022-04-16 cs.IR cs.LG
Causal and Local Correlations Based Network for Multivariate Time Series Classification
School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院）；Shandong Provincial Key Laboratory for Distributed Computer Software Novel Technology（山东省分布式计算机软件新技术重点实验室）
针对现有多元时间序列分类方法忽略维度空间相关性与特征局部相关性的问题，本研究提出CaLoNet，通过因果建模维度成对空间相关性得图结构、关系提取网络融合局部相关性得长期依赖特征并整合入图神经网络，在UEA数据集上取得与最优方法相当的性能。
2024-11-27 cs.AI cs.LG stat.ME
Feature selection or extraction decision process for clustering using PCA and FRSD
本文关注的关键决策过程中提取或选择的功能之前，应用聚类算法。评估特征的重要性并不明显，因为最流行的方法通常是针对监督学习技术过程。聚类算法是一种无监督的方法。这意味着没有已知的输出标签与输入数据匹配。本文提出了一种根据数据科学家的参数选择最佳降维方法（选择或提取）的新方法，旨在最终应用聚类过程。它使用基于轮廓分解的特征排名过程（FRSD）算法，主成分分析（PCA）算法和K-Means算法及其度量，轮廓指数（SI）。本文介绍了基于智慧城市数据集的5个用例。本研究还旨在讨论在这种无监督学习过程中可以做出的每种选择的影响、优点和缺点。
2021-11-20 cs.LG
KAN-Matrix: Visualizing Nonlinear Pairwise and Multivariate Contributions for Physical Insight
University of Texas, El Paso（得克萨斯大学埃尔帕索分校）；The University of Arizona（亚利桑那大学）
KAN-Matrix通过非线性成对和多变量贡献可视化，提升复杂数据集的可解释性和物理洞察力。
2025-12-12 cs.LG physics.app-ph physics.data-an
KERT: Automatic Extraction and Ranking of Topical Keyphrases from Content-Representative Document Titles
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachussets Amherst（马萨诸塞大学阿默斯特分校）
我们介绍KERT（关键词提取和排名的主题），主题关键词生成和排名的框架。通过从以单字为中心的传统无监督关键短语提取方法转变为以短语为中心的方法，我们能够直接比较和排名不同长度的短语。我们构建了一个主题关键词排名函数，它实现了代表高质量主题关键词的四个标准（覆盖率，纯度，短语性和完整性）。在计算机科学和物理学领域的两个内容代表性标题集合上证明了我们方法的有效性。
2013-06-03 cs.IR cs.LG
A Tidy Framework and Infrastructure to Systematically Assemble Spatio-temporal Indexes from Multivariate Data
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Monash University（莫纳什大学）；University of Natural Resources and Life Sciences, Vienna（维也纳自然与应用生命科学大学）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；University of Melbourne（墨尔本大学）
本文提出了一种模块化的数据管道框架，用于系统性地构建时空索引，通过参数调整和实验设计提升索引的鲁棒性和不确定性分析能力。
2024-05-13 stat.CO
Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank
University of Utah（犹他大学）
利用有偏点击数据优化学习排序系统已成为信息检索中的一种流行方法。由于点击数据往往是噪声和偏见，已经提出了各种方法来构建无偏学习排序（ULTR）算法的学习无偏排名模型。其中，自动无偏学习排序（AutoULTR）算法联合学习用户偏差模型（即，具有无偏排序器的倾向模型）由于其在实践中的优越性能和低部署成本而受到很多关注。尽管它们在理论和算法设计上存在差异，但现有的ULTR研究通常使用单变量排序函数对每个文档或结果进行独立评分。另一方面，上下文感知学习排名模型的最新进展表明，多变量评分函数，一起读取多个文档，并共同预测他们的排名分数，比单变量排名功能更强大的排名任务与人类注释的相关性标签。然而，这种优越的性能是否会在有噪声数据的ULTR中保持，大多是未知的。在本文中，我们调查现有的多变量评分函数和AutoULTR算法在理论上，并证明置换不变性是一个关键因素，决定是否上下文感知的学习排名模型可以应用到现有的AutoULTR框架。我们在两个大规模基准数据集上进行的合成点击实验表明，具有置换不变多变量评分函数的AutoULTR模型显著优于具有单变量评分函数和置换变量多变量评分函数的模型。
2020-08-20 cs.IR cs.LG
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加，因为当前的传感器设备被开发为具有更高的分辨率，并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析（MVA）领域下。本文对主成分分析（PCA）、偏最小二乘（PLS）、典型相关分析（CCA）和正交归一化PLS（OPLS）等方法进行了统一处理，并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系，并介绍了一些最近的发展，以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性，我们分析了它们在公开数据集基准中的性能，并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法，采用候选短语统计和位置特征与轻量集成模型，不依赖外部知识和预训练模型，在基准测试中准确率优于多数现有模型，兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Optimizing Ranking Measures for Compact Binary Code Learning
University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
散列已被证明是大规模信息检索的有价值的工具。尽管取得了很大的成功，现有的散列方法优化简单的目标，如重建误差或图形拉普拉斯相关的损失函数，而不是性能评估标准的兴趣-多变量性能指标，如AUC和NDCG。在这里，我们提出了一个通用的框架（称为StructHash），允许一个直接优化多元性能指标。由此产生的优化问题可能涉及指数或无限多个变量和约束，这比标准的结构化输出学习更具挑战性。为了解决StructHash优化问题，我们使用列生成和切割平面技术的组合。我们通过将其应用于排名预测和图像检索来展示StructHash的通用性，并表明它优于一些最先进的哈希方法。
2014-07-04 cs.CV cs.LG
FAConvLSTM: Factorized-Attention ConvLSTM for Efficient Feature Extraction in Multivariate Climate Data
University of Maryland, Baltimore County（马里兰大学巴尔的摩县）
FAConvLSTM通过因子化注意力机制和轻量级设计，提升多变量气候数据处理的效率和物理可解释性。
2026-01-16 cs.LG
Knowledge Extraction with Interval Temporal Logic Decision Trees
University of Ferrara（费拉拉大学）；University of Parma（帕尔马大学）
本文提出 Temporal C4.5 算法及其实现 Temporal J48，将经典决策树 C4.5 扩展到未离散化的多变量时间序列，通过区间时序逻辑 HS 提取时序决策树，并在公共数据集上验证其优于经典时序分类方法。
2023-05-26 cs.AI cs.LG
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
None Class Ranking Loss for Document-Level Relation Extraction
National University of Singapore（新加坡国立大学）
文档级关系抽取（RE）的目的是抽取跨多个句子表达的实体之间的关系，这可以被看作是一个多标签分类问题。在典型的文档中，大多数实体对不表达任何预定义的关系，并且被标记为“无”或“无关系”。为了获得良好的文档级RE性能，将这些非类实例（实体对）与预定义类（关系）的实例区分开来是至关重要的。然而，大多数现有的方法只估计预定义的关系独立的概率，而不考虑“无关系”的概率。这忽略了实体对的上下文以及none类和预定义类之间的标签相关性，导致次优预测。为了解决这个问题，我们提出了一个新的多标签损失，鼓励每个预定义的类和无类之间的标签置信度得分的大幅度，这使得捕获的标签相关性和上下文相关的阈值标签预测。为了进一步增强对可能出现在真实世界RE数据集中的正负不平衡和错误标记数据的鲁棒性，我们提出了一种边缘正则化和边缘移动技术。实验结果表明，我们的方法显着优于现有的多标签损失的文档级RE和工作在其他多标签任务，如情感分类时，没有类实例可用于训练。
2022-05-03 cs.CL cs.LG
Regularized Multivariate Analysis Framework for Interpretable High-Dimensional Variable Selection
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多变量分析（MVA）包括一系列用于特征提取的公知方法，其利用表示数据的输入变量之间的相关性。大多数此类方法所享有的一个重要属性是所提取的特征之间的不相关性。最近，MVA方法的正则化版本出现在文献中，主要是为了获得解的可解释性。在这些情况下，解决方案不再能够以封闭的方式获得，并且经常使用依赖于两个步骤的迭代的更复杂的优化方法。本文提出了一种替代方法来有效地解决这个迭代问题。这种方法的主要新颖之处在于保留了原始方法的几个属性，最显着的是所提取的特征的不相关性。在此框架下，我们提出了一种新的方法，利用l-21范数进行变量选择过程中的特征提取过程。不同问题的实验结果证实了所提出的配方与现有技术配方相比的优点。
2021-12-22 cs.LG
Satellite-based feature extraction and multivariate time-series prediction of biotoxin contamination in shellfish
NOVA School of Science and Technology (NOVA FCT)（新里斯本大学科学与技术学院（NOVA FCT））；IPMA - Instituto Português do Mar e da Atmosfera（葡萄牙海洋与大气研究所（IPMA））；NOVA Laboratory for Computer Science and Informatics (NOVA LINCS)（新里斯本大学计算机科学与信息学实验室（NOVA LINCS））；Center for Mathematics and Applications (NOVA Math)（新里斯本大学数学与应用中心（NOVA Math））；NOVA Research & Development Unit for Mechanical and Industrial Engineering (UNIDEMI)（新里斯本大学机械与工业工程研发单元（UNIDEMI））
本研究利用Sentinel-3卫星影像和贝类生物毒素污染数据，通过自编码器提取特征并结合人工神经网络进行多变量时间序列预测，验证了卫星数据整合可有效提升贝类毒素污染的预测能力。
2023-11-25 cs.LG
Channel masking for multivariate time series shapelets
Universität Hildesheim（希尔德斯海姆大学）
时间序列的形状特征是具有区分性的子序列，其与时间序列的相似性可用于时间序列分类。初始shapelet提取算法通过完全枚举所有可能的数据子序列来搜索shapelet。单变量时间序列的shapelet研究提出了一种称为shapelet学习的机制，该机制将shapelet参数化，并在优化过程中与预测模型一起学习。由于存在噪声通道，导致过拟合，将此方法简单扩展到多变量时间序列不会产生很好的结果。在本文中，我们提出了一个多变量时间序列的shapelet学习计划，其中我们引入通道掩码折扣噪声通道，并作为一个隐式正则化。
2017-11-02 cs.LG
Bag of Tricks for Training Data Extraction from Language Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Sea AI Lab（Sea人工智能实验室）
针对语言模型训练数据提取效果不足的问题，本文系统研究生成与排序阶段的多种技巧，并在 GPT-Neo 1.3B 上证明其可显著提升提取性能。
2023-06-01 cs.AI cs.CL cs.CR
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Classification of multivariate weakly-labelled time-series with attention
Monash University（莫纳什大学）
这项研究确定了弱标记多变量时间序列分类（TSC）中的一个空白，其中最先进的TSC模型表现不佳。弱标记时间序列是包含噪声和显著冗余的时间序列。针对这一缺陷，本文提出了一种利用上下文相关性的方法，从以前的一致性，以提高分类精度。为了实现这一目标，在CNN-LSTM架构中，结合TSC的顶级CNN模型（FCN和ResNet），对最先进的Attention算法进行了实验。注意力是一种流行的上下文提取策略，在现代序列到序列任务中具有出色的性能。本文展示了如何注意力算法可以用于改进的weakenlabelledTSC通过评估模型的多变量EEG时间序列数据集上获得使用一个商业aerosptiv耳机从参与者进行各种活动，而驾驶。这些时间序列被分割成子序列，并标记为允许监督TSC。
2021-09-17 cs.LG
Instance Explainable Temporal Network For Multivariate Timeseries
AVLab
虽然深度网络已经被广泛采用，但它们的缺点之一是它们的黑盒性质。机器学习中一个特别困难的问题是多变量时间序列（MVTS）分类。MVTS数据出现在许多应用中，并且由于传感器和物联网设备的爆炸性增长而变得越来越普遍。在这里，我们提出了一种新的网络（IETNet），它可以识别每个推理实例的分类决策中的重要通道。此功能还可以识别和删除非预测变量，否则会导致过拟合和/或不准确的模型。IETNet是一个端到端的网络，它将时间特征提取、变量选择和联合变量交互结合到一个单一的学习框架中。IETNet利用一维卷积的时间特征，一个新的通道门层的变量类分配使用的注意力层执行跨通道推理和执行分类目标。为了深入了解学习到的时间特征和通道，我们提取了感兴趣区域的注意力图沿时间和通道。该网络的可行性证明通过一个多变量的时间序列数据从N体模拟和航天器传感器数据。
2020-08-02 cs.CV cs.LG stat.ML
THOR: Threshold-Based Ranking Loss for Ordinal Regression
Bar-Ilan University（巴伊兰大学）
在这项工作中，我们提出了一个基于回归的有序回归算法的监督分类的顺序类别的实例。与之前的方法相比，在这项工作中，类别之间的决策边界是预定义的，并且算法学会根据这些预定义的边界将输入示例投影到其适当的分数上。这是通过增加一个新的基于阈值的成对损失函数，旨在最大限度地减少回归误差，这反过来又最大限度地减少平均绝对误差（MAE）的措施。我们实现了我们提出的架构不可知的方法，使用CNN框架的特征提取。五个真实世界的基准测试结果表明，该算法实现了最好的MAE结果相比，最先进的有序回归算法。
2022-05-10 cs.LG
Improving the Evaluation and Actionability of Explanation Methods for Multivariate Time Series Classification
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）
针对多元时间序列分类解释领域评估方法不足、缺乏可行动性的问题，该研究改进了InterpretTime评估框架，并验证了基于扰动的解释方法在通道选择任务中可缩减数据规模、提升分类准确率。
2024-08-12 cs.LG
FilterTS: Comprehensive Frequency Filtering for Multivariate Time Series Forecasting
College of Computer Science, Nankai University（南开大学计算机科学学院）；Tianjin Media Computing Center（天津媒体计算中心）
FilterTS通过动态跨变量滤波和静态全局滤波在频率域建模多元时间序列，将时域卷积转为频域乘法，在八个数据集上显著提升预测精度与计算效率。
2025-05-07 cs.LG
CASA: CNN Autoencoder-based Score Attention for Efficient Multivariate Long-term Time-series Forecasting
Department of Mathematical Sciences（数学科学系）；Research Institute of Mathematics（数学研究所）；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）
本文提出CASA机制，通过CNN自编码器得分注意力降低内存占用，以模型无关方式改进Transformer，在多元长期时间序列预测中最多降低77.7%计算资源并取得最优性能。
2025-05-04 cs.AI cs.LG
MoDEx: Mixture of Depth-specific Experts for Multivariate Long-term Time Series Forecasting
MoDEx通过深度特异性专家模型提升多变量长周期时间序列预测的准确性与效率
2026-01-31 cs.AI cs.LG
Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Informative Time Intervals
The Pennsylvania State University（宾夕法尼亚州立大学）
时间序列数据在各种现实世界的应用中很普遍，它需要可信和可解释的模型，以便人们理解并完全信任人工智能解决方案所做的决策。我们考虑从多变量时间序列数据建立可解释的分类器的问题。理解这种预测模型的一个关键标准涉及阐明和量化时变输入变量对分类的贡献。因此，我们引入了一种新的，模块化的，基于卷积的特征提取和注意力机制，同时识别的变量，以及确定分类器输出的时间间隔。我们提出了广泛的实验结果与几个基准数据集，表明所提出的方法优于国家的最先进的基线方法对多变量时间序列分类任务。我们的案例研究的结果表明，所提出的方法确定的变量和时间间隔是有意义的，相对于现有的领域知识。
2020-11-23 cs.LG
MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；University of Connecticut（康涅狄格大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对多元时间序列预测中多粒度相关性难以同时学习的问题，提出MGCP网络，通过自适应傅里叶神经算子和图卷积网络提取细、中粒度特征，并利用对抗训练优化粗粒度预测，显著提升了预测性能。
2024-05-30 cs.LG
Multivariate Time-series Anomaly Detection via Dynamic Model Pool & Ensembling
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出DMPEAD框架，通过动态模型池与集成方法提升多变量时间序列异常检测的适应性和可扩展性。
2026-01-05 cs.DB cs.LG
HawkesRank: Event-Driven Centrality for Real-Time Importance Ranking
HawkesRank通过动态建模外源性驱动和内源性放大，提供实时重要性排名方法，优于传统静态中心性度量。
2026-03-12 cs.LG cs.SI physics.soc-ph
Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过探针分析四个排序大语言模型的神经元激活，揭示其编码的统计信息检索特征、缺失特征及分布外泛化行为，为提升检索模型可解释性与可靠性提供见解并公开代码。
2025-07-22 cs.IR cs.LG
Efficient Linear Attention for Multivariate Time Series Modeling via Entropy Calibration
本文提出基于熵等式的线性注意力机制，以线性复杂度替代二次复杂度，揭示注意力有效性源于均衡权重分布而非softmax非线性，并在多个时空数据集上实现高效且具竞争力的预测。
2026-10-27 cs.AI cs.LG
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover（莱布尼茨汉诺威大学）
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务，例如在状态监测的上下文中，但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中，我们提出了一种无监督的特征提取使用自动编码器网络，专门解决数据库的异构性，并减少了标记的训练数据的量相比，现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
An efficient reduction of ranking to classification
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
本文描述了一个有效的减少学习问题的排名二进制分类。减少保证了平均成对误排序遗憾的最多的二元分类器的遗憾，改善了最近的结果Balcan等人，它只保证了一个因素2。此外，我们的减少适用于一个更广泛的类的排名损失函数，承认一个更简单的证明，和预期的运行时间复杂度性，我们的算法在调用分类器或偏好函数的数量方面的改进，从$Ω(n^2)$到$O(n \log n)$。此外，当只需要$k$排名靠前的元素（$k \ll n$）时，如在信息抽取或搜索引擎中的许多应用中，我们的算法的时间复杂度可以进一步降低到$O(k \log k + n)$。因此，我们的减少和算法是实际的实际应用中的点数排名超过几千。我们的许多结果也超出了以前研究的二分情况。我们的预测是随机的。为了补充我们的结果，我们还推导出任何确定性减少二进制（偏好）分类排名的下限，这意味着我们使用的随机减少是必要的，我们提供的保证。
2007-12-07 cs.IR cs.LG
Multivariate Time Series Forecasting with Transfer Entropy Graph
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测是许多领域的基本问题。准确的预测结果可以有效地帮助决策。迄今为止，已经提出了许多MTS预测方法，并得到了广泛的应用。然而，这些方法假设单个变量的预测值受到所有其他变量的影响，这忽略了变量之间的因果关系。为了解决上述问题，本文提出了一种新的端到端深度学习模型，称为具有神经格兰杰因果关系的图神经网络（CauGNN）。为了刻画变量之间的因果信息，我们在模型中引入了神经格兰杰因果图。每个变量被视为一个图节点，每条边代表变量之间的因果关系。此外，使用具有不同感知尺度的卷积神经网络（CNN）滤波器进行时间序列特征提取，用于生成每个节点的特征。最后，采用图神经网络（GNN）对MTS生成的图结构进行预测。来自现实世界的三个基准数据集被用来评估所提出的CauGNN。综合实验表明，该方法在MTS预测任务中取得了较好的效果。
2021-12-14 cs.LG eess.SP
