Interpretable Random Forests via Rule Extraction
Safran Tech(赛峰科技);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
我们介绍了SIRUS(稳定和可解释的规则集)回归,一个稳定的规则学习算法,它采取了一个简短的规则列表的形式。最先进的学习算法通常被称为“黑盒”,因为它们的预测过程中涉及大量的操作。尽管它们具有强大的预测性,但这种缺乏可解释性的情况可能对具有关键决策的应用程序具有高度限制性。另一方面,具有简单结构的算法-通常是决策树、规则算法或稀疏线性模型-以其不稳定性而闻名。这一不受欢迎的特征使得数据分析的结论不可靠,并成为一个强大的操作限制。这激发了SIRUS的设计,它结合了简单的结构和数据扰动时显着的稳定行为。该算法是基于随机森林,其中的预测精度是保留的。我们证明了经验(通过实验)和理论(证明其渐近稳定性)的方法的效率。我们的R/C++软件实现sirus可从CRAN获得。
2021-02-10 cs.AI cs.LG stat.ML
Early Detection of Forest Calamities in Homogeneous Stands -- Deep Learning Applied to Bark-Beetle Outbreaks
Intelligent System Research Group University of Applied Science Karlsruhe(应用科技大学智能系统研究组);ThüringenForst AöR Forstliches Forschungs- und Kompetenzzentrum (FFK)(图林根林业局林业研究与竞争力中心)
本文提出基于LSTM自编码器的深度学习方法,用于早期检测森林健康异常,如松树甲虫爆发,具有更高的检测效率和更低的资源需求。
2025-05-13 cs.LG
Planted: a dataset for planted forest identification from multi-satellite time series
Mineral AI;Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出PlantD数据集,融合五颗卫星的多年时间序列,覆盖41国超200万样本和64个树种类别,用于全球人工林识别,并提供基线结果与模态融合、数据增强评估。
2024-05-24 cs.CV cs.LG
Exploring Interpretability in Deep Learning-Based Forest Classification - Separating Similar Forest Classes using Sentinel-2 Time Series
Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
本研究针对像素层面区分纯林与混交林的挑战,用Sentinel-2时间序列对比RNN、RF、XGBoost的森林分类性能,结合IG分析特征归因,发现RNN表现最优且可揭示关键物候与光谱区域。
2026-10-13 cs.AI cs.LG
The Canonical Interval Forest (CIF) Classifier for Time Series Classification
University of East Anglia(东英吉利大学)
时间序列分类(TSC)是许多算法组的所在地,这些算法组利用不同种类的判别模式。其中一组描述了使用相位相关间隔进行预测的分类器。时间序列森林(TSF)分类器是最知名的区间方法之一,在训练和预测方面表现出强大的性能和相对速度。然而,其他方法的最新进展已经将TSF抛在了后面。TSF最初使用三个简单的汇总统计量来总结间隔。最近提出了一套由22个时间序列特征组成的“catch 22”特征,以通过一套简洁的、多样的、信息丰富的描述性特征来协助时间序列分析。我们建议结合TSF和catch 22,形成一个新的分类器,典型区间森林(CIF)。我们概述了训练过程的其他增强功能,并扩展了分类器,以包括多变量分类功能。我们证明了一个大的和显着的改进,在TSF和catch 22的准确性,并显示它是与其他算法类的顶级表演者。通过将基于间隔的组件从TSF升级到CIF,我们还展示了结合不同时间序列表示的基于变换的集合(HIVE-COTE)的分层投票集体的显着改进。使用CIF的HIVE-COTE在UCR存档中比我们所知道的任何其他分类器都要准确得多,代表了TSC的最新技术水平。
2020-08-20 cs.LG eess.SP
Unsupervised Feature Construction for Anomaly Detection in Time Series -- An Evaluation
Orange Innovation(奥兰奇创新公司)
本文通过实验评估了使用tsfresh库进行无监督特征构建对时间序列异常检测的影响,发现新表示显著提升了孤立森林的性能。
2025-01-20 cs.LG
Distributed and parallel time series feature extraction for industrial big data applications
Blue Yonder GmbH(Blue Yonder公司);University of Auckland(奥克兰大学);University of Freiburg(弗莱堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
特征选择的全相关问题是所有强相关和弱相关属性的识别。这个问题对于工业应用中的时间序列分类和回归特别难以解决,例如预测性维护或生产线优化,对于这些应用,每个标签或回归目标同时与多个时间序列和元信息相关联。在这里,我们提出了一个有效的,可扩展的特征提取算法的时间序列,过滤可用的功能在早期阶段的机器学习管道相对于其重要性的分类或回归任务,同时控制预期的百分比选择,但不相关的功能。该算法结合了已建立的特征提取方法与特征重要性过滤器。它具有低的计算复杂性,允许开始一个问题,只有有限的领域知识可用,可以trivially并行化,是高度可扩展的,并基于充分研究的非参数假设检验。我们基准我们提出的算法上的所有二进制分类问题的UCR时间序列分类存档,以及时间序列从生产线优化项目和模拟随机过程与潜在的定性变化的动态。
2017-05-19 cs.LG
FRANS: Automatic Feature Extraction for Time Series Forecasting
Monash University(莫纳什大学);University of Sydney(悉尼大学)
特征提取方法有助于降维并捕获相关信息。在时间序列预测(TSF)中,特征可以作为辅助信息来实现更好的精度。传统上,TSF中使用的功能是手工制作的,这需要领域知识和大量的数据工程工作。在这项研究中,我们首先介绍了静态和动态功能的概念,然后使我们能够开发我们的自主特征检索自回归网络的静态功能(FRANS),不需要领域知识。该方法是基于一个CNN分类器,该分类器被训练为每个系列创建一个集体和唯一的类表示,或者从该系列的部分,或者,如果类标签可用,从一组系列的同一类。它允许区分具有相似行为但来自不同类别的系列,并使从分类器中提取的特征具有最大的区分性。我们探索我们的功能的可解释性,并评估预测元学习环境FFORMA内的方法的预测能力。我们的研究结果表明,我们的功能导致在大多数情况下的准确性的提高。一旦经过训练,我们的方法比统计方法更快地创建特征数量级。
2022-09-15 cs.LG
AR-Sieve Bootstrap for the Random Forest and a simulation-based comparison with rangerts time series prediction
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文针对时间序列 RF 重采样未充分反映 DGP 自回归性质的问题,提出用 AR-Sieve 残差 bootstrap 替代 IID bootstrap,并通过多类 DGP 模拟验证其可提升树间差异与预测精度,但会牺牲部分效率。
2024-10-01 cs.LG stat.ML
TS-CHIEF: A Scalable and Accurate Forest Algorithm for Time Series Classification
Monash University(莫纳什大学);IRISA(法国国家信息与自动化研究所/雷恩一大信息与系统研究所(注:IRISA 常见中文译名为法国雷恩信息、自动化与数学研究所));CNRS(法国国家科学研究中心);Univ. Bretagne Sud(南布列塔尼大学)
时间序列分类(TSC)在过去的二十年中取得了巨大的进步。HIVE-COTE(Hierarchical Vote Collective of Transformation-based Ensembles)是分类准确性方面的最新技术。HIVE-COTE认识到时间序列数据是一种特定的数据类型,主要用于机器学习的传统属性-值表示无法提供相关表示。HIVE-COTE结合了多种类型的分类器:每个分类器都提取关于时间序列的特定方面的信息,无论是在时域,频域还是序列内间隔的总结。然而,HIVE-COTE(及其前身FLAT-COTE)通常无法在少量数据上运行。例如,在只有1,500个时间序列的数据集上训练HIVE-COTE可能需要8天的CPU时间。它的运行时间与训练集大小有关,因此随着数据量的增加,这个问题变得更加复杂。我们提出了一种新的TSC算法,TS-CHIEF(时间序列组合的异构和集成嵌入森林),它的竞争对手HIV-COTE的准确性,但只需要一小部分的运行时间。TS-CHIEF构建了一个集成分类器,它集成了过去十年来研究开发的最有效的时间序列嵌入。它使用树结构分类器来有效地做到这一点。我们在加州大学河滨分校(UCR)档案的85个数据集上评估了TS-CHIEF,它在可扩展性和效率方面达到了最先进的准确性。我们证明了TS-CHIEF可以在2天内在130 k时间序列上进行训练,这是任何具有可比精度的…
2020-02-14 cs.LG stat.ML
AMP: a new time-frequency feature extraction method for intermittent time-series data
Horizon Digital Economy Research Institute(地平线数字经济研究院);University of Nottingham(诺丁汉大学);School of Mathematical Sciences(数学科学学院)
通过最显著的特征来表征时间序列数据在一系列机器学习任务中非常重要,尤其是在分类和聚类方面。虽然存在许多适用于非间歇性时间序列数据的特征提取技术,但是这些方法并不总是适用于间歇性时间序列数据,在间歇性时间序列数据中,不连续性的特征在于大时间段的恒定值,该大时间段被值的急剧和瞬时增加或减少打断。出于这一动机,我们提出了聚合,模式分解和投影(AMP)的特征提取技术,特别适合于间歇性的时间序列数据,其中包含时间-频率模式。对于我们的方法,一个集合内的所有单个时间序列被组合成一个非间歇性的集合。这被分解成一组表示数据集内的固有时频信号的分量。然后,可以将各个时间序列拟合到这些分量,以获得一组代表其内在时频模式的数值特征。为了证明AMP的有效性,我们评估了对间歇性时间序列数据进行聚类的真实任务。使用综合生成的数据,我们表明,聚类方法,使用来自AMP的功能显着优于传统的聚类方法。我们的技术进一步举例说明了一个真实世界的数据集,AMP可以用来发现对应于真实世界的子群体的个人分组。
2015-07-27 cs.LG
Predictability of Machine Learning Algorithms and Related Feature Extraction Techniques
Department of Mathematics and Computer Science(数学与计算机科学系)
该研究设计基于矩阵分解的预测系统,针对五十余个openml数据集,探究随机森林、XGBoost、MLP三类算法的性能可预测性,得出三类相关预测结论。
2023-04-30 cs.LG
TsFeX: Contact Tracing Model using Time Series Feature Extraction and Gradient Boosting
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学学院);Technological University Dublin(都柏林理工大学)
随着COVID-19大流行的爆发,有效识别可能与其他COVID-19感染者有密切接触的个人的迫切需要已经增加。这种识别个人的过程,也称为“接触者追踪”,对遏制和控制这种病毒的传播具有重要意义。然而,手动追踪已被证明是无效的,需要自动接触追踪方法。因此,这项研究提出了一种自动化的机器学习系统,用于使用通过手持设备传输的传感器数据识别可能与感染COVID-19的其他人接触过的个人。本文介绍了不同的方法,然后在到达一个最佳的解决方案模型,有效地预测一个人是否已经在接近感染的个人使用梯度提升算法和时间序列特征提取。
2021-12-04 cs.LG
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America(美国NEC实验室)
我们介绍了多变量时间序列(MTS)分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法,我们的技术不需要一个特征提取步骤,从时间序列生成一个一维的特征向量。相反,它是基于直接计算单个时间序列之间的相似性,并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据,其中时间序列测量可能具有不同的采样分辨率,以及多模态数据。
2020-05-01 cs.LG stat.ML
Comparing Data-Driven and Mechanistic Models for Predicting Phenology in Deciduous Broadleaf Forests
Max Planck Institute for Biogeochemistry(马克斯·普朗克生物地球化学研究所)
本研究训练深度神经网络基于气象时间序列预测落叶阔叶林物候指数,发现其优于传统基于过程的模型,并分析了影响预测的关键变量,为数据驱动方法改进气候预测提供了潜力。
2024-01-08 cs.LG
Label-Guided Imputation via Forest-Based Proximities for Improved Time Series Classification
1 Department of Statistics, Brigham Young University, Provo, UT, USA Emails;2 Department of Computer Science, Brigham Young University, Provo, UT, USA Email;3 Department of Public Health, Brigham Young University, Provo, UT, USA Email;4 Department of Neurology, Vagelos College of Physicians \& Surgeons, Columbia University, New York, NY, USA Email;5 Department of Neurology, Miller School of Medicine, University of Miami, Miami, FL, USA Email;6 Elmhurst Hospital Center, NYC Health + Hospitals, New York, NY, USA Email;7 Department of Mathematics \& Statistics, Utah State University, Logan, UT, USA Email
针对时间序列分类中多数插补方法忽略标签信息的问题,提出利用监督模型的基于树的邻近性进行标签条件插补,从而提升分类准确率。
2025-09-26 cs.LG stat.ML
Interpreting Blackbox Models via Model Extraction
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
随着机器学习越来越多地用于为重要决策提供信息,可解释性变得非常重要。我们建议以近似原始模型的决策树的形式构建复杂黑盒模型的全局解释-只要决策树是一个很好的近似,那么它就反映了黑盒模型所执行的计算。我们设计了一种新的算法来提取决策树的解释,积极采样新的训练点,以避免过度拟合。我们评估我们的算法上的随机森林预测糖尿病的风险和学习控制器的车杆。与几个基线相比,我们的决策树都更准确,同样或更可解释的基础上,用户的研究。最后,我们描述了我们的解释提供的几个见解,包括一个医生验证的因果关系问题。
2019-01-24 cs.LG
TS2TabPFN: Time Series Classification and Extrinsic Regression through Feature Extraction and a Tabular Foundation Model
University of São Paulo (USP)(圣保罗大学)
TS2TabPFN框架将显式特征提取与表格基础模型TabPFN 2.5集成,在时间序列外生回归任务中显著优于现有最优模型,为时间序列分类提供了稳健高效的替代方案,建立了新的时间序列最优水平。
2026-08-06 cs.LG
An Unsupervised Anomaly Detection in Electricity Consumption Using Reinforcement Learning and Time Series Forest Based Framework
American University of Beirut(贝鲁特美国大学)
本文提出一种结合时间序列森林与强化学习的无监督异常检测模型选择框架,可动态选择AD技术,在多个数据集上取得优于现有模型和GPT-4的F1分数。
2024-12-30 cs.AI cs.LG
Unsupervised Anomaly Detection in Process-Complex Industrial Time Series: A Real-World Case Study
Universität Augsburg(乌尔姆大学);Technische Hochschule Augsburg(奥格斯堡技术大学);Independent Researcher(独立研究者)
本文研究了工业时间序列中复杂过程的异常检测,通过对比经典模型与自编码器,发现自编码器在多尺度动态建模中表现更优,尤其是时序卷积自编码器。
2026-04-15 cs.LG
Active Region-based Flare Forecasting with Sliding Window Multivariate Time Series Forest Classifiers
Georgia State University(佐治亚州立大学)
本研究提出基于滑动窗口的多元时间序列森林分类器,用于太阳耀斑预报,兼顾高精度(TSS>85%)与可解释性,并识别关键特征子区间。
2024-02-05 astro-ph.SR cs.LG stat.AP
Adapting ELM to Time Series Classification: A Novel Diversified Top-k Shapelets Extraction Method
China University of Mining Technology(中国矿业大学)
ELM(Extreme Learning Machine)是一种单隐层前馈网络,输入层和隐层之间的权值被随机初始化。ELM是有效的,由于其利用的分析方法来计算隐藏层和输出层之间的权重。然而,ELM仍然无法输出语义分类结果。为了解决这样的限制,在本文中,我们提出了一个多样化的top-k形状变换框架,其中形状是连续性,即,每个类别的最佳代表性和解释性特征。正如我们所发现的,最具挑战性的问题是如何在原始候选集中提取最佳k形状以及如何自动确定k值。具体地说,我们首先定义了相似形状和多样化的top-k形状来构造多样性形状图。在此基础上,提出了一种基于多样性图的top-k形状特征提取算法\textbf{DivTopkshapelets} \。最后,我们提出了一个形状变换ELM算法命名为\textbf{DivShapELM}自动确定的k值,这是进一步利用时间序列分类。在公开数据集上的实验结果表明,该方法在有效性和效率方面明显优于传统的ELM算法。
2016-06-20 cs.LG
Causal inference for climate change events from satellite image time series using computer vision and deep learning
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种使用卫星图像时间序列进行因果推理的方法,以确定影响气候变化的干预措施(如森林砍伐)的治疗效果。简而言之,目的是量化与气候相关的人为干预措施(如城市化)以及飓风和森林火灾等自然灾害的“前后"影响。作为一个具体的例子,我们专注于量化森林树木覆盖变化/森林砍伐,由于人类主导的原因。所提出的方法涉及以下步骤。首先,我们使用计算机视觉和机器学习/深度学习技术来检测和量化森林树木覆盖水平。然后,我们查看这个时间序列以识别变化点。接下来,我们使用贝叶斯结构因果模型估计预期(森林树木覆盖)值,并预测/预测反事实。这与干预后实际观察到的值进行比较,两个值的差异为我们提供了干预的效果(与非干预情景相比,即没有干预可能会发生的情况)。作为一个具体的用例,我们分析了巴西恶性通货膨胀事件(干预)(于1993-94年结束)之前和之后的森林砍伐水平,针对巴西Rondonia周围的亚马逊雨林地区。对于这种森林砍伐用例,使用我们的因果推理框架可以帮助因果地归因于森林树木覆盖的变化/减少以及由于人类活动在不同时间点导致的森林砍伐率增加。
2019-10-25 cs.CV cs.LG stat.ML
Feature Extraction for Change-Point Detection using Stationary Subspace Analysis
检测高维时间序列的变化很困难,因为它涉及到需要从有限样本中估计的概率密度的比较。在本文中,我们提出了第一个特征提取方法,专门针对变化点检测,这是基于一个扩展版本的平稳子空间分析。我们将数据的维度降低到最不稳定的方向,这对于检测时间序列中的状态变化是最有用的。在广泛的模拟合成数据,我们表明,三个变化点检测算法的准确性显着增加了前特征提取步骤。这些发现证实了在工业故障监测的应用。
2011-08-11 cs.LG
Concept Extraction for Time Series with ECLAD-ts
Institute for Data Science in Mechanical Engineering (DSME), RWTH Aachen University(亚琛工业大学机械工程数据科学研究所(DSME))
针对时间序列分类CNN的黑箱问题,提出适配时间序列领域的事后全局概念提取方法ECLAD-ts,通过聚类激活图逐时间步聚合结果生成概念并计算重要性,实验验证其可有效解释模型预测过程。
2025-04-07 cs.LG
Proximity Forest 2.0: A new effective and scalable similarity-based classifier for time series
Monash University(莫纳什大学)
本文提出Proximity Forest 2.0时间序列分类器,通过融合提前放弃剪枝、ADTW新度量和代价函数调优,并将基础度量从八个精简为三个且统一使用一阶导数变换,在UCR基准上超越现有基于相似性及部分核、神经网络和混合方法。
2023-04-13 cs.AI cs.LG
Gaussian processes based data augmentation and expected signature for time series classification
Università di Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校)
本文提出基于期望特征签名的时间序列特征提取模型,通过高斯过程数据增强计算签名,并在监督任务中学习最优特征提取。
2023-10-16 cs.LG
FRUITS: Feature Extraction Using Iterated Sums for Time Series Classification
Universität Greifswald(格赖夫斯瓦尔德大学);Institut für Mathematik und Informatik(数学与信息学研究所)
提出基于迭代和签名(ISS)提取非线性特征并应用线性分类器的时间序列分类流程,在UCR数据集上实现与最先进方法相当的准确率和速度。
2023-11-24 cs.LG stat.ML
CRAFTIIF: Cross-Resolution Analytic Four-Type Interpretable Isolation Forest for Multivariate Time Series Anomaly Detection
Avathon
提出CRAFTIIF无监督框架,通过四种小波特征和五个孤立森林同时检测点、分布、时间和集体四类异常,在mTSBench基准上达到平均F1=0.228,VUS-PR比先前最佳提升40.7%。
2026-06-12 cs.AI cs.LG
Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression
Department of Computer Science and Numerical Analysis, University of Cordoba(科塔达大学计算机科学与数值分析系);School of Computing Sciences, University of East Anglia(东安格利亚大学计算科学学院)
本文扩展了时序外回归算法的数据集,引入了FreshPRINCE和DrCIF两种新算法,展示了它们在性能上显著优于其他回归器,包括标准旋转森林回归器。
2023-05-02 cs.LG stat.ML
Stochastic forest transition model dynamics and parameter estimation via deep learning
Joint Graduate School of Mathematics for Innovation, Kyushu University(创新数学联合研究生院,九州大学);Graduate School of Bioresource and Bioenvironmental Sciences, Kyushu University(生物资源与生物环境科学研究生院,九州大学);Center for Promotion of International Education and Research, Faculty of Agriculture, Kyushu University(国际教育与研究促进中心,农业学部,九州大学)
本研究针对森林转型的复杂动力学构建随机微分方程模型,证明其全局正解存在性,提出可从单份用地占比时间序列样本估计全部参数的深度学习方法,助力预测未来森林转型与毁林趋势。
2025-07-29 cs.LG stat.ML
Nonparametric Extrema Analysis in Time Series for Envelope Extraction, Peak Detection and Clustering
在本文中,我们提出了一种非参数的方法,可用于包络提取,峰突发检测和聚类的时间序列。我们的问题形式化的结果在一个自然定义的分裂/分叉的时间序列。通过可能的分层实现,它可以用于机器学习、信号处理和数学金融中的各种应用。从传入的输入信号,我们的迭代过程通过最小化累积$L_1$漂移顺序地创建两个信号(一个上边界和一个下边界信号)。我们表明,解决方案可以有效地计算使用维特比路径跟踪算法与最佳消除规则。我们考虑了许多有趣的设置,我们的算法具有近线性的时间复杂度。
2021-09-05 cs.LG eess.SP q-fin.MF
Feature extraction from complex networks: A case of study in genomic sequences classification
Federal University of Technology - Paraná(巴拉那联邦理工大学)
这项工作提出了一种新的方法,从复杂网络的测量和信息论的基因组序列的分类。为此,它被认为是基因组序列的核苷酸、二核苷酸和三核苷酸。对每一个基因组序列分别计算其熵、和熵和最大熵值,并生成一个以核苷酸、二核苷酸或三核苷酸为节点的网络,通过观察它们在基因组序列中的邻接关系来估计网络的边.以这种方式,生成三个网络,针对这些网络提取复杂网络的测度,这些测度与信息论的测度一起构成表示基因组序列的特征向量。因此,本文采用编码序列、基因间序列和TSS三种方法,分别采用支持向量机、多层感知器、J48、IBK、朴素贝叶斯和随机森林等方法对该方法进行分类(转录起始位点)作为数据集,其中随机森林获得了更好的结果,91.2%,其次是J48,准确率为89.1%,SVM为84.8%。这些结果表明,新的特征提取方法有其价值,即使仅考虑基因组序列也能达到良好的分类水平,即,不考虑关于它们的其他先验知识。
2014-12-17 cs.CE cs.LG q-bio.QM
SAFE: Spectral Evolution Analysis Feature Extraction for Non-Stationary Time Series Prediction
University of Waterloo(滑铁卢大学)
本文提出了一种实用的方法来检测时间序列预测的非平稳性。这种方法被称为SAFE,其工作原理是通过距离函数监测时间序列的谱内容的演变。该方法被设计为通过在非平稳性出现时通知在线预测器执行必要的自适应来与最先进的机器学习方法实时的结合工作。我们还提出了一个算法,按比例包括一些过去的数据在适应过程中,以克服灾难性遗忘问题。为了验证我们的假设并测试我们方法的有效性,我们在涉及人工和真实世界数据集的方法的不同元素中进行了全面的实验。实验表明,该方法在保持较高预测性能的同时,能够显著节省处理器或GPU周期的计算资源。
2018-05-16 cs.AI cs.LG
tsflex: flexible time series processing & feature extraction
IDLab, Ghent University - imec(根特大学-imec IDLab)
时间序列处理和特征提取是传统机器学习流水线中的关键且时间密集的步骤。现有的软件包在其适用性方面受到限制,因为它们不能处理不规则采样或异步数据,并且对数据格式做出强有力的假设。此外,这些包不关注执行速度和内存效率,导致相当大的开销。我们提出了$\texttt{tsflex}$,一个用于时间序列处理和特征提取的Python工具包,它专注于性能和灵活性,具有广泛的适用性。该工具箱利用与序列索引相同数据类型的窗口步幅参数,并在所有操作中维护序列索引。$\texttt{tsflex}$是灵活的,因为它支持(1)多变量时间序列,(2)多窗口步长配置,(3)与其他软件包的处理和功能集成,同时(4)不对数据采样规律、序列对齐和数据类型进行假设。其他功能包括多处理、详细的执行日志记录、分块序列和序列化。基准测试表明,与类似的软件包相比,$\texttt{tsflex}$速度更快,内存效率更高,同时在使用上更宽容和灵活。
2021-12-22 cs.LG eess.SP stat.ML
Automatic time-series phenotyping using massive feature extraction
Monash Institute of Cognitive and Clinical Neurosciences (MICCN), Monash University(莫纳什大学认知与临床神经科学研究所);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
在科学和工业应用的广泛多样性中,一个普遍的关键问题涉及将时间序列数据的结构与有意义的结果相关联,例如从传感器记录中检测异常事件,或从心率或大脑活动等生理时间序列测量中诊断患者。目前,研究人员必须投入相当大的努力,手动设计,或搜索,他们的时间序列,适合手头的特定分析问题的属性。为了解决这个非系统的和耗时的过程,在这里我们介绍一个新的工具,hctsa,通过比较从不同的科学文献中提取的7700多个时间序列特征的实现,自动选择时间序列的可解释和有用的属性。使用两个典型的生物学应用,我们展示了hctsa如何让研究人员利用数十年的时间序列研究来量化和理解他们的时间序列数据中的信息结构。
2016-12-15 cs.LG physics.data-an q-bio.QM
Deep Neural Networks for automatic extraction of features in time series satellite images
许多地球观测计划,如Landsat、Sentinel、SPOT和Pleiades,每天都会产生大量的中高分辨率多光谱图像,这些图像可以按时间序列进行组织。在这项工作中,我们利用这些图像提供的时间和空间信息来生成土地覆盖图。为此,我们将完全卷积神经网络与卷积长短期记忆相结合。提出的时空神经网络架构的实施细节。实验结果表明,时间序列图像提供的时间信息可以提高土地覆盖分类的准确性,从而产生最新的地图,可以帮助确定地球上的变化。
2020-08-17 cs.CV cs.LG eess.IV
Detection of Anomalies in a Time Series Data using InfluxDB and Python
水和环境数据的分析是许多智能水和环境系统应用的一个重要方面,其中来自这种分析的推断在决策中起着重要作用。通常,通过敏感传感器收集的这些数据可能由于不同的原因而异常,例如系统故障,传感器检测器故障等。无论其根本原因如何,这些数据都会严重影响后续分析的结果。本文演示了时间序列数据的数据清洗和准备,并进一步提出了成本敏感的机器学习算法作为一种解决方案,以检测时间序列数据中的异常数据点。以下型号:逻辑回归,随机森林,支持向量机已被修改,以支持成本敏感的学习,惩罚错误分类的样本,从而最大限度地减少总的错误分类成本。我们的结果表明,随机森林在预测正类(即异常)方面优于其他模型。应用预测模型改进技术(如数据过采样)似乎对随机森林模型几乎没有改进。有趣的是,通过递归特征消除,我们实现了更好的模型性能,从而减少了数据中的维度。最后,通过Influxdb和Kapacitor,数据被摄取并流传输,以生成新的数据点,从而进一步评估模型对未知数据的性能,这将有助于及早识别饮用水质量的不良变化,并使供水公司能够及时纠正大量的不良变化。
2020-12-15 cs.LG stat.ML
Decision Forest Based EMG Signal Classification with Low Volume Dataset Augmented with Random Variance Gaussian Noise
肌电信号可以被机器学习模型用作训练数据以分类各种姿势。我们试图产生一个模型,可以用有限数量的样本对六种不同的手势进行分类,这些样本可以很好地推广到更广泛的受众,同时将我们的特征提取结果对模型准确性的影响与其他更传统的方法进行比较,例如在信号通道的滑动窗口上使用AR参数。我们呼吁一组更基本的方法,如使用随机边界的信号,但希望显示的权力,这些方法可以进行在线设置,其中EMG分类正在进行,而不是更复杂的方法,如使用傅立叶变换。为了增加我们有限的训练数据,我们使用了一种称为抖动的标准技术,其中随机噪声以通道方式添加到每个观察中。使用上述方法生成所有数据集后,我们使用Random Forest和XGBoost进行网格搜索,最终创建一个高精度模型。对于人机界面的目的,EMG信号的高精度分类对于它们的功能是特别重要的,并且考虑到大量积累任何种类的生物医学数据的困难和成本,具有可以使用少量高质量样本的技术是有价值的,具有可以在在线应用中可靠地执行的较便宜的特征提取方法。
2022-06-29 cs.LG eess.SP q-bio.NC
A Generalised Signature Method for Multivariate Time Series Feature Extraction
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);Sorbonne Université(索邦大学)
“签名方法”是指一系列用于多变量时间序列的特征提取技术,源自控制微分方程理论。如何应用这种方法有很大的灵活性。一方面,这种灵活性允许该方法针对特定问题进行定制,但另一方面,可能会使精确的应用具有挑战性。本文有两个贡献。首先,签名方法的变化被统一到一个通用的方法,\emph{generalised signature method},其中以前的变化是特殊情况。这个统一框架的主要目的是使签名方法更容易被任何机器学习从业者使用,而现在它主要由专家使用。其次,在这个框架内,我们得到了一个规范的选择,提供了一个域不可知的起点。我们得出这些选择作为一个广泛的实证研究的结果,对26个数据集,并继续显示竞争力的性能对当前的基准多变量时间序列分类。最后,为了简化实际应用,我们将我们的技术作为开源项目的一部分。
2021-02-06 cs.LG stat.ML
Extraction of instantaneous frequencies and amplitudes in nonstationary time-series data
University of Washington(华盛顿大学)
时间序列分析对于科学和工程中的各种应用至关重要。通过利用现代梯度下降算法,傅里叶变换,多分辨率分析和贝叶斯谱分析的优势,我们提出了一种数据驱动的方法来进行时频分析,规避了许多经典方法的缺点,包括提取非平稳信号的不连续性。介绍的方法是等效的{ \em非平稳傅立叶模式分解}(NFMD)的非平稳和非线性时间信号,允许瞬时频率和它们的幅度的准确识别。该方法被证明的多样性的时间序列数据,包括从基于静电力显微镜的数据,以量化的时间依赖性的演变在纳米级的充电动力学。
2021-04-03 cs.LG cs.NA eess.SP
Learning Non-Stationary Time-Series with Dynamic Pattern Extractions
The University of Sydney(悉尼大学)
信息爆炸时代的到来,促使了大量时间序列数据的积累,包括平稳和非平稳时间序列数据。国家的最先进的算法已经取得了不错的性能,在处理平稳的时态数据。然而,处理平稳时间序列的传统算法不适用于外汇交易等非平稳序列。本文研究了可以提高非平稳时间序列未来趋势预测精度的适用模型。特别是,我们专注于识别潜在的模型,并研究从历史数据中识别模式的影响。我们提出了一种基于RNN的\rebuttal{the} seq2seq模型的组合,以及一个注意力机制和一个通过动态时间规整和锯齿峰谷指标提取的丰富集特征。设计了自定义的损失函数和评价指标,使其更加关注预测序列的峰谷点。我们的研究结果表明,我们的模型可以在外汇数据集中以高精度预测4小时的未来趋势,这在现实场景中对辅助外汇交易决策至关重要。我们进一步提供了各种损失函数,评估指标,模型变量和组件对模型性能的影响的评估。
2021-11-20 cs.AI cs.LG
A regression model with a hidden logistic process for feature extraction from time series
提出了一种从时间序列中提取特征的新方法。这种方法包括一个特定的回归模型,其中包含一个离散的隐藏逻辑过程。通过专用期望最大化(EM)算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中,隐逻辑过程的参数使用多类迭代重加权最小二乘(IRLS)算法来估计。一个分段回归算法及其迭代变量也被认为是比较。使用模拟和真实数据的实验研究表明,所提出的方法具有良好的性能。
2013-12-25 cs.LG math.ST stat.ME
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège(列日大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Katholieke Universiteit Leuven(鲁汶天主教大学)
在机器学习中,监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题(测试节点)来表征输入-输出关系,这些问题导致一组预测(叶节点)。几个这样的树通常被组合在一起以获得最先进的性能:随机森林集成对并行独立训练的随机化决策树的预测进行平均,而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入,输出和观察的数量,而不牺牲准确性。在这篇论文中,我们确定了决策树方法可以改进的三个主要领域,我们提供并评估了原始的算法解决方案:(i)在高维输出空间上学习,(ii)在预测时使用大样本数据集和严格的内存约束进行学习,以及(iii)在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
Robust Projection based Anomaly Extraction (RPE) in Univariate Time-Series
Amazon(亚马逊)
本文提出了一种新颖的,封闭的形式,和数据/计算效率的时间序列数据的在线异常检测算法。该方法被称为RPE,是一种基于窗口的方法,与现有的基于窗口的方法形成鲜明对比,它对窗口中异常的存在具有鲁棒性,并且可以在时间戳级别上区分异常。RPE利用时间序列的轨迹矩阵的线性结构,并采用鲁棒投影步骤,该步骤使得算法能够处理其窗口中存在的多个任意大的异常。给出了鲁棒投影步骤的一种封闭形式/非迭代算法,并证明了该算法能够识别出被破坏的时间戳。RPE是一个伟大的候选人的应用程序中,大量的训练数据是不可用的,这是在时间序列领域的常见情况。大量的数值实验表明,RPE可以明显优于现有的方法。
2022-05-31 cs.AI cs.LG stat.ML
rTsfNet: a DNN model with Multi-head 3D Rotation and Time Series Feature Extraction for IMU-based Human Activity Recognition
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
rTsfNet是一种新型DNN模型,通过多头3D旋转自动选择基并提取时间序列特征,结合MLP实现基于IMU的HAR,在多个基准数据集上超越现有模型。
2024-02-07 cs.HC cs.LG
Knowledge Extraction with Interval Temporal Logic Decision Trees
University of Ferrara(费拉拉大学);University of Parma(帕尔马大学)
本文提出 Temporal C4.5 算法及其实现 Temporal J48,将经典决策树 C4.5 扩展到未离散化的多变量时间序列,通过区间时序逻辑 HS 提取时序决策树,并在公共数据集上验证其优于经典时序分类方法。
2023-05-26 cs.AI cs.LG
From Counterfactuals to Trees: Competitive Analysis of Model Extraction Attacks
Polytechnique Montréal(蒙特利尔理工学院)
本文通过竞争分析形式化研究模型提取攻击,针对基于加性决策树的模型提出可证明完美保真且具有强任意时刻性能的重建算法,并给出查询复杂度理论界限。
2025-10-23 cs.CR cs.LG
HINTS: Extraction of Human Insights from Time-Series Without External Sources
Sheo Yon Jhin, Noseong Park
HINTS通过自监督学习从时间序列残差中提取人类洞察力,无需外部数据源,提升预测准确性并增强可解释性。
2025-12-27 cs.AI cs.LG
Manifold Oblique Random Forests: Towards Closing the Gap on Convolutional Deep Networks
Johns Hopkins University(约翰斯·霍普金斯大学)
决策森林(Forests),特别是随机森林和梯度提升树,与许多监督学习场景中的其他方法相比,已经证明了最先进的准确性。特别是,森林在表格数据中占主导地位的其他方法,也就是说,当特征空间是非结构化的,使得信号对特征索引的排列是不变的。然而,在位于流形上的结构化数据(如图像、文本和语音)中,深度网络(Network),特别是卷积深度网络(ConvNets)往往优于森林。我们推测,至少部分原因是网络的输入不仅仅是特征量,还有它们的索引。相比之下,朴素森林实现无法显式地考虑特征索引。最近提出的森林方法表明,森林,对于每个节点,隐式采样随机矩阵从一些特定的分布。这些森林,像某些类别的网络一样,通过将特征空间划分为对应于线性函数的凸多面体来学习。我们建立在这种方法的基础上,并表明,人们可以选择分布在一个流形感知的方式,将功能本地化。我们展示了经验性能的数据,其功能生活在三个不同的流形:一个环面,图像和时间序列。此外,我们在多变量模拟环境中证明了其优势,并且在预测癫痫患者的手术结果和从非运动脑区域的原始立体定向EEG数据预测运动方向方面也显示出优越性。在所有的模拟和真实数据中,流形斜随机森林(MORF)算法优于忽略特征空间结构的方法,并挑战了ConvNets的性能。此外,MORF运行速度快,并保持可解释性和理论的理由。
2022-09-05 cs.LG stat.ML
Parallel Extraction of Long-term Trends and Short-term Fluctuation Framework for Multivariate Time Series Forecasting
The University of Queensland(昆士兰大学);Zhejiang University(浙江大学);Chongqing University(重庆大学);Purdue University(普渡大学)
多元时间序列预测在各个领域有着广泛的应用。合理的预测结果可以辅助人们进行规划和决策,产生效益,规避风险。通常,时间序列有两个特征,即长期趋势和短期波动。例如,股票价格会随着市场出现长期上涨趋势,但短期内可能会出现小幅下跌。这两个特征往往是相对独立的。然而,现有的预测方法往往不区分它们,这降低了预测模型的准确性。本文提出了一个MTS预测框架,它可以并行地捕捉时间序列的长期趋势和短期波动。该方法使用原始时间序列及其一阶差分来表征长期趋势和短期波动。构造了三个预测子网络,分别用于预测长期趋势、短期波动和最终预测值。在总体优化目标上,借鉴了多任务学习的思想,即在要求逼近待预测值的同时,使长期趋势和短期波动的预测结果尽可能接近真实值。该方法利用了更多的监督信息,能够更准确地捕捉时间序列的变化趋势,从而提高了预测性能。
2021-03-22 cs.LG stat.ML
Deep convolutional forest: a dynamic deep ensemble approach for spam detection in text
Alexandria University(亚历山大大学)
人们使用移动消息服务的增加导致了网络钓鱼等社会工程攻击的蔓延,考虑到垃圾邮件文本是传播网络钓鱼攻击以窃取信用卡和密码等敏感数据的主要因素之一。此外,有关COVID-19大流行的谣言和不正确的医疗信息在社交媒体上广泛传播,导致人们的恐惧和困惑。因此,过滤垃圾邮件内容对于降低风险和威胁至关重要。以前的研究依赖于机器学习和深度学习方法来进行垃圾邮件分类,但这些方法有两个局限性。机器学习模型需要人工特征工程,而深度神经网络需要高计算成本。本文介绍了一种动态的深度集成模型的垃圾邮件检测,调整其复杂性和自动提取的功能。该模型利用卷积层和池化层进行特征提取,并使用基本分类器(如随机森林和极端随机树)将文本分类为垃圾邮件或合法文本。此外,该模型采用集成学习过程,如boosting和bagging。结果表明,该模型具有较高的查准率、召回率、f1值和准确率,达到98.38%。
2022-04-30 cs.AI cs.CL cs.LG
SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series Forecasting
Monash University(莫纳什大学)
门限自回归(TAR)模型由于其简单性和数学性质,在过去的几十年中被统计学家广泛用于非线性时间序列预测。另一方面,在预测社区,通用的基于树的回归算法(森林,梯度提升)最近由于其易用性和准确性而变得流行。在本文中,我们探讨了TAR模型和回归树之间的密切联系。这些使我们能够使用TAR模型文献中丰富的方法来定义分层TAR模型,作为一个在整个系列中进行全局训练的回归树,我们称之为SETAR-Tree。与不主要关注预测并在叶节点计算平均值的通用基于树的模型相比,我们引入了一种新的预测特定树算法,该算法在叶中训练全局Pooled Regression(PR)模型,允许模型学习交叉序列信息,并使用一些特定于时间序列的分裂和停止程序。树的深度是通过进行TAR模型中常用的统计线性测试来控制的,以及测量每个节点分割处的误差减少百分比。因此,所提出的树模型需要最小的外部超参数调整,并在其默认配置下提供有竞争力的结果。我们还使用这种树算法来开发一个森林,在预测过程中,由不同的SETAR树的集合提供的预测相结合。在我们对八个公开数据集的评估中,所提出的树和森林模型能够在四个评估指标上实现比一组最先进的基于树的算法和预测基准更高的准确性。
2022-11-16 cs.LG math.ST stat.ML
Prediction of Unobserved Bifurcation by Unsupervised Extraction of Slowly Time-Varying System Parameter Dynamics from Time Series Using Reservoir Computing
Faculty of Health Data science, Juntendo University(顺天堂大学健康数据科学学部);The School of Systems Information Science, Future University Hakodate(函馆未来大学系统信息科学学院)
本研究针对未知参数的时变非线性系统分岔预测难题,提出快慢双储层架构的储层计算模型,无监督提取慢变参数,成功预测训练数据外的混沌系统分岔,可应用于多领域不可观测慢动力学相关问题。
2024-06-20 cs.LG nlin.CD stat.ML