Learning Generalizable Physiological Representations from Large-scale Wearable Data
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
到目前为止,对配备传感器的移动设备的研究主要集中在人类活动识别(步行,跑步等)的纯监督任务上,在从低水平信号(如加速度)推断高水平健康结果方面取得了有限的成功。在这里,我们提出了一种新的自监督表示学习方法,使用活动和心率(HR)信号没有语义标签。通过深度神经网络,我们将HR响应设置为活动数据的监督信号,利用其潜在的生理关系。我们在最大的自由生活组合传感数据集(包括超过280,000小时的手腕加速度计和可穿戴ECG数据)中评估了我们的模型,并表明所产生的嵌入可以通过线性分类器的迁移学习在各种下游任务中推广,捕获生理上有意义的个性化信息。例如,它们可用于预测(高于70 AUC)与个人健康,健身和人口统计学特征相关的变量,优于无监督自动编码器和常见的生物标记物。总的来说,我们提出了第一个多模式自我监督方法的行为和生理数据与大规模的健康和生活方式监测的影响。
2020-11-09 cs.AI cs.CY cs.LG
Personalized Convolutional Dictionary Learning of Physiological Time Series
Centre Borelli(博雷利中心);Thales AVS(泰雷兹AVS公司);ENS Paris-Saclay(巴黎萨克雷高等师范学校);University of Pennsylvania(宾夕法尼亚大学);CMAP(应用数学与计算机科学中心);CNRS(法国国家科学研究中心);Ecole polytechnique(巴黎综合理工学院)
本文提出个性化卷积字典学习(PerCDL),通过可学习的时空变换将全局字典适配为个体局部字典,并给出理论与实验验证。
2025-03-10 cs.LG math.ST stat.ML
Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning
HEC Montréal(蒙特利尔高等商学院);Mila-Quebec Artificial Intelligence Institute(魁北克人工智能研究所Mila)
CTAF通过时间感知的交叉注意力机制,实现多模态生理信号在自监督学习中的高效融合,提升匹配对的余弦边距和跨模态检索性能,同时保持高准确率并减少标签依赖。
2026-02-02 cs.AI cs.LG
SL-S4Wave: Self-Supervised Learning of Physiological Waveforms with Structured State Space Models
Massachusetts Institute of Technology(麻省理工学院);OpenEvidence, USA(OpenEvidence(美国));New York University(纽约大学);Xi’an Jiaotong University(西安交通大学);University of Toronto(多伦多大学);Emory University(埃默里大学)
提出SL-S4Wave框架,结合对比学习与基于结构化状态空间模型的编码器,通过多尺度子核全局卷积捕获多通道生理波形的局部和长程依赖,在心律失常检测等任务中优于现有方法。
2026-08-18 cs.AI cs.LG
Augmenting Physiological Time Series Data: A Case Study for Sleep Apnea Detection
University of Oslo(奥斯陆大学);National University of Singapore(新加坡国立大学)
在健康领域的有监督机器学习应用经常面临训练数据集不足的问题。由于隐私问题以及医学专家进行数据采集和标记的成本,标记数据的数量很少。此外,收集的数据不平衡是很常见的,并且获得足够的数据来为个人个性化模型是非常昂贵的,甚至是不可行的。本文通过以下方式解决这些问题:(1)设计一个递归生成对抗网络来生成真实的合成数据并增强原始数据集;(2)基于严重不平衡的数据集生成平衡数据集;(3)以生成的数据类似于来自特定个体的数据的方式控制数据生成。我们将这些解决方案应用于睡眠呼吸暂停检测,并在评估四种众所周知的技术的性能时进行研究,即,K最近邻、随机森林、多层感知器和支持向量机。所有分类器在实验中表现出一致的灵敏度增加和kappa统计增加0.007和0.182之间。
2019-05-22 cs.LG eess.SP stat.ML
Domain Knowledge is Power: Leveraging Physiological Priors for Self Supervised Representation Learning in Electrocardiography
School of Computing, Queen’s University(女王大学计算机学院);Vector Institute(向量研究所);Department of Electrica(电气系)
PhysioCLR通过将心电图生理先验融入对比学习,利用未标记数据增强心律失常分类的泛化性与临床相关性,在多个数据集上显著提升AUROC。
2025-09-09 cs.AI cs.LG
ShapeWordNet: An Interpretable Shapelet Neural Network for Physiological Signal Classification
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
生理信号是一种高维时间序列,在医疗保健领域具有重要的应用价值。然而,以前的工作,其分类未能获得有希望的结果,由于棘手的数据特性和严重的标签稀疏性问题。在本文中,我们试图解决这些挑战,提出了一个更有效的和可解释的计划,为生理信号分类任务。具体来说,我们利用时间序列的形状来提取突出的局部模式,并进行可解释的序列离散化,以提取整个序列的信息。通过这样做,长且连续的原始信号被压缩成短且离散的令牌序列,其中局部模式和全局上下文都被很好地保留。此外,为了解决标签稀疏问题,自适应地设计了多尺度变换策略来扩充数据,并相应地设计了跨尺度对比学习机制来指导模型训练.我们将我们的方法命名为ShapeWordNet,并在三个真实世界的数据集上进行了广泛的实验,以研究其有效性。比较结果表明,我们提出的方案显着优于四类尖端方法。可视化分析进一步证明了基于Shapard的序列离散化思想的良好可解释性。
2023-02-10 cs.LG
A General Framework for Generative Self-supervised Learning in Non-invasive Estimation of Physiological Parameters Using Photoplethysmography
School of Computer Science and Engineering(计算机科学与工程学院);Changchun University of Technology(长春理工大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室);Jilin University(吉林大学);Smart Health Joint Innovation Laboratory for the New Generation of AI(新一代人工智能智能健康联合创新实验室)
本文提出TS2TC框架,通过融合时域、频域和时频域数据,利用生成自监督学习提升生理参数估计性能,实验表明其在RMSE上比现有方法提升2.49%。
2026-04-03 cs.AI cs.LG eess.SP
Detecting Patterns of Physiological Response to Hemodynamic Stress via Unsupervised Deep Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
监测对血流动力学应激的生理反应有助于确定适当的治疗并确保良好的患者结局。医生的直觉表明,人体对出血具有许多生理反应模式,其随着失血的继续而升级,然而,这些反应的确切病因学和表型并不众所周知或仅在粗略的水平上被理解。尽管之前的研究表明,机器学习模型可以在出血检测和生存预测方面表现良好,但目前尚不清楚机器学习是否有助于识别和表征原始生命体征数据中的潜在生理反应。我们通过首先使用完全无监督训练的膨胀的因果卷积编码器模型将高维生命体征时间序列转换为易于处理的低维潜在空间来解决这个问题。其次,我们确定嵌入中的信息集群。通过分析潜在嵌入的集群并随着时间的推移将其可视化,我们假设这些集群对应于与医生直觉相匹配的生理反应模式。此外,我们尝试使用各种方法来评估潜在的嵌入,例如使用可解释的特征来预测聚类标签。
2019-11-12 cs.LG stat.ML
3KG: Contrastive Learning of 12-Lead Electrocardiograms using Physiologically-Inspired Augmentations
Stanford University(斯坦福大学);University of California, San Francisco(加利福尼亚大学旧金山分校);Harvard Medical School(哈佛医学院)
我们提出了3KG,一种生理学启发的对比学习方法,使用12导联心电图的3D增强生成视图。我们通过对PhysioNet 2020挑战训练数据上的23类诊断下游任务的线性层进行微调来评估表示质量,并发现在标记数据的$1\%$上训练时,3KG的平均AUC比最佳自我监督基线增加了$9.1\%$。我们的实证分析表明,结合空间和时间的增强产生最强的表示。此外,我们研究了这种生理启发的预训练对不同疾病亚组下游性能的影响,发现3KG对传导和节律异常的增益最大。我们的方法允许灵活地结合其他自我监督策略,并突出了其他生物医学信号的类似模态特定增强的潜力。
2021-09-21 cs.LG eess.SP physics.med-ph
SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning
New Cornerstone Science Laboratory, Guangdong Provincial Key Laboratory of In-Memory Computing Chips, Shenzhen Graduate School, Peking University(新基石科学实验室,广东省存算一体芯片重点实验室,北京大学深圳研究生院);Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University(广东省超高清沉浸式媒体技术重点实验室,北京大学深圳研究生院)
提出SPOTR框架,通过单令牌全局瓶颈压缩-重建预训练,解决生理信号自监督学习在异构数据集上的性能瓶颈,在线性探测下显著提升AUC并降低计算开销。
2026-06-23 cs.AI cs.LG
BiTimeCrossNet: Time-Aware Self-Supervised Learning for Pediatric Sleep
Department of Computer Science, UNC Chapel Hill(UNC夏洛特分校计算机科学系);School of Data Science and Society, UNC Chapel Hill(UNC夏洛特分校数据科学与社会学院)
BiTimeCrossNet通过引入时间信息和交叉注意力机制,在儿童睡眠分析中实现更高效的多模态自监督学习。
2026-02-02 cs.LG
Capturing Cardiac Cyclicity through Phase-Equivariant Self-Supervised Learning
该研究提出等相位自监督目标与无额外参数的Winder架构,在PTB-XL数据集上以约1M参数实现与SOTA自监督方法相当的诊断准确率,验证了编码心脏相位对称性的有效性。
2026-08-24 cs.LG
Learning ECG Image Representations via Dual Physiological-Aware Alignments
University of Cambridge(剑桥大学);Singapore Management University(新加坡管理大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出ECG-Scan框架,通过多模态对比对齐和软导联约束,提升ECG图像表示学习效果,验证了图像模型在心血管诊断中的优越性。
2026-04-02 cs.LG
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America(美国NEC实验室)
我们介绍了多变量时间序列(MTS)分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法,我们的技术不需要一个特征提取步骤,从时间序列生成一个一维的特征向量。相反,它是基于直接计算单个时间序列之间的相似性,并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据,其中时间序列测量可能具有不同的采样分辨率,以及多模态数据。
2020-05-01 cs.LG stat.ML
DecompKAN: Decomposed Patch-KAN for Long-Term Time Series Forecasting
DecompKAN通过趋势残差分解、通道补丁、学习实例归一化和B-样条Kolmogorov-Arnold网络边缘函数,实现了轻量级无注意力架构,在时间序列预测中取得最佳性能。
2026-04-27 cs.AI cs.LG stat.ML
Unmixing Noise from Hawkes Process to Model Learned Physiological Events
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
针对生理信号事件检测中的虚假检测问题,提出基于标记 Hawkes 过程的 UNHaP 方法,通过联合学习事件时间结构并解混结构化与非结构化事件,有效降低误检率并提升事件分布理解。
2024-06-17 cs.LG eess.SP stat.ML
Assessing Time Series Correlation Significance: A Parametric Approach with Application to Physiological Signals
本文提出一种基于高斯自相关函数假设的参数化方法,通过时间导数估计有效样本量,以准确且高效地评估时间序列相关系数的统计显著性,并成功应用于电生理和动作捕捉等生理信号分析。
2024-01-08 q-bio.QM stat.AP stat.ME
A Masked Representation Learning to Model Cardiac Functions Using Multiple Physiological Signals
Seoul National University Hospital(首尔国立大学医院);Seoul National University(首尔国立大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出SNUPHY-M模型,利用自监督掩码表示学习整合ECG、PPG和ABP信号,提取丰富心脏特征,在低血压等临床预测任务中显著优于现有方法,实现非侵入性血流动力学监测。
2025-08-26 cs.LG eess.SP
GRU-TV: Time- and velocity-aware GRU for patient representation on multivariate clinical time-series data
Xidian University(西安电子科技大学);Robarts Research Institute(罗伯茨研究所);Western University(韦仕敦大学);University of Michigan(密歇根大学)
电子健康记录(EHR)通常是高度多维,异构和多模式的。此外,临床变量的随机记录导致从电子病历中提取的多变量临床时间序列数据中的高缺失率和相邻记录之间的不均匀时间间隔。目前的工作,使用临床时间序列数据的病人表示把病人的生理状态作为一个离散的过程描述的零星收集的记录。然而,患者生理状况的变化是连续的动态过程。对时间和变化速度的感知对于患者的表示学习至关重要。在这项研究中,我们提出了一个时间和速度感知的门控递归单元模型(GRU-TV)的患者表示学习的临床多变量时间序列数据在时间连续的方式。神经常微分方程(ODEs)和速度感知机制分别用于感知相邻记录之间的时间间隔和患者生理状态的变化率。我们在两个真实的临床EHR数据集(PhysioNet 2012,MIMIC-III)上的实验表明,GRU-TV是计算机辅助诊断(CAD)任务的鲁棒模型,特别是在具有高方差时间间隔的序列上。
2022-10-12 cs.AI cs.LG
A Review on Self-Supervised Learning for Time Series Anomaly Detection: Recent Advances and Open Challenges
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文综述了时间序列异常检测中自监督学习的最新方法,提出分类体系以理解其多样性,并提供GitHub仓库供后续更新。
2025-07-29 cs.LG stat.ML
SleepNet: Automated Sleep Analysis via Dense Convolutional Neural Network Using Physiological Time Series
在这项工作中,构建了一个密集的递归卷积神经网络(DRCNN),用于使用2018年Physionet挑战数据库中提供的多导睡眠图(PSG)测量通道检测睡眠障碍,包括觉醒、呼吸暂停和呼吸不足。我们的模型结构由多个密集卷积单元(DCU)组成,然后是双向长短期记忆(LSTM)层,然后是softmax输出层。睡眠事件,包括睡眠阶段,唤醒区域和多种类型的呼吸暂停和呼吸不足的专家手动注释,使我们能够训练我们提出的网络使用多任务学习机制。将对应于睡眠/唤醒、目标唤醒和呼吸暂停-呼吸不足/正常检测任务的三个二进制交叉熵损失函数相加,以生成使用Adam方法优化的整体网络损失函数。我们的模型性能使用两个指标进行评估:准确率-召回率曲线下面积(AUPRC)和受试者工作特征曲线下面积(AUROC)。为了衡量我们的模型泛化,还进行了4重交叉验证。为了训练,我们的模型被应用于完整的夜间记录数据。最后,在我们的测试数据集中,与觉醒检测任务相关的平均AUPRC和AUROC值分别为0.505和0.922。在不同数据折叠上训练的四个模型的集合将AUPRC和AUROC分别提高到0.543和0.931。我们提出的算法在2018年Physionet挑战赛的官方阶段获得了第一名,用于在盲测数据集上检测睡眠觉醒,AUPRC为0.54。
2019-07-24 cs.LG cs.NE q-bio.NC
MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms
University of the Chinese Academy of Sciences(中国科学院大学);Columbia University(哥伦比亚大学)
研究针对现有生理波形方法未保留临床意义波形形态的问题,提出多模态基础模型MorphologyFM,通过形态感知自监督学习目标预训练,结合多种技术学习相关表示,在多下游任务中表现优于其他方法,证明联合建模更具可转移性。
2026-07-14 cs.AI cs.LG eess.SP
Self-supervised representation learning from electroencephalography signals
监督学习范式受到多个领域中数据汇集和标记的成本--有时是不切实际的--的限制。自监督学习是一种利用未标记数据的结构来创建可以用标准监督方法解决的学习问题的范例,在计算机视觉和时间序列处理等领域作为预训练或特征学习方法已经显示出很大的前景。在这项工作中,我们提出了自我监督策略,可用于学习信息表示从多元时间序列。一种成功的方法依赖于预测时间窗口是否从相同的时间上下文采样。正如在临床相关任务(睡眠评分)和两个脑电图数据集上所证明的那样,我们的方法在低数据状态下优于纯监督方法,同时在不访问标签的情况下捕获重要的生理信息。
2019-11-13 cs.LG eess.SP stat.ML
Multi-Task Time Series Analysis applied to Drug Response Modelling
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);NHS Greater Glasgow and Clyde(英国国家医疗服务体系大格拉斯哥和克莱德分部)
时间序列模型(如动态系统)经常被拟合到一组数据中,忽略了个体实体(如患者)之间的变化。在本文中,我们将展示如何通过使用多任务学习(MTL)将这些模型个性化到个人水平,同时保留统计能力。据我们所知,这是一个新的发展MTL适用于时间序列和无控制输入。的建模框架上表现出的生理药物反应的问题,从而提高了预测精度和不确定性估计超过现有的国家的最先进的模型。
2019-03-21 cs.LG stat.ML
Prototype-based Self-Supervised Multimodal Learning for PPG and Accelerometry Signals
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Memphis(密苏里大学孟菲斯分校)
针对PPG与加速度计等生物信号的多模态学习局限,提出基于原型的SSL框架ProtoMM,开发Pulse-Motion基础模型,性能优于现有对比式及多模态SSL方法。
2026-08-20 cs.LG
Contrastive Self-Supervised Learning Based Approach for Patient Similarity: A Case Study on Atrial Fibrillation Detection from PPG Signal
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学);University of Maryland(马里兰大学);United Arab Emirates University(阿联酋大学)
本文提出一种基于对比学习的深度学习框架,利用生理信号进行患者相似性搜索,并引入多种邻居选择算法,在170多名个体的PPG信号心房颤动检测数据集上验证了其优于基线方法的有效性。
2023-07-22 cs.LG eess.SP
Time Series Classification via Topological Data Analysis
Istanbul Technical University(伊斯坦布尔技术大学)
在本文中,我们开发了拓扑数据分析方法的分类任务上的单变量时间序列。作为一个应用程序,我们在两个公共数据集上执行二元和三元分类任务,这些数据集由压力和非压力条件下收集的生理信号组成。我们实现了我们的目标,通过使用持久的同源性工程师稳定的拓扑特征后,我们使用的信号的时间延迟嵌入和执行子窗口,而不是使用固定长度的窗口。我们使用的方法的组合可以应用于任何单变量时间序列,并且在此应用中允许我们减少噪声并使用长窗口大小,而不会产生额外的计算成本。然后,我们在我们算法设计的特征上使用机器学习模型,以获得更少特征的更高准确度。
2021-06-11 cs.LG stat.ML
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs(橙色实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
为了利用时间序列信号(例如生理信号)的表示,这些表示从整个信号捕获相关信息是必要的。在这项工作中,我们提出了使用基于变换器的模型来处理心电图(ECG)的情感识别。Transformer的注意力机制可用于构建信号的情境化表示,从而赋予相关部分更多重要性。然后,这些表示可以用完全连接的网络进行处理,以预测情绪。为了克服带有情感标签的数据集相对较小的问题,我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型,然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明,我们的方法达到了最先进的性能,使用心电图信号AMIGOS的情感识别。更一般地说,我们的实验表明,Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
Phenomenon-Graph JEPA: Label-Efficient Representation Learning for Contactless Cardiorespiratory Sensing
本文提出现象图JEPA,一种无需负样本的联合嵌入预测架构,用于非接触式心肺传感的标签高效表示学习,在OMuSense-23上显著提升标签效率,并区分了预测表示的收益与生理先验的作用。
2026-09-29 cs.ET cs.LG
SemPSG: A Semantic Channel-Aware Foundation Model for Polysomnography Analysis
Center for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS(中国科学院香港创新研究院人工智能与机器人中心);Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院);Technical University of Munich(慕尼黑工业大学)
SemPSG是一种语义通道感知基础模型,显式建模通道身份的生理语义,通过语义条件时间序列编码器和多视图图像编码器,在睡眠分期等多项任务上优于通用及PSG专用基础模型,并跨异构配置泛化。
2026-09-30 cs.LG
COBRAS-TS: A new approach to Semi-Supervised Clustering of Time Series
KU Leuven(鲁汶大学)
聚类在数据分析中是普遍存在的,包括对时间序列的分析。它本质上是主观的:不同的用户可能喜欢对特定数据集进行不同的聚类。半监督聚类通过允许用户提供应该(不应该)在同一个集群中的实例的示例来解决这个问题。本文研究了时间序列的半监督聚类问题。我们表明,COBRAS,一个国家的最先进的半监督聚类方法,可以适应这种设置。我们将这种方法称为COBRAS-TS。广泛的实验评估支持以下声明:(1)COBRAS-TS在时间序列的半监督聚类方面远远优于当前的技术水平,因此为该领域提供了一个新的基线;(2)COBRAS-TS可以识别具有分离分量的聚类;(3)COBRAS-TS可以识别以小的局部模式为特征的聚类;(4)少量的半监督可以大大提高时间序列的聚类质量;(5)聚类算法的选择很重要(与文献中的早期权利要求相反)。
2018-05-02 cs.AI cs.LG stat.ML
Series2Vec: Similarity-based Self-supervised Representation Learning for Time Series Classification
Monash University(莫纳什大学)
针对时间序列自监督学习正样本相似性不足的问题,提出基于时域频域相似性预测的Series2Vec方法,结合顺序不变注意力,在多数据集上性能优于现有自监督方法,可媲美全监督且适配少标签场景,融合其他模型可进一步提升分类效果。
2023-12-12 cs.LG
U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging
University of Copenhagen(哥本哈根大学);Danish Center for Sleep Medicine(丹麦睡眠医学中心);Rigshospitalet(丹麦国家医院)
神经网络在生理时间序列分析中的应用越来越广泛。该领域最成功的深度学习系统结合了卷积层和递归层,以提取有用的特征来建模时间关系。不幸的是,这些循环模型很难调整和优化。根据我们的经验,它们通常需要特定于任务的修改,这使得它们对于非专家来说具有挑战性。我们提出了U-Time,这是一种用于分析睡眠数据的生理时间序列分割的完全前馈深度学习方法。U-Time是一个基于U-Net架构的时间全卷积网络,最初是为图像分割而提出的。U-Time将任意长度的序列输入映射到自由选择的时间尺度上的类标签序列。这是通过隐式地对输入信号的每个单独的时间点进行分类并在固定间隔内聚合这些分类以形成最终预测来完成的。我们评估了U-Time在大量睡眠脑电图(EEG)数据集上的睡眠阶段分类。在所有情况下,我们发现U-Time都达到或优于当前最先进的深度学习模型,同时在训练过程中更加强大,并且不需要跨任务进行架构或超参数调整。
2019-10-24 cs.LG eess.SP stat.ML
Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition
Huazhong University of Science and Technology(华中科技大学);South China University of Technology(华南理工大学);University of Toronto(多伦多大学)
本文提出MRLMC框架,利用孪生架构和多尺度对比学习融合fNIRS与EEG信号,通过时空对比和语义一致性模块提升抑郁症识别性能,并在多模态时间序列任务中具有迁移能力。
2024-06-26 cs.AI cs.LG
Med-Real2Sim: Non-Invasive Medical Digital Twins using Physics-Informed Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);UCSF(加州大学旧金山分校);University of Barcelona(巴塞罗那大学);Cedars Sinai(西达赛奈医疗中心);Google Ventures(谷歌风投);MIT(麻省理工学院)
该研究提出Med-Real2Sim方法,将物理信息自监督学习用于无创医疗数字孪生构建,通过预训练生理可微模拟器再约束微调,实现了基于超声心动图的心脏血流动力学数字孪生识别,可用于无监督疾病检测和在硅临床试验。
2024-10-31 cs.LG q-bio.QM
Aortic Valve Disease Screening from PPG via Physiology-Guided Self-Supervised Learning
Department of Computer Science, Tianjin University of Technology(天津理工大学计算机科学系);National Institute of Health Data Science, Peking University(北京大学国家健康数据科学研究院);Department of Cardiology, Peking University People’s Hospital(北京大学人民医院心内科);HeartVoice Medical Technology(心声医疗科技);DCST, BNRist, RIIT, Institute of Internet Industry, Tsinghua University(清华大学计算机科学与技术系、北京人工智能研究所、互联网产业研究所);Institute of Medical Technology, Peking University Health Science Center(北京大学健康科学中心医学技术研究所);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究所);State Key Laboratory of Vascular Homeostasis and Remodeling, NHC Key Laboratory of Cardiovascular Molecular Biology and Regulatory Peptides, Peking University(北京大学血管稳态与重塑国家重点实验室、国家心血管分子生物学与调节肽重点实验室)
本文提出基于生理引导的自监督学习方法,利用大量未标记PPG数据高效筛查主动脉狭窄和反流,实现优于传统监督学习的检测性能。
2026-07-28 cs.LG eess.SP
SiamQuality: A ConvNet-Based Foundation Model for Imperfect Physiological Signals
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Emory University(埃默里大学);University of California at San Francisco(加州大学旧金山分校);Nell Hodgson Woodruff School of Nursing, Emory University(埃默里大学内尔·霍奇森·伍德拉夫护理学院)
针对生理信号噪声大、不完整的问题,提出基于CNN的自监督学习模型SimQuality,利用3600万个PPG信号对预训练并在六个下游任务上微调,证明CNN可作为对数据质量鲁棒的基础模型骨干。
2024-04-26 cs.LG eess.SP
Does the Heart Show Your Pain? Tackling the X-ITE Pain Challenge with Self-Supervised ECG Representation Learning
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
本研究针对X-ITE疼痛挑战赛,结合自监督心电表示学习与多模态预训练,分析疼痛识别中的心电信号特性,为可穿戴疼痛监测提供了基础。
2026-08-18 cs.AI cs.LG eess.SP
Computer Vision Self-supervised Learning Methods on Time Series
Norwegian University of Science and Technology(挪威科技大学);Abelee
该研究验证了计算机视觉领域的孪生网络架构自监督学习框架在时间序列任务上的有效性,同时基于VICReg方法提出优化协方差项、新增迭代归一化层的改进方案,可加速模型收敛。
2024-01-26 cs.AI cs.LG stat.ML
Sequential Multi-Dimensional Self-Supervised Learning for Clinical Time Series
Massachusetts Institute of Technology(麻省理工学院);Harvard-MIT Program in Health Sciences and Technology(哈佛-麻省理工健康科学与技术项目)
针对现有临床时间序列自监督学习无法处理多模态数据的局限,提出序列多维度SSL方法,通过双尺度施加自监督损失提升性能,在两类临床数据集上均优于基线。
2023-07-20 cs.LG
Self-supervised learning for fast and scalable time series hyper-parameter tuning
Purdue University(普渡大学);Facebook Inc.(脸书公司)
时间序列模型的超参数在时间序列分析中起着重要的作用。对于给定的模型,超参数的微小差异可能导致非常不同的预测结果,因此,选择好的超参数值是必不可少的。现有的大多数通用超参数整定方法,如网格搜索、随机搜索、贝叶斯最优搜索,都是基于一个关键部分-搜索,因此它们计算量大,并且不能应用于快速和可扩展的时间序列超参数整定(HPT)。我们提出了一个HPT的自监督学习框架(SSL-HPT),它使用时间序列特征作为输入,并产生最优的超参数。与其他基于搜索的算法相比,SSL-HPT算法在获得超参数方面的速度快6- 20倍,同时在各种应用中产生相当准确的预测结果。
2021-02-10 cs.LG
Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning
Harbin University of Science and Technology(哈尔滨理工大学);Tsinghua University(清华大学)
自监督学习通过从未标记的数据中提取有用的表示,在许多领域取得了优异的性能。然而,大多数传统的自监督方法主要集中在探索样本间的结构,而较少的努力集中在底层的时间内结构,这是重要的时间序列数据。本文提出了SelfTime:一个通用的自监督时间序列表示学习框架,通过探索时间序列的样本间关系和时间内关系来学习未标记时间序列的底层结构特征。具体来说,我们首先通过对给定锚样本的正样本和负样本进行采样来生成样本间关系,并通过从该锚样本中采样时间片来生成时间内关系。然后,基于采样关系,采用一个共享的特征提取主干和两个独立的关系推理头,分别量化样本间关系推理的样本对关系和时间片内关系推理的时间片对关系.最后,在关系推理头的监督下,从主干中提取有用的时间序列表示。在多个真实时间序列数据集上的实验结果表明了该方法的有效性。代码和数据可在https://haoyfan.github.io/上公开获取。
2020-11-27 cs.LG
Symbol-Temporal Consistency Self-supervised Learning for Robust Time Series Classification
Department of Computer Science, University of Texas Rio Grande Valley(计算机科学系,德克萨斯大学里奥格兰德谷分校)
针对数字健康中时间序列数据分布偏移问题,提出利用符号袋表示的自监督学习框架,以增强模型对噪声和偏移的鲁棒性,实验证明在显著偏移下性能更优。
2025-09-24 cs.LG
Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局);Institute for Infocomm Research(资讯通信研究院);Centre for Frontier AI Research(前沿人工智能研究中心)
提出TS-TCC框架,通过时间与上下文对比学习从无标签时间序列数据中学习表示,并扩展至半监督CA-TCC,利用伪标签实现类感知对比损失,性能媲美全监督训练。
2023-09-03 cs.LG
TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
TimeMAE通过解耦掩码自编码器和语义单元提升,提升时间序列自监督表示的性能,尤其在数据稀缺和迁移学习场景中表现优异。
2026-02-27 cs.LG
SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series
DAVID Lab(DAVID实验室);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学)
近年来,从多变量时间序列中学习引起了广泛的关注。特别是,标签短缺是一个真正的挑战,MTS上的分类任务,考虑到其复杂的维度和顺序的数据结构。与依赖于基于距离的分类器的自我训练和积极的未标记学习不同,在本文中,我们提出了SMATE,一种新的半监督模型,用于从弱标记MTS中学习可解释的时空表示。我们从UEA MTS存档的30个公共数据集上经验验证了学习的表示。我们将其与完全监督任务的13种最先进的基线方法和半监督任务的4种基线进行了比较。结果表明,我们提出的方法的可靠性和有效性。
2021-10-10 cs.AI cs.LG
Specific Differential Entropy Rate Estimation for Continuous-Valued Time Series
Uniformed Services University(美国三军大学)
我们介绍了一种方法,通过扩展的微分香农熵率量化的连续值时间序列的固有不可预测性。我们的扩展,特定熵率,量化了与特定状态相关的预测不确定性的数量,而不是所有状态的平均值。我们将特定的熵率与流行的“复杂性”措施,如近似和样本熵。我们提供了一个数据驱动的方法来估计所观察到的时间序列的特定熵率。最后,我们考虑三个案例研究估计特定的熵率从合成和生理数据相关的心率变异性的分析。
2016-06-08 cs.LG stat.ME
Ti-MAE: Self-Supervised Masked Time Series Autoencoders
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Ltd.(华为技术有限公司)
多变量时间序列预测在各种应用和场景中越来越受欢迎。最近,对比学习和基于transformer的模型在许多长期序列预测任务中取得了良好的性能。然而,在现有的方法中仍然存在一些问题。首先,对比学习的训练范式与下游预测任务不一致,导致预测结果不准确。第二,现有的基于变换器的模型,诉诸于历史时间序列数据中的相似模式来预测未来值,通常会引起严重的分布偏移问题,并且与自监督方法相比,不能充分利用序列信息。为了解决这些问题,我们提出了一个新的框架,名为Ti-MAE,其中输入的时间序列被假定为遵循一个完整的分布。具体来说,Ti-MAE随机屏蔽嵌入的时间序列数据,并学习自动编码器在点级别重建它们。Ti-MAE采用掩模建模(而不是对比学习)作为辅助任务,在现有的表示学习和基于生成式变换器的方法之间架起了桥梁,在保持原始时间序列数据利用率的同时,减少了上下游预测任务之间的差异。在几个公开的真实世界数据集上的实验表明,我们的掩码自动编码框架可以直接从原始数据中学习强表示,从而在时间序列预测和分类任务中获得更好的性能。
2023-01-21 cs.LG
A Framework for the Time- and Frequency-Domain Assessment of High-Order Interactions in Brain and Physiological Networks
虽然复杂系统的标准网络描述是基于量化系统单元对之间的联系,但涉及三个或更多单元的高阶相互作用(HOI)在控制集体网络行为方面发挥着重要作用。这项工作介绍了一种方法来量化成对和HOI的多变量的节奏过程在多个时间尺度上相互作用。我们定义了所谓的O-信息率(OIR)作为一个新的度量来评估HOI的多变量时间序列,并提出了一个框架,将其分解为量化格兰杰因果和瞬时影响的措施,以及扩展它在频域。该框架利用矢量自回归和状态空间模型的频谱表示来评估过程组之间的协同和冗余相互作用,无论是在特定的频带和整个频带集成后的时域。在模拟网络上的验证说明了光谱OIR如何突出在特定频率出现的冗余和协同HOI,但不使用时域测量。应用于由在健康受试者中在起搏呼吸期间测量的心脏周期、动脉压和呼吸描述的生理网络,以及应用于由在麻醉期间的动物实验中获取的ECoG信号描述的脑网络,记录我们的方法识别与良好相关的信息回路的能力,定义了心血管振荡和脑节律,并与自主控制和意识改变的特定生理机制有关。所提出的框架允许分层组织的评估多变量时间序列映射的网络中的时域和频域的相互作用,其高度的灵活性和可扩展性,使其适合于研究神经科学,生理学和其他领域的成对相互作用之外的网络。
2022-02-08 stat.ME
SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs
Digital Humanities Colab(数字人文合作实验室);Integrated Program for Humane Studies(人文研究综合项目);Kenyon College(凯尼恩学院)
SOTA Transformer和DNN短文本情感分类器在IMDB电影评论等狭窄领域的准确率超过97%。现实世界的性能显着较低,因为传统模型过拟合基准,并且对不同或更开放的领域文本的概括性较差。本文介绍了SentimentArcs,一种新的自监督时间序列情感分析方法,它解决了传统监督情感分析的两个主要局限性:有限的标记训练数据集和泛化能力差。大量不同模型的集合为自监督学习提供了合成的基础事实。新的度量共同优化了在每个可能的语料库中的穷举搜索:模型组合。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙述中的时间结构,因此领域专家可以快速发现趋势,识别关键特征,并注意到数百个弧和数百万个数据点的异常。据我们所知,这是第一个用于时间序列情感分析的自监督方法,也是直接比较长形式叙述的真实世界模型性能的最大调查。
2021-10-18 cs.CL cs.LG
CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification
Fudan University(复旦大学);Arcplus Group PLC(华东建筑集团股份有限公司)
多变量时间序列的自监督表示学习是一个具有挑战性的课题,近年来引起了人们越来越多的研究兴趣。以前的许多工作都集中在自监督学习的借口任务上,通常忽视了MTS编码的复杂问题,导致结果不尽如人意。本文从编码器和托词任务两个方面解决了这一问题,提出了一个统一的通道感知自监督学习框架CaSS。具体来说,我们首先设计了一个新的基于transformer的编码器的并行感知Transformer(CaT),以捕捉MTS的不同时间通道之间的复杂关系。其次,我们结合了两个新的借口任务下一个趋势预测(NTP)和上下文相似性(CS)的自我监督表示学习与我们提出的编码器。在几个常用的基准数据集上进行了大量的实验。实验结果表明,与以往的自监督MTS表示学习方法相比,该框架取得了新的进步(在LSST数据集上提高了+7.70\%),可以很好地应用于下游MTS分类.
2022-03-08 cs.AI cs.LG
LiPCoT: Linear Predictive Coding based Tokenizer for Self-supervised Learning of Time Series Data via Language Models
University of California San Francisco(加利福尼亚大学旧金山分校)
本研究提出基于线性预测编码的时间序列分词器LiPCoT,将时间序列编码为词元以适配语言模型自监督学习,在帕金森病EEG分类任务中多项指标优于现有CNN方法。
2024-08-14 cs.AI cs.LG eess.SP
Multi-Task Self-Supervised Time-Series Representation Learning
Korea University(高丽大学)
时间序列表示学习可以从具有时间动态和稀疏标签的数据中提取表示。当标记数据稀疏但未标记数据丰富时,对比学习,即,一种用于学习潜在空间的框架已经显示出出色的性能,在该潜在空间中,相似的样本彼此接近,而不相似的样本彼此远离。这种策略可以鼓励不同的时间序列表示的一致性,这取决于积极的对选择和对比损失。我们提出了一种新的时间序列表示学习方法,结合了自监督任务的上下文,时间和转换一致性的优势。它允许网络学习各种下游任务和域的一般表示。具体来说,我们首先采用数据预处理,为每个自监督任务生成积极和消极对。然后,该模型执行上下文,时间和变换对比学习,并使用它们的对比损失联合优化。我们进一步研究了一种不确定性加权方法,通过考虑每个一致性的贡献来实现有效的多任务学习。我们评估了三个下游任务的建议框架:时间序列分类,预测和异常检测。实验结果表明,该方法不仅在这些下游任务上优于基准模型,而且在跨域迁移学习中也显示出有效性。
2023-03-02 cs.AI cs.LG