Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
特征提取是使用穿戴式运动传感器进行人体活动识别（HAR）的关键。最近，学习表示已被成功地使用，提供了有前途的替代手动工程的功能。我们的工作重点是有效地利用少量的标记数据和机会主义利用的未标记的数据，是直接收集在移动和无处不在的计算场景。我们假设并证明，明确考虑传感器数据的时间性在代表性水平发挥了重要作用，有效的HAR在具有挑战性的情况下。我们将对比预测编码（CPC）框架引入到人类活动识别中，该框架捕获传感器数据流的长期时间结构。通过对现实生活中的识别任务的一系列实验评估，我们证明了它的有效性，改进的HAR。基于CPC的预训练是自我监督的，并且由此产生的学习表示可以集成到标准活动链中。它导致显着提高识别性能时，只有少量的标记训练数据，从而证明了我们的方法的实用价值。
2020-12-09 cs.LG
Self-supervised Activity Representation Learning with Incremental Data: An Empirical Study
University of New South Wales（新南威尔士大学）；Defence Science and Technology Group（国防科学技术集团）
本研究针对移动感知场景下增量数据的活动分类问题，提出基于自监督表征学习的工作流程，通过无标注数据预训练提取特征后用于分类，并在四个公开数据集上分析了无标注数据的规模、分布和来源对性能的影响。
2023-05-01 cs.LG eess.SP
Ensemble Distribution Distillation for Self-Supervised Human Activity Recognition
organization= The University of New South Wales , city= Sydney , country= Australia；organization= The University of New South Wales \& CSIRO , city= Sydney , country= Australia
本文提出一种自监督集成分布蒸馏框架，利用未标记数据和部分监督训练，提升人类活动识别的准确性、不确定性估计和对抗鲁棒性，且不增加推理计算复杂度。
2025-09-10 cs.LG
Investigating Enhancements to Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
获取活动注释的挑战性本质与从可穿戴设备收集数据汇集的更直接本质之间的二分法已经引起了对开发利用大量未标记数据来学习表示的技术的极大兴趣。对比预测编码（CPC）就是这样一种方法，通过利用时间序列数据的属性来学习有效的表示，以建立对比的未来时间步预测任务。在这项工作中，我们提出了CPC的增强，通过系统地研究编码器架构，聚合器网络和未来的时间步长预测，从而产生一个完全卷积的架构，从而提高并行性。在传感器位置和活动中，我们的方法在六个目标数据集中的四个数据集上显示出实质性的改进，证明了它能够为广泛的应用场景提供支持。此外，在标记数据非常有限的情况下，我们的技术显著优于监督和自监督基线，对可能仅收集几秒钟标记数据的情况产生积极影响。这是有希望的，因为CPC不需要专门的数据转换或重建来学习有效的表示。
2022-11-11 cs.LG
Modeling Activity Tracker Data Using Deep Boltzmann Machines
University of Freiburg（弗莱堡大学）
商业活动跟踪器将成为健康研究中的一个重要工具，因为它在普通人群中的可用性越来越高。相应的大量大部分未标记的数据对统计建模方法构成了挑战。为了研究深度学习方法用于无监督学习的可行性，我们使用深度玻尔兹曼机（DBMs）检查了Fitbit活动跟踪器的每周使用模式。该方法特别适合于通过潜变量对复杂的联合分布进行建模。我们还选择了这个特定的程序，因为它是一种生成方法，即，可以生成人工样本来探索所学习的结构。我们描述了如何对数据进行预处理，以与二进制DBMs兼容。结果显示了两种不同的使用模式，其中一组在周一和周二经常使用跟踪器，而另一组在整个星期都使用跟踪器。该示例性结果表明DBM是可行的，并且可以用于对活动跟踪器数据进行建模。
2018-02-28 cs.LG stat.ML
Deep Activity Recognition Models with Triaxial Accelerometers
尽管几乎所有的手机和可穿戴设备都广泛安装了加速度计，但由于现有识别方法的识别准确率不高，加上标记的训练数据稀缺，使用加速度计的活动识别仍然不成熟。我们考虑使用三轴加速度计和深度学习范例的人类活动识别问题。这篇论文表明，深度活动识别模型（a）提供了更好的人类活动识别准确性，（b）避免了现有系统中手工特征的昂贵设计，（c）利用大量未标记的加速度样本进行无监督特征提取。此外，提出了一种深度学习和隐马尔可夫模型（DL-HMM）的混合方法用于序列活动识别。这种混合方法将深度活动识别模型的分层表示与隐马尔可夫模型中时间序列的随机建模相结合。我们在现实世界的数据集上显示了使用三轴加速度计进行人类活动识别的最先进方法的实质性识别改进。
2016-10-25 cs.HC cs.LG cs.NE
TransfHAR: Self-Supervised Wrist Representations for On-Demand Activity Recognition
Northwestern University（西北大学）；Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
TransfHAR是一种自监督手腕IMU框架，可通过学习粗粒度运动先验实现按需细粒度活动识别，在跨数据集评估及用户研究中均优于或匹配全监督基线，为该领域提供了有效基础。
2026-09-03 cs.LG
Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers
Technical University of Denmark（丹麦技术大学）
本文提出频率感知掩码自编码器，利用频谱图损失函数在大型未标记加速度计数据上预训练变换器模型，提升人体活动识别性能，LMM损失显著优于MSE损失。
2025-05-27 cs.LG eess.SP
Learning Behavioral Representations of Routines From Large-scale Unlabeled Wearable Time-series Data Streams using Hawkes Point Process
University of Southern California（南加州大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
提出HOT-ROD框架，结合协方差时间序列聚类与霍克斯点过程，从完全无标签的可穿戴数据中发现日常行为作息并捕捉活动状态转换，且能反映个体性格与情感。
2023-07-10 cs.LG eess.SP
ColloSSL: Collaborative Self-Supervised Learning for Human Activity Recognition
Georgia Tech（佐治亚理工学院）；University of Cambridge（剑桥大学）；Nokia Bell Labs（诺基亚贝尔实验室）
训练健壮的人类活动识别模型（HAR）的一个主要瓶颈是需要大规模标记的传感器数据集。由于标记大量传感器数据是一项昂贵的任务，因此出现了无监督和半监督学习技术，可以在不需要任何标签的情况下从数据中学习良好的特征。在本文中，我们扩展了这条研究路线，并提出了一种新的技术，称为协作自监督学习（ColloSSL），它利用从用户佩戴的多个设备收集的未标记数据来学习数据的高质量特征。支持ColloSSL设计的一个关键见解是，多个设备同时捕获的未标记传感器数据集可以被视为彼此的自然转换，并用于生成表示学习的监督信号。我们提出了三项技术创新，以扩展传统的自监督学习算法的多设备设置：设备选择方法，选择积极和消极的设备，使对比学习，对比采样算法，在多设备设置中的样本的积极和消极的例子，和一个损失函数称为多视图对比损失扩展标准对比损失的多设备设置。我们在三个多设备数据集上的实验结果表明，ColloSSL在大多数实验设置中优于全监督和半监督学习技术，导致F_1分数的绝对增加高达7.9%，与性能最好的基线相比。我们还表明，ColloSSL在低数据状态下优于完全监督方法，在最佳情况下仅使用可用标记数据的十分之一。
2022-02-01 cs.AI cs.HC cs.LG
Self-supervised Human Activity Recognition by Learning to Predict Cross-Dimensional Motion
Queen's University（女王大学）
我们建议使用自监督学习来识别智能手机加速度计数据的人类活动。我们提出的解决方案包括两个步骤。首先，通过训练深度卷积神经网络来学习未标记输入信号的表示，以预测一段加速度计值。我们的模型利用了一种新的方案来利用x和y维的过去和现在的运动，以及z轴的过去值来预测z维的值。这种跨维度预测方法导致了有效的借口训练，我们的模型可以学习提取强表示。接下来，我们冻结卷积块，并将权重转移到我们的下游网络，以识别人类活动。为了完成这项任务，我们在冻结网络的末端添加了一些完全连接的层，并用标记的加速度计信号训练添加的层，以学习对人类活动进行分类。我们在三个公开的人类活动数据集上评估了我们的方法的性能：UCI HAR，MotionSense和HAPT。结果表明，我们的方法优于现有的方法，并设置新的国家的最先进的结果。
2021-09-02 cs.LG eess.SP
VaCDA: Variational Contrastive Alignment-based Scalable Human Activity Recognition
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（计算机科学与工程系，孟加拉国工程与技术大学）；Department of Computer Science, Bowie State University（计算机科学系，布里沃州立大学）
本文提出VaCDA框架，结合变分自编码器和对比学习，解决多源领域适应中的数据异质性问题，提升跨人物、跨位置和跨设备场景下的活动识别性能。
2025-05-08 cs.LG
Unsupervised Statistical Feature-Guided Diffusion Model for Sensor-based Human Activity Recognition
Aalto University（阿尔托大学）；DFKI（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学）
针对可穿戴传感器HAR标注数据稀缺问题，提出以均值、Z-score等统计信息为条件的无监督扩散模型，可生成带标注合成传感器数据，实验证明其能提升HAR性能且优于现有方法。
2024-05-19 cs.LG eess.SP
Deep Auto-Set: A Deep Auto-Encoder-Set Network for Activity Recognition Using Wearables
The University of Adelaide（阿德莱德大学）
从时间序列传感器数据中自动识别人类活动（简称HAR）是普适计算中一个不断发展的研究领域。该领域的最新研究采用监督深度学习范式来自动从原始信号输入中提取内在特征，并将HAR作为多类分类问题来解决，其中在感知数据段的持续时间内检测单个活动类就足够了。然而，由于人类活动及其相应持续时间的固有多样性，不能保证任何数据段包含单一活动类型的传感器记录。在本文中，我们更自然地表达HAR作为一个集合预测问题，其中的预测是一组正在进行的活动元素与不固定和未知的基数。我们首次通过提出一种新的HAR方法来解决这个问题，该方法使用深度神经网络学习输出活动集。此外，由于带注释的HAR数据集的可用性有限，以及现有无监督系统的不幸不成熟，我们将我们的监督集学习方案与先前的无监督特征学习过程相结合，该过程采用卷积自动编码器来利用未标记的数据。在两个广泛采用的HAR数据集上的实证实验表明，我们提出的方法比基线模型有了很大的改进。
2018-11-20 cs.HC cs.LG stat.ML
Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression
School of Informatics and Computing, Indiana University（印第安纳大学信息学与计算学院）
我们设计了一种新的方法，允许机器人学习的新活动，从未标记的人类的例子视频。给定从人类的观点来看人类执行相同活动的视频（即，第一人称视频），我们的目标是让机器人学习活动的时间结构作为其未来的回归网络，并学习将这种模型转移到自己的运动执行中。我们提出了一个新的深度学习模型：我们扩展了最先进的卷积目标检测网络，用于训练视频中人手的表示/估计，并新引入了使用完全卷积网络进行回归的概念（即，预测）对应于未来帧的中间场景表示（例如，1-2秒后）。结合这些可以直接预测人手和物体的未来位置，这使得机器人能够使用我们的操纵网络来推断电机控制计划。我们通过实验证实，我们的方法可以从未标记的人类交互视频中学习机器人活动，并证明我们的机器人能够直接根据其相机输入实时执行学习的协作活动。
2017-07-24 cs.AI cs.CV cs.LG
Human Activity Learning and Segmentation using Partially Hidden Discriminative Models
Curtin University of Technology（科廷科技大学）；SRI International（SRI国际）
从低层次的感知数据中学习和理解人们日常活动和惯例中的典型模式是许多应用领域中的重要问题，例如构建智能环境或提供智能辅助。解决这个问题的传统方法通常依赖于监督学习和生成模型，如隐马尔可夫模型及其扩展。虽然活动数据可以很容易地从普适传感器中获取，例如在智能环境中，但提供手动标签来支持监督训练通常非常昂贵。在本文中，我们提出了一种新的方法的基础上半监督训练的部分隐判别模型，如条件随机场（CRF）和最大熵马尔可夫模型（MEMM）。我们表明，这些模型使我们能够将标记和未标记的数据用于学习，同时为我们提供了判别框架的灵活性和准确性。我们在视频监控领域的实验结果表明，这些模型可以表现得更好，比他们的生成对应部分隐马尔可夫模型，即使在大量的标签不可用。
2014-08-06 cs.CV cs.LG stat.ML
SelfAct: Personalized Activity Recognition based on Self-Supervised and Active Learning
University of Milan（米兰大学）
SelfAct 框架结合自监督预训练与无监督主动学习，利用大规模无标注数据学习传感器表示，使新用户仅需少量主动学习查询即可实现接近甚至优于全监督方法的个性化活动识别。
2023-04-19 cs.AI cs.HC cs.LG
Human Activity Recognition Using Self-Supervised Representations of Wearable Data
Verily Life Sciences（Verily生命科学）
针对人类活动识别标注数据不足、算法传感器适配性差的问题，提出基于大规模无标注数据冻结自监督表示加浅层带时间平滑多层感知机的6分类模型，在分布内和跨传感器分布外场景均取得优异性能，推动设备无关HAR发展。
2023-04-26 cs.AI cs.LG eess.SP
Assessing the State of Self-Supervised Human Activity Recognition using Wearables
Georgia Institute of Technology（佐治亚理工学院）
自监督学习在基于可穿戴设备的人类活动识别（HAR）领域的出现为解决该领域最紧迫的挑战提供了机会，即利用未标记的数据来获得可靠的识别系统，以适应只能收集少量标记训练样本的情况。因此，自我监督，即，“预训练-然后微调”的范例有可能成为主要的端到端训练方法的强有力的替代方案，更不用说用于经典活动识别链的手工制作的特征了。最近，许多将自监督学习引入HAR领域的贡献，包括多任务自监督，Masked Reconstruction，CPC和Simplified，仅举几例。随着这些方法的初步成功，现在已经到了对该领域潜在的自我监督学习进行系统盘点和分析的时候了。这份文件提供的正是这一点。我们通过引入一个框架来评估自监督HAR研究的进展，该框架对模型性能进行了多方面的探索。我们将框架组织成三个维度，每个维度包含三个组成标准，每个维度都可以捕获性能的特定方面，包括对不同源和目标条件的鲁棒性，数据集特征的影响以及特征空间特征。我们利用这个框架来评估HAR的七种最先进的自监督方法，从而形成对这些技术属性的见解，并建立它们对不同场景的学习表示的价值。
2022-11-19 cs.LG eess.SP
PaCMO: Partner Dependent Human Motion Generation in Dyadic Human Activity using Neural Operators
Purdue University（普渡大学）；Nvidia Corporation（英伟达公司）
我们解决的问题，生成三维人体运动的二元活动。相对于并发作品，这主要集中在生成一个单一的演员从文本描述的运动，我们生成的运动的演员之一，从其他参与行动的演员的运动。这是一个特别具有挑战性的，未充分探索的问题，需要学习参与动作的两个演员的运动之间的复杂关系，并从一个演员的运动中识别动作。为了解决这些问题，我们提出了伙伴条件运动算子（PaCMO），这是一种基于神经算子的生成模型，它通过对抗训练来学习由伙伴运动调节的人类运动在函数空间中的分布。我们的模型可以在任意时间分辨率下处理长的未标记动作序列。我们还介绍了“功能弗雷歇初始距离”（$F^2ID$）度量捕获真实的和生成的数据之间的相似性函数空间。我们在NTU RGB+D和DuetDance数据集上测试PaCMO，我们的模型产生了由$F^2ID$分数和进行的用户研究证明的真实结果。
2022-11-25 cs.CV cs.GR cs.LG
Joint-Embedding Predictive Architecture for Sensor-based Activity Recognition
School of Computer Sciences, Universiti Sains Malaysia（计算机科学学院，马来西亚科学大学）；Al-Quds Open University（阿卡德大学）
针对基于传感器的人类活动识别依赖大量标注数据的问题，提出联合嵌入预测架构框架，通过改进的VICReg目标函数从未标注数据学习通用表示，在两个基准数据集评估中成功学习高质量表示，在少数高方差过渡活动上泛化能力强。
2026-07-21 cs.AI cs.LG eess.SP
Temporal Structure Matters for Efficient Test-Time Adaptation in Wearable Human Activity Recognition
College of Computer Science and Software Engineering, Hohai University（河海大学计算机科学与软件工程学院）
本文提出SIGHT框架，通过利用时间结构作为特征条件推理信号，提升可穿戴人类活动识别中测试时间适应的效率与性能，同时降低计算和内存成本。
2026-05-11 cs.CV cs.HC cs.LG
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
MorphCL: Morphological Contrastive Learning for Inertial-based Human Activity Recognition
University of Bonn（波恩大学）；University of Cambridge（剑桥大学）；University of Siegen（锡根大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
MorphCL提出形态对比学习框架，通过结构感知分组注入全局结构，显著提升惯性活动识别编码器性能，F1分数最高提升15个百分点，且训练数据减少4600倍。
2026-10-08 cs.HC cs.LG
S-MolSearch: 3D Semi-supervised Contrastive Learning for Bioactive Molecule Search
Renmin University of China（中国人民大学）；DP Technology（DP科技）
本文提出S-MolSearch框架，首次将分子3D信息与亲和力信息结合用于半监督对比学习，通过逆最优传输利用无标签数据，在LIT-PCBA和DUD-E基准上超越现有虚拟筛选方法。
2024-11-21 cs.LG q-bio.BM
Improving Out-of-distribution Human Activity Recognition via IMU-Video Cross-modal Representation Learning
Department of Computer Science & Engineering University of Minnesota（计算机科学与工程系明尼苏达大学）；Department of Mechanical Engineering University of Minnesota（机械工程系明尼苏达大学）；Department of Neurosurgery University of Minnesota（神经外科系明尼苏达大学）
本文提出一种跨模态自监督预训练方法，利用大规模无标签IMU-视频数据学习可泛化表示，在分布外IMU数据集（含帕金森病患者数据）的零样本和少样本HAR任务中优于现有IMU-视频及仅IMU预训练方法。
2025-07-17 cs.CV cs.LG
Multi-task Self-Supervised Learning for Human Activity Detection
Eindhoven University of Technology（埃因霍温理工大学）
深度学习方法成功地用于与无处不在的计算、健康和福祉有关的应用中。具体来说，人类活动识别（HAR）领域主要由卷积和递归神经网络进行转换，这要归功于它们从原始输入中学习语义表示的能力。然而，为了提取可概括的特征，需要大量精心策划的数据，这是一项非常具有挑战性的任务;受到隐私问题和注释成本的阻碍。因此，无监督表示学习对于利用智能设备产生的大量未标记数据至关重要。在这项工作中，我们提出了一种新的自监督技术，用于从感官数据中进行特征学习，不需要访问任何形式的语义标签。我们学习了一个多任务时间卷积网络来识别应用于输入信号的变换。通过利用这些变换，我们证明了简单的辅助任务的二进制分类结果在一个强大的监督信号提取有用的功能，为下游任务。我们广泛地评估了几个公开的数据集，基于智能手机的HAR在无监督，半监督和迁移学习设置所提出的方法。我们的方法实现了优于或与完全监督网络相当的性能水平，并且它的性能明显优于自动编码器。值得注意的是，对于半监督的情况，自监督特征通过在每个类只有10个标记示例的情况下获得0.7-0.8之间的Kappa得分来大幅提高检测率。即使功能是从不同的数据源传输的，我们也可以获得类似的令人印象深刻的性能。虽然本文的重点是HAR作为应用领域，所提出的技术是通用的，可以应用于各种各样的问题在其他领域。
2019-07-27 cs.LG stat.ML
Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition
University College Dublin（都柏林大学学院）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对单传感器 HAR 视角受限而多传感器融合成本高的问题，提出训练时利用多传感器无标签数据、推理时仅用单传感器的 Virtual Fusion，并通过 AFVF 扩展达到基准最优性能。
2023-12-01 cs.AI cs.CV cs.LG
ASM2TV: An Adaptive Semi-Supervised Multi-Task Multi-View Learning Framework for Human Activity Recognition
George Washington University（乔治华盛顿大学）；Shandong University（山东大学）
许多现实世界的场景，例如物联网中的人类活动识别（HAR），可以形式化为多任务多视图学习问题。每个特定的任务都由多个共享的特征视图组成，这些特征视图是从多个同源或异构源收集的。在最近的方法中，共同的是采用典型的硬/软共享策略，在初始阶段分别为每个视图跨任务，以揭示共同的知识，假设所有的视图是有条件的独立。一方面，在实际情况下，跨任务的多个视图可能相互关联。另一方面，当标记数据稀缺时，监督方法可能不够。为了解决这些挑战，我们引入了一个新的框架ASM 2 TV用于半监督多任务多视图学习。我们提出了一个新的视角命名为门控策略，一个可学习的任务视图交互共享策略，自适应地选择最理想的候选共享块的任何视图在任何任务，揭示更细粒度的任务视图交互的相关性，提高推理效率。值得注意的是，我们提出的收集一致性自适应过程充分利用了大量未标记的碎片时间序列，使其成为一个通用的框架，可容纳广泛的应用。两个不同的真实世界的HAR基准数据集从不同的主题和来源收集的实验表明，我们的框架的优越性，比其他国家的最先进的。详细代码可在https://github.com/zachstarkk/ASM2TV上获得。
2022-01-19 cs.AI cs.LG cs.MM
Large Model for Small Data: Foundation Model for Cross-Modal RF Human Activity Recognition
Southern University of Science and Technology（南方科技大学）；Sichuan University（四川大学）；Nanyang Technological University（南洋理工大学）
本文提出跨模态框架FM-Fi，通过对比知识蒸馏和度量少样本学习，将视觉基础模型知识迁移到射频HAR，在小数据条件下实现零样本与强泛化性能。
2024-10-13 cs.CV cs.LG eess.SP
Consistency Based Weakly Self-Supervised Learning for Human Activity Recognition with Wearables
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对可穿戴人体活动识别中数据无标签、监督方法依赖标签的问题，提出含嵌入学习和小样本微调两阶段的弱自监督方法，在三个基准数据集上实现了与纯监督方法相当的聚类性能。
2024-07-29 cs.AI cs.HC cs.LG
Personalized Semi-Supervised Federated Learning for Human Activity Recognition
针对人类活动识别中标记数据稀缺问题，提出FedAR混合方法，结合半监督学习与联邦学习，利用主动学习和标签传播实现半自动标注，并通过迁移学习个性化微调，在公共数据集上达到与监督方法相当的识别率且仅需少量标注。
2025-10-17 cs.DC cs.LG
AMSI-Based Detection of Malicious PowerShell Code Using Contextual Embeddings
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Microsoft（微软）
PowerShell是一个命令行shell，支持脚本语言。它被广泛用于组织的配置管理和任务自动化，但也越来越多地被网络犯罪分子用于对组织发动网络攻击，主要是因为它预装在Windows机器上，并暴露了攻击者可能利用的强大功能。这使得检测恶意PowerShell代码的问题既紧迫又具有挑战性。微软的反恶意软件扫描接口（AMSI）允许防御系统在执行之前扫描传递给脚本引擎（如PowerShell）的所有代码。在这项工作中，我们使用AMSI提供的信息进行恶意PowerShell代码检测的第一次研究。我们提出了几种新的基于深度学习的恶意PowerShell代码检测器，这些代码采用来自PowerShell“语言”的单词的预训练上下文嵌入。网络安全领域的一个已知问题是，与未标记数据相比，标记数据相对稀缺，这使得难以设计对许多类型的恶意活动的有效监督检测。PowerShell代码也是如此。我们的工作表明，这个问题可以通过学习基于未标记数据的预训练上下文嵌入来缓解。我们使用AMSI从一家大型反恶意软件供应商收集的真实数据来训练和评估我们的模型。我们的性能分析表明，使用未标记的数据进行嵌入显着提高了我们的检测器的性能。我们性能最好的模型使用的架构能够处理字符和标记级别的文本信号，并获得近90%的真阳性率，同时保持低于0.1%的低假阳性率。
2019-09-19 cs.CR cs.LG
Exploiting Context for Robustness to Label Noise in Active Learning
University of California, Riverside（加州大学河滨分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
计算机视觉中的一些工作已经证明了主动学习在新的未标记数据可用时用于适应识别模型的有效性。这些著作大多认为从注释者那里获得的标签是正确的。然而，在实际场景中，由于标签的质量取决于注释器，因此一些标签可能是错误的，这导致识别性能下降。在本文中，我们解决的问题，i）系统如何可以识别哪些查询标签是错误的，以及ii）如何多类主动学习系统可以适应标签噪声的负面影响最小化。为了解决这些问题，我们提出了一种基于噪声标签过滤的学习方法，其中利用自然数据中非常常见的相互关系（上下文）来检测错误的标签。我们构建了一个图形表示的未标记的数据来编码这些关系，并获得新的信念图时，嘈杂的标签。将新的信念与先前的关系信息进行比较，我们生成一个相异性分数来检测不正确的标签，并使用正确的标签更新识别模型，从而获得更好的识别性能。这在三个不同的应用中得到了证明：场景分类、活动分类和文档分类。
2020-10-18 cs.CV cs.LG
Generic Semi-Supervised Adversarial Subject Translation for Sensor-Based Human Activity Recognition
人类活动识别（HAR）模型的性能，特别是深度神经网络的性能，高度依赖于大量应被充分标记的带注释的训练数据的可用性。然而，HAR领域中的数据采集和手动注释由于两个步骤中的熟练人力资源要求而过于昂贵。因此，已经提出了领域自适应技术来适应来自现有数据源的知识。最近，对抗性迁移学习方法在图像分类中显示出非常有前途的结果，但对于基于传感器的HAR问题仍然受到样本分布不平衡的不利影响。本文提出了一种新的通用和鲁棒的方法，半监督领域自适应在HAR，利用对抗框架的优点，以解决的缺点，通过利用知识注释样本专门从源主题和未标记的目标主题。在大、中、小三个不同不平衡程度的数据集上进行了大量的主题翻译实验，以评估该模型对数据规模和不平衡的鲁棒性和有效性。结果表明，我们提出的算法比最先进的方法，这导致我们的机会，LISSI和PAMAP 2数据集的高级别活动识别指标分别提高了13%，4%和13%的有效性。LISSI数据集是最具挑战性的数据集，因为其人口较少且分布不平衡。与SA-GAN对抗性领域自适应方法相比，该方法对三个数据集的最终分类性能平均提高了7.5%，这强调了微小批量训练的有效性。
2020-11-11 cs.AI cs.CV cs.LG
Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Baidu USA（百度美国）
尽管全监督动作分割技术最近取得了进展，但性能仍然不完全令人满意。一个主要的挑战是时空变化的问题（例如，不同的人可能以不同的方式进行相同的活动）。因此，我们利用未标记的视频来解决这个问题，通过重新制定的动作分割任务作为一个跨域的问题与域的差异所造成的时空变化。为了减少这种差异，我们提出了自监督时间领域自适应（SSTDA），它包含两个自监督辅助任务（二进制和顺序域预测），以联合对齐嵌入局部和全局时间动态的跨域特征空间，实现了比其他领域自适应（DA）方法更好的性能。三个具有挑战性的基准数据集（GTEA、50份沙拉和早餐），SSTDA的表现远远优于当前最先进的方法（例如，对于F1@25评分，早餐从59.6%到69.1%，50沙拉从73.4%到81.5%，GTEA从83.6%到89.1%），并且仅需要65%的标记的训练数据来获得可比性能，这证明了在变化中适应未标记的目标视频的有用性。源代码可在https://github.com/cmhungsteve/SSTDA上获得。
2020-03-18 cs.CV cs.LG eess.IV
PRISM: Prioritized Channel Importance with Semi-supervised Domain Adaptation for Cross-Subject EEG Emotion Recognition
School of Computing, T. J Watson College of Engineering and Applied Science, Binghamton University - State University of New York（计算学院、T.J Watson工程与应用科学学院、宾夕法尼亚州立大学宾夕法尼亚州立大学）
提出PRISM框架，通过可微分通道加权和置信度过滤伪标签的半监督域适应，解决脑电情绪识别中的通道冗余和跨被试差异问题，在三个数据集上超越现有方法。
2026-07-02 cs.LG
Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
研究利用自监督学习，通过在盲人参与者V1区的自发神经活动上预训练掩码自动编码器，测试能否改善感知解码。结果显示该方法有效，表明自发皮层活动有价值，无监督预训练是改善神经解码的好策略。
2026-07-28 cs.AI cs.LG cs.NE
Self-supervised Learning for Clustering of Wireless Spectrum Activity
Jozef Stefan Institute（约热夫·斯泰凡研究所）；Jozef Stefan International Postgraduate School（约热夫·斯泰凡国际研究生学院）
本文研究使用自监督学习（SSL）探索真实世界无标签无线频谱数据，通过对比基于DeepCluster的适配模型与K-means基线，证明SSL模型在大幅降低特征向量大小和模型复杂度的同时，显著提升了聚类性能。
2024-08-22 cs.AI cs.LG cs.NI
Accoustate: Auto-annotation of IMU-generated Activity Signatures under Smart Infrastructure
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文提出 Accoustate，利用声学预训练 HAR 模型在边缘端跨模态自动标注可穿戴设备 IMU 数据，并借助非重叠声学间隙区分双人同时活动。
2022-08-02 cs.AI cs.HC cs.LG
BeatGraph: Self-Supervised Heartbeat Graphs for Infant ECG Representations from the Home Environment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有ECG基础模型忽略心脏结构、难以适应婴儿高心率的问题，提出BeatGraph，以心跳为基本单元构建图表示，通过自监督预训练和微调，在多项婴儿任务上显著提升性能，并发布首个公共婴儿ECG语料库。
2026-09-28 cs.LG
CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention
University of Zurich（苏黎世大学）；Integrated Systems Laboratory, ETH Zürich（苏黎世联邦理工学院集成系统实验室）
本文提出小型EEG基础模型CEReBrO，通过逐通道patch分词与交替注意力联合建模时空信息，以更低内存和更快速度在多项EEG任务上取得领先或竞争性能。
2025-10-20 cs.LG
Handling Missing Annotations in Supervised Learning Data
Umm Al-Qura University（乌姆·古拉大学）；Assiut University（艾斯尤特大学）；Mansoura University（曼苏拉大学）
数据标注是监督学习的一个重要阶段。然而，注释过程是详尽和耗时的，特别是对于大型数据集。日常生活活动（ADL）识别是利用非常大的原始传感器数据读数的系统的示例。在这样的系统中，以24/7的方式从活动监测传感器收集传感器读数。生成的数据集的大小是如此之大，以至于人类注释者几乎不可能为数据集中的每个实例提供特定的标签。这导致在输入数据中的注释间隙到采用的监督学习系统。识别系统的性能受到这些差距的负面影响。在这项工作中，我们提出并研究了三种不同的范式来处理这些差距。在第一个范例中，通过丢弃所有未标记的读数来消除间隙。在第二范例的操作中，对未标记的读数给予单个“未知”或“不做任何事情”标签。最后一个范例通过给每个间隙一个唯一的标签来处理这些间隙，该标签标识封装的确定性标签。此外，我们提出了一个语义预处理方法的注释差距，通过构建一个混合组合的一些这些范例进一步提高性能。所提出的三种范例及其混合组合的性能使用ADL基准数据集进行评估，该数据集包含超过九个月收集的$2.5\times 10^6$传感器读数。评估结果强调了每种范式下的性能对比，并支持一个特定的差距处理方法，以获得更好的性能。
2020-02-17 cs.AI cs.LG stat.ML
Proximity-Based Active Learning on Streaming Data: A Personalized Eating Moment Recognition
Washington State University（华盛顿州立大学）
检测何时进食是自动饮食监测、药物依从性评估和饮食相关健康干预的重要一步。可穿戴技术通过利用机器学习算法来检测进食时刻，从而在设计不受干扰的饮食监测解决方案方面发挥着核心作用。虽然已经对开发活动识别和进食时刻检测算法进行了大量研究，但是当用一个用户训练的模型被新用户使用时，检测算法的性能大幅下降。为了促进个性化模型的开发，我们提出了PALS，基于邻近的流数据主动学习，一种新的基于邻近的模型，用于识别进食姿势，其目标是显着减少对新用户标记数据的需求。特别是，我们提出了一个优化问题，执行主动学习有限的查询预算下，利用未标记的数据。我们对受控和非受控设置中收集的数据进行了广泛的分析，结果表明，对于10到60个查询的预算，PLAS的F分数范围为22%到39%。此外，与最先进的方法相比，离线PALS，平均而言，达到40%的高召回率和12%的高f-score在检测吃的手势。
2020-03-29 cs.CV cs.LG
UI-JEPA: Towards Active Perception of User Intent through Onscreen User Activity
Stanford University（斯坦福大学）；Apple（苹果公司）
本文提出 UI-JEPA 自监督框架及 IIW、IIT 两个数据集，以 JEPA 式 UI 表示结合 LLM 解码器预测用户意图，在更低算力与延迟下达到并超过主流大型 MLLM。
2024-10-02 cs.AI cs.CL cs.HC
Semi-supervised sequence classification through change point detection
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
序列传感器数据在各种各样的实际应用中产生。一个基本的挑战是为这种连续数据学习有效的分类器。虽然深度学习近年来在语音等领域取得了令人印象深刻的性能提升，但这依赖于具有高质量标签的大型序列数据集的可用性。然而，在许多应用中，相关联的类别标签通常非常有限，精确的标签/分割太昂贵而无法大量执行。然而，大量未标记的数据可能仍然可用。在本文中，我们提出了一个新的框架半监督学习在这样的背景下。以无监督的方式，变化点检测方法可以用于识别序列内对应于可能的类别变化的点。我们发现，变化点提供了类似/不相似的序列对的例子，再加上标记，可以在半监督分类设置中使用。利用变化点和标记的数据，我们形成相似/不相似序列的示例来训练神经网络以学习改进的分类表示。我们提供了广泛的合成模拟，并表明学习的表示优于通过自动编码器学习的表示，并在模拟和真实世界的人类活动识别数据集上获得了改进的结果。
2020-10-06 cs.LG stat.ML
Pretraining for Sample-Efficient Neural Interfaces
Duke University（杜克大学）
本文提出MAPA自监督预训练方法，通过解剖区域嵌入和相对位置编码，在无需微调下提升脑机接口跨受试者解码性能，显著减少所需标签数据。
2026-09-15 cs.LG q-bio.NC
SPAct: Self-supervised Privacy Preservation for Action Recognition
University of Central Florida（中佛罗里达大学）
视觉隐私信息泄漏是视频理解（如活动识别）快速发展的应用中出现的关键问题。现有的用于减轻动作识别中的隐私泄露的方法需要隐私标签以及来自视频数据集的动作标签。然而，为隐私标签注释视频数据集的帧是不可行的。自监督学习（SSL）的最新发展释放了未标记数据的未开发潜力。这是第一次，我们提出了一种新的训练框架，它以自我监督的方式从输入视频中删除隐私信息，而不需要隐私标签。我们的训练框架由三个主要部分组成：匿名化功能，自我监督隐私删除分支和动作识别分支。我们训练我们的框架使用极大极小优化策略，以最小化的动作识别成本函数和最大化的隐私成本函数，通过对比自我监督损失。采用现有的协议的已知的行动和隐私属性，我们的框架实现了竞争性的行动隐私权衡现有的国家的最先进的监督方法。此外，我们引入了一个新的协议来评估学习的匿名化功能的泛化到新的动作和隐私属性，并表明我们的自监督框架优于现有的监督方法。代码可在：https://github.com/DAVEISHAN/SPAct
2022-03-29 cs.CR cs.CV cs.LG
MU-SHOT-Fi: Self-Supervised Multi-User Wi-Fi Sensing with Source-free Unsupervised Domain Adaptation
department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文提出MU-SHOT-Fi框架，通过源无关无监督域适应方法，在单用户和多用户Wi-Fi感知中实现准确的活动分类和占用估计，同时防止模型崩溃。
2026-05-21 cs.AI cs.LG eess.SP
Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
Zuse Institute Berlin（柏林Zuse研究所）
本文提出利用联合嵌入预测架构JEPA对心电图数据进行自监督预训练，在超百万条记录的合并数据集上预训练Vision Transformers，并在PTB-XL基准上取得优于现有方法的分类性能。
2024-10-02 cs.LG eess.SP
AutoFi: Towards Automatic WiFi Human Sensing via Geometric Self-Supervised Learning
Nanyang Technological University（南洋理工大学）；University of California, Berkeley（加州大学伯克利分校）
在灵巧家庭中，WiFi传感技术以其成本效益和隐私保护的优点在各种传感器中显示出优越性。它由从WiFi信号中提取的信道状态信息（CSI）和高级机器学习模型授权来分析CSI中的运动模式。许多基于学习的模型已经被提出用于各种应用，但是它们严重地受到环境依赖性的影响。虽然已经提出了领域自适应方法来解决这个问题，但是在新的环境中收集高质量的、良好分割的和平衡的CSI样本对于自适应算法来说是不切实际的，但是可以容易地收集随机捕获的CSI样本。{ \color{black}在本文中，我们首先探索如何从这些低质量CSI样本中学习鲁棒模型，并提出AutoFi，一种基于新的几何自监督学习算法的注释高效WiFi感知模型。} AutoFi充分利用随机捕获的未标记的低质量CSI样本，然后将知识转移到用户定义的特定任务中，这是WiFi感知中实现跨任务转移的第一项工作。AutoFi在一对Atheros WiFi AP上实现以进行评估。AutoFi将随机收集的CSI样本中的知识转移到人类步态识别中，并实现最先进的性能。此外，我们使用公共数据集模拟跨任务迁移，以进一步证明其跨任务学习的能力。对于UT-HAR和Widar数据集，AutoFi在活动识别和手势识别方面取得了令人满意的结果，而无需任何事先训练。我们相信AutoFi在没有任何开发人员参与的情况下向自动WiFi传感迈出了一大步。
2022-12-10 cs.AI cs.HC cs.LG
Ensemble diverse hypotheses and knowledge distillation for unsupervised cross-subject adaptation
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）
识别人类的运动意图和活动对于控制可穿戴机器人在复杂环境中行走具有重要意义。然而，人机接口信号通常是用户依赖的，这导致在源主题上训练的分类器在新主题上表现不佳。针对这一问题，设计了集成多元假设和知识蒸馏（EDHKD）方法，实现无监督的跨学科自适应。EDH缓解了源主体的标记数据和目标主体的未标记数据之间的分歧，以准确地分类目标主体的运动模式，而无需标记数据。与以往基于单个学习器的领域自适应方法只能从输入信号中学习一个子集的特征相比，EDH通过引入多个不同的特征生成器来学习不同的特征，从而提高了目标数据分类的准确性，降低了分类的方差，但牺牲了效率。为了解决这个问题，EDHKD（学生）将来自EDH（教师）的知识提取到单个网络中，以保持高效和准确。在2D月球数据集和两个公开的人类运动数据集上，EDHKD的性能得到了理论证明和实验验证。实验结果表明，EDHKD优于所有其他方法。EDHKD可以在上述三个数据集上以96.9%，94.4%和97.4%的平均准确率对目标数据进行分类，计算时间较短（1 ms）。与基准（BM）方法相比，EDHKD提高了1.3%和7.1%的平均准确率分类的目标主体的运动模式。EDHKD还稳定了学习曲线。因此，EDHKD对于提高人类意图预测和人类活动识别系统的泛化能力和效率，从而改善人机交互具有重要意义。
2022-04-15 cs.AI cs.LG cs.RO
