CIG-MAE: Cross-Modal Information-Guided Masked Autoencoder for Self-Supervised WiFi Sensing
Queen Mary University of London（伦敦玛丽女王大学）；University of West London（西伦敦大学）
研究利用WiFi CSI进行人类行为识别，针对监督方法受限及现有SSL不适用于CSI的问题，提出CIG-MAE，采用对称双流架构、自适应掩码策略和正则化器，实验证明其在多方面优于现有方法，提升了数据效率等。
2026-09-22 cs.CV eess.SP
Human Action Recognition from Various Data Modalities: A Review
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Melbourne（墨尔本大学）；Lancaster University（兰卡斯特大学）；The University of Western Australia（西澳大学）；Alibaba Group（阿里巴巴集团）
人类行为识别（HAR）旨在理解人类行为并为每个行为分配标签。它有着广泛的应用，因此在计算机视觉领域受到越来越多的关注。人类动作可以使用各种数据模态来表示，例如RGB、骨架、深度、红外线、点云、事件流、音频、加速度、雷达和WiFi信号，这些数据模态对不同来源的有用但不同的信息进行编码，并且根据应用场景具有各种优势。因此，许多现有的工作都试图研究不同类型的方法，使用各种形式的HAR。在本文中，我们提出了一个全面的调查的最新进展，深度学习方法的HAR的基础上的类型的输入数据模态。具体而言，我们回顾了当前主流的深度学习方法的单一数据模式和多个数据模式，包括基于融合和基于协同学习的框架。我们还提供了HAR的几个基准数据集的比较结果，以及有见地的观察和鼓舞人心的未来研究方向。
2022-06-21 cs.CV
WiFi based Human Fall and Activity Recognition using Transformer based Encoder Decoder and Graph Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出TED Net架构，结合卷积编码器与Transformer注意力从WiFi CSI估计人体骨骼姿态，并利用有向图神经网络进行行为识别，在跌倒检测中性能优于现有方法，且与RGB系统相当，为家庭隐私保护提供了新方案。
2025-04-23 cs.CV
Simultaneous Implementation Features Extraction and Recognition Using C3D Network for WiFi-based Human Activity Recognition
China University of Mining and Technology（中国矿业大学）；Xuzhou University of Technology（徐州工程学院）
人体动作识别越来越受到人们的关注。人们已经开发了许多技术来表达人类行为的特征，如图像，基于信标的，和信道状态信息（CSI）。其中，CSI由于其易于装备、对光线要求不高等特点，在一些特殊的场景中得到了越来越多的关注。然而，CSI信号与人的行为之间的关系是非常复杂的，必须做一些初步的工作，使CSI特征易于理解的计算机。目前，许多工作将基于CSI的特征行为处理分为两个部分。一部分用于特征提取和降维，另一部分用于时间序列问题。有些人甚至忽略了两部分工作中的一部分。因此，目前的识别系统的准确性远远不能令人满意。本文提出了一种新的基于深度学习的方法，即C3D网络和具有注意力机制的C3D网络，用于使用CSI信号的人体动作识别。这种网络可以同时进行空间卷积和时间卷积的特征提取，通过这种网络可以同时实现基于CSI的人体动作识别的上述两个部分。整个算法结构得到简化。实验结果表明，我们提出的C3D网络是能够实现最佳的识别性能的所有活动相比，一些基准方法。
2019-11-21 cs.CV
Gimme Signals: Discriminative signal encoding for multimodal activity recognition
University of Koblenz-Landau（科布伦茨-兰道大学）
我们提出了一个简单的，但有效的和灵活的方法，动作识别支持多传感器模态。多变量信号序列被编码在图像中，然后使用最近提出的EfficientNet CNN架构进行分类。我们的重点是找到一种方法，可以很好地推广到不同的传感器模式，而无需特定的适应，同时仍然取得良好的效果。我们将我们的方法应用于4个动作识别数据集，其中包含骨架序列，惯性和运动捕获测量以及范围高达120个动作类的\wifi指纹。我们的方法在NTU RGB+D 120数据集上定义了当前最好的基于CNN的方法，将ARIL Wi-Fi数据集的最新技术水平提高了+6.78%，将UTD-MHAD惯性基线提高了+14.4%，将UTD-MHAD骨架基线提高了1.13%，并在模拟运动捕获数据上实现了96.11%（80/20分割）。我们进一步展示了实验，模态融合的信号水平和信号减少，以防止超载的表示。
2020-04-09 cs.CV cs.RO
Wi-CBR: Salient-aware Adaptive WiFi Sensing for Cross-domain Behavior Recognition
Wi-CBR通过显著性感知自适应WiFi传感技术，有效解决跨域行为识别中的信号干扰问题，提升模型泛化能力与特征融合效果。
2025-12-16 cs.CV eess.SP
Generalizing WiFi Gesture Recognition via Large-Model-Aware Semantic Distillation and Alignment
Institute of Advanced Technology, University of Science and Technology of China（科学技术大学先进技术研究院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；School of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程学院）
GLSDA通过大模型感知的语义蒸馏与对齐提升WiFi手势识别的泛化能力，实现领域内和跨领域任务的高性能识别。
2025-10-15 cs.CV
AirFi: Empowering WiFi-based Passive Human Gesture Recognition to Unseen Environment via Domain Generalization
Nanyang Technological University（南洋理工大学）
近年来，由信道状态信息（CSI）实现的基于WiFi的智能人体感知技术受到了极大的关注。然而，基于CSI的感测系统在部署在不同环境中时遭受性能降级。现有的工作解决了这个问题的领域自适应使用大量的未标记的高质量的数据从新的环境，这通常是在实践中无法实现的。在本文中，我们提出了一种新的增强环境不变的鲁棒WiFi手势识别系统命名为AirFi，从一个新的角度来处理环境依赖性的问题。AirFi是一种新型的领域泛化框架，它可以学习CSI的关键部分，而不管不同的环境，并将模型推广到看不见的场景，这不需要收集任何数据来适应新的环境。AirFi从多个训练环境设置中提取共同特征，并最大限度地减少它们之间的分布差异。该功能进一步增强，对环境更加鲁棒。此外，系统还可以通过少样本学习技术进一步改进。与最先进的方法相比，AirFi能够在不同的环境设置中工作，而无需从新环境中获取任何CSI数据。实验结果表明，我们的系统在新的环境中仍然是强大的，并优于比较系统。
2022-12-17 cs.CV cs.HC
Data Augmentation Techniques for Cross-Domain WiFi CSI-based Human Activity Recognition
TU Wien（维也纳技术大学）
针对WiFi CSI人类活动识别中模型泛化能力差的问题，本研究将图像数据增强技术应用于WiFi CSI，通过收集公开数据集并基于EfficientNetV2开展消融研究，发现特定增强组合可显著提升跨场景和跨系统泛化性能。
2024-01-01 cs.AI cs.CV cs.LG
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Seeing Through Fog: Towards Fog-Invariant Action Recognition
Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）；Beijing Institute for General Artificial Intelligence, Beijing, China（北京通用人工智能研究院，北京，中国）；Yangtze Delta Region Academy of Beijing Institute of Technology, Jiaxing, China（北京理工大学扬子江地区研究院，嘉兴，中国）
本文提出FogAct基准数据集和FogNet模型，旨在解决雾天环境下动作识别中的挑战，通过改进的两流CLIP模型提取雾不变的语义信息，提升在雾天条件下的动作识别性能。
2026-05-20 cs.CV
GaitFi: Robust Device-Free Human Identification via WiFi and Vision Multimodal Learning
Nanyang Technological University（南洋理工大学）；University of California, Berkeley（加州大学伯克利分校）；University of Edinburgh（爱丁堡大学）
人体步态作为身份识别的重要生物标志物，无需主体协作，通过被动传感器可以远距离采集，在预防犯罪、安全检测等身份识别应用中发挥着重要作用。目前，大多数研究工作都是基于摄像机和计算机视觉技术来进行步态识别。然而，基于视觉的方法是不可靠的，当面对恶劣的照明，导致性能下降。在本文中，我们提出了一种新的多模态步态识别方法，即GaitFi，它利用WiFi信号和视频进行人体识别。在GaitFi中，收集反映WiFi的多径传播的信道状态信息（CSI）以捕获人的步态，而视频由摄像头捕获。为了学习鲁棒的步态信息，我们提出了一个轻量级残差卷积网络（LRCN）作为骨干网络，并进一步提出了两个流GaitFi集成WiFi和视觉特征的步态检索任务。GaitFi是通过不同层次特征的三重损失和分类损失来训练的。在现实世界中进行了大量的实验，结果表明，GaitFi优于基于单个WiFi或摄像头的最先进的步态识别方法，对12个受试者的人体识别任务实现了94.2%。
2022-08-30 cs.AI cs.CV
Evaluating BiLSTM and CNN+GRU Approaches for Human Activity Recognition Using WiFi CSI Data
CIS Department, Towson University（计算机与信息科学系，托逊大学）
该研究对比BiLSTM与CNN+GRU模型在两个WiFi CSI人体活动识别数据集上的性能，发现不同模型适配不同数据集特征，验证了其在医疗、智能家居等场景的非侵入式识别应用潜力。
2025-06-11 cs.AI cs.CV cs.LG
DATTA: Domain-Adversarial Test-Time Adaptation for Cross-Domain WiFi-Based Human Activity Recognition
TU Wien（维也纳技术大学）
本文提出DATTA框架，融合域对抗训练、测试时自适应与权重重置，解决WiFi人体活动识别中的跨域泛化问题，并在实时场景下比现有方法F1-Score提升8.1%。
2024-11-20 cs.AI cs.CV cs.ET
WiFi-TCN: Temporal Convolution for Human Interaction Recognition based on WiFi signal
National Central University（台湾中央大学）
本文提出TCN-AA方法，利用时间卷积网络结合数据增强与注意力机制，在WiFi信号人体交互识别中以更低计算成本达到99.42%的准确率，优于现有方法。
2024-01-11 cs.CV cs.LG eess.SP
WiFi-based Cross-Domain Gesture Recognition Using Attention Mechanism
本文提出基于Wi-Fi信号和注意力机制的跨域手势识别方法，通过融合多角度信息和多语义注意力机制，实现高精度的域内和跨域识别性能。
2025-12-04 cs.CV eess.SP
Revealing Key Details to See Differences: A Novel Prototypical Perspective for Skeleton-based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Normal University（北京师范大学）
针对基于骨架的动作识别中相似轨迹动作难区分的问题，提出基于GCN的ProtoGCN模型，通过可学习原型分解骨架动态并对比重构以增强判别性，在多个基准数据集上达到SOTA性能。
2025-03-20 cs.CV
Zero-Shot Action Recognition from Diverse Object-Scene Compositions
University of Amsterdam（阿姆斯特丹大学）
本文研究了在没有训练视频的情况下，zero-shot动作识别的问题。对于这种具有挑战性的场景，目前的主要方法是通过使用预先训练的网络识别视频中的对象，然后在对象和动作之间进行语义匹配，从而从图像域转移知识。当对象提供视频内容的局部视图时，在这项工作中，我们还寻求包括动作发生的场景的全局视图。我们发现，场景本身也能够识别看不见的动作，虽然比对象更边缘，基于对象和基于场景的分数的直接组合降低了动作识别性能。为了充分利用物体和场景，我们建议将它们构建为所有可能组合的笛卡尔乘积。我们概述了如何确定视频中的对象场景成分的可能性，以及从对象场景成分到动作的语义匹配，该动作在每个动作的最相关成分之间实施多样性。虽然简单，但我们基于合成的方法优于基于对象的方法，甚至是最先进的zero-shot方法，这些方法依赖于具有数百个可见动作的大规模视频数据集进行训练和知识转移。
2021-10-26 cs.CV
Seeing in Flowing: Adapting CLIP for Action Recognition with Motion Prompts Learning
Tencent YouTu Lab（腾讯优图实验室）
本文提出通过双流运动建模、动态运动提示学习和多模态通信模块适配CLIP，在少样本、零样本和闭集动作识别中取得领先性能。
2023-08-09 cs.CV
GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition
Beijing University of Technology（北京工业大学）
Zero-shot动作识别通过探索样本中的共同潜在语义表示来识别在训练中不可用的不可见类的样本。然而，大多数方法忽略了动作类之间的内涵关系和外延关系，导致零样本学习泛化能力差。此外，学习后的分类器倾向于预测所见类别的样本，这导致分类性能差。为了解决上述问题，我们提出了一种用于zero-shot动作识别的两阶段深度神经网络，该网络由作为采样阶段的特征生成子网络和作为分类阶段的图注意力子网络组成。在采样阶段，我们利用一个生成对抗网络（GAN）来合成未知类的动作特征，该生成式对抗网络由已知类的动作特征和词向量训练而成，能够平衡已知类和未知类的训练样本数据。在分类阶段，基于动作类词向量与相关对象的关系构建知识图谱（KG），提出基于注意力机制的图卷积网络（GCN），动态更新动作类与对象的关系，增强零样本学习的泛化能力。在这两个阶段中，我们都使用词向量作为从可见类到不可见类的特征生成和分类器泛化的桥梁。我们将我们的方法与UCF101和HMDB51数据集上的最新方法进行了比较。实验结果表明，该方法提高了训练后分类器的分类性能，取得了较高的准确率。
2021-05-25 cs.CV
Learning Using Privileged Information for Zero-Shot Action Recognition
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）
Zero-Shot动作识别（ZSAR）旨在识别在训练过程中从未见过的视频动作。大多数现有的方法假设一个共享的语义空间之间看到的和看不见的动作，并打算直接学习从视觉空间映射到语义空间。视觉空间和语义空间之间的语义鸿沟对这种方法提出了挑战。本文提出了一种新的方法，使用对象的语义作为特权信息，以缩小语义差距，因此，有效地帮助学习。特别是，一个简单的幻觉网络提出了隐式提取对象语义在测试过程中，而不显式提取对象和交叉注意模块的开发，以增强视觉特征的对象语义。在Olympic Sports、HMDB51和UCF101数据集上的实验表明，该方法的性能明显优于现有方法。
2022-06-22 cs.CV
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下，仅通过语义嵌入将看不见的动作类与可见的动作类联系起来，来识别动作类的任务。这个问题可以看作是学习一个函数，它可以很好地推广到看不见的类的实例，而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界，这解释了它们作为监督模型的成功。然而，在零次学习中，这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中，我们提出了一种基于质心的表示，聚类视觉和语义表示，考虑所有的训练样本一次，并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类，这对我们的方法的工作至关重要。我们称之为CLASTER，并观察到它在所有标准数据集上，包括UCF 101，HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中，都始终表现出最先进的水平。此外，我们表明，我们的模型在图像域中也表现出竞争力，在许多设置中优于最先进的。
2022-07-24 cs.CV
WiFi-based Spatiotemporal Human Action Perception
Queen Mary University of London（伦敦玛丽女王大学）；Onfido Research London（Onfido伦敦研究院）
基于WiFi的感知人类活动识别（HAR）最近已成为一个热门话题，因为与基于视频的HAR相比，它带来了巨大的好处，例如消除视线（LOS）的需求和保护隐私。然而，让WiFi信号“看到”动作是相当粗糙的，因此仍处于起步阶段。提出了一种端到端时空WiFi信号神经网络（STWNN），以实现在视距和非视距场景下的仅WiFi感知。特别地，3D卷积模块能够探索WiFi信号的时空连续性，并且特征自注意模块可以显式地保持主导特征。此外，一种新的3D表示的WiFi信号的设计，以保持多尺度时空信息。此外，一个小的无线视觉数据集（WVAR）同步收集，以扩展STWNN的潜力，“看到”通过闭塞。WVAR和其他三个公共基准数据集上的定量和定性结果表明，我们的方法在准确性和移位一致性方面的有效性。
2022-06-20 cs.CV eess.SP
Seeing Beyond the Scene: Analyzing and Mitigating Background Bias in Action Recognition
Westmont High School（韦斯蒙特高中）；Princeton University（普林斯顿大学）
本文分析了动作识别中背景偏见的问题，并提出缓解策略，通过输入分割和提示调优降低背景偏见，提升模型对人类动作的识别能力。
2025-12-17 cs.AI cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们提出了一个系统，演示了事件的组成结构，与语言的组成结构相一致，可以与视频动作识别中的底层聚焦机制相互作用，从而提供了一种媒介，不仅用于自上而下和自下而上的集成，而且用于视觉和语言之间的多模态集成。我们展示了参与者（名词）扮演的角色，他们的特点（形容词），执行的动作（动词），这样的行动（副词）的方式，并改变参与者（介词）之间的空间关系的形式，整个间接的语法描述介导的，指导活动识别过程。此外，我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务：注意力的集中，视频的原始描述的生成，以及基于查询的视频搜索，简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Through-Wall Imaging based on WiFi Channel State Information
TU Wien（维也纳技术大学）
本文提出利用多模态变分自编码器将WiFi信道状态信息跨模态合成为穿墙场景下的室内图像，并通过消融与定量定性实验验证其可行性，为无摄像头的视觉监测和图像下游任务提供新途径。
2025-02-07 cs.AI cs.CV cs.LG
A Deep Learning Framework using Passive WiFi Sensing for Respiration Monitoring
National University of Sciences & Technology（国家科学与技术大学）；Kyungpook National University（庆北国立大学）
本文提出了一个端到端的深度学习框架，使用被动WiFi传感来分类和估计人体呼吸活动。无源雷达测试台使用两个通道，其中第一个通道提供参考WiFi信号，而另一个通道提供包含来自人类目标的反射的监视信号。自适应滤波通过消除直接发射信号的回波来使监视信号源数据保持不变。我们提出了一种新的卷积神经网络来分类复杂的时间序列数据，并确定它是否对应于呼吸活动，其次是一个随机森林估计，以确定呼吸率。我们收集了大量的数据集来训练学习模型，并为该领域的未来研究开发参考基准。根据结果，我们得出结论，深度学习技术与被动雷达相结合，为端到端的人类活动识别提供了巨大的潜力。
2017-04-19 cs.CV cs.LG
Seeing Through WiFi: Lightweight Human Pose Estimation with Dynamic Kernel Attention
Smart Green Transformation Center (GREEN-X), VinUniversity（智能绿色转型中心（GREEN-X），文大大学）；Trinity College Dublin（都柏林三一学院）；University of Oulu（奥卢大学）；University of Technology Sydney（悉尼科技大学）；PHENIKAA University（菲尼卡大学）；SnT, University of Luxembourg（卢森堡大学SnT）
研究利用WiFi CSI信号进行轻量级高效人体姿态估计，提出WiLHPE框架，训练借助相机模型，测试直接处理WiFi信号，采用新架构动态学习卷积内核与注意力机制，用算法优化超参数，实验表明其优于现有方法。
2026-07-07 cs.CV cs.LG
Directional Antenna Systems for Long-Range Through-Wall Human Activity Recognition
TU Wien（维也纳技术大学）
针对基于WiFi CSI的HAR缺乏硬件选项的问题，提出两种基于ESP32-S3的定向天线系统，在18米跨五房间办公环境中评估其LOS和NLOS性能，所提系统在NLOS场景下准确率达86.8±4.7至92.0±3.5，验证了远程穿墙HAR的可行性。
2024-01-01 cs.AI cs.CV cs.LG
Distances for WiFi Based Topological Indoor Mapping
L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）；University of Kassel（卡塞尔大学）
对于通过WiFi信号的室内环境的定位和映射，位置通常被表示为接收信号强度指示符的似然性。在这项工作中，我们比较各种措施之间的距离，这种可能性结合不同的方法进行估计和表示。特别是，我们表明，在考虑的距离措施的地球移动器的距离似乎是最有益的本地化任务。结合核密度估计，我们能够保留真实办公场景中房间的拓扑结构。
2018-09-19 cs.CV cs.LG stat.ML
A Wireless-Vision Dataset for Privacy Preserving Human Activity Recognition
Queen Mary University of London（伦敦玛丽女王大学）；Onfido Research（Onfido研究院）
人类活动识别（HAR）最近在辅助生活和远程监控等众多应用中受到了极大的关注。基于传感器和视觉技术的现有解决方案已经取得了成就，但仍然受到环境要求的相当大的限制。像基于WiFi的传感这样的无线信号已经成为一种新的范例，因为它方便并且不受环境的限制。在本文中，一个新的基于WiFi和视频的神经网络（WiNN），提出了提高活动识别的鲁棒性同步视频作为无线数据的补充。此外，一个无线视觉基准（WiVi）收集9类动作识别在三种不同的视觉条件下，包括场景没有遮挡，部分遮挡，和完全遮挡。机器学习方法-支持向量机（SVM）以及深度学习方法都用于数据集的准确性验证。我们的研究结果表明，WiVi数据集满足主要的需求，在所提出的管道中的所有三个分支保持超过$80\%$的多个动作分割从1秒到3秒的活动识别精度。特别是，与其他方法相比，WiNN在三个动作分割的所有动作方面是最鲁棒的方法。
2022-05-24 cs.CV eess.IV eess.SP
Robust Person Identification: A WiFi Vision-based Approach
Florida State University（佛罗里达州立大学）；Trinity University（三一大学）；Rutgers University（罗格斯大学）
人员重新识别（Re-ID）变得越来越重要，因为它支持广泛的安全应用。传统的人Re-ID主要依赖于基于光学相机的系统，由于人的外观、遮挡和人的姿势的变化，该系统产生了一些限制。在这项工作中，我们提出了一个基于WiFi的视觉系统，3D-ID，在3D空间中的人重新ID。我们的系统利用WiFi和深度学习的进步来帮助WiFi设备看到，识别和识别人。特别是，我们利用下一代WiFi设备上的多个天线和信号反射的2D AoA估计，使WiFi能够在物理环境中可视化一个人。然后，我们利用深度学习将人的可视化转化为3D身体表示，并为人的Re-ID提取静态体形和动态行走模式。我们在各种室内环境下的评估结果表明，3D-ID系统达到了85.3%的整体rank-1准确率。结果还表明，我们的系统是抵抗各种攻击。因此，所提出的3D-ID非常有前途，因为它可以增强或补充基于相机的系统。
2022-09-30 cs.CR cs.CV cs.HC
When Healthcare Meets Off-the-Shelf WiFi: A Non-Wearable and Low-Costs Approach for In-Home Monitoring
Beijing University of Posts and Telecommunications（北京邮电大学）
随着老年人口的增长，社会和医疗保健开始面临验证挑战，家庭监测正在成为该领域专业人员的重点。政府迫切需要以更低的成本提高医疗服务质量，同时确保老年人的舒适和独立。这项工作提出了一种基于现成WiFi的家庭监测方法，该方法成本低，不可穿戴，并为护理人员提供全面的日常医疗保健信息。所提出的方法可以捕获细粒度的人体姿势的数字，即使通过墙壁和跟踪详细的呼吸状态，同时通过现成的WiFi设备。基于它们，行为数据、生理数据和导出的信息（例如，异常事件和基础疾病），老人的照顾者可以直接看到。设计了一系列的信号处理方法和神经网络，从WiFi信道状态信息中捕获人体姿态图和提取呼吸状态曲线。进行了大量的实验，根据结果，现成的WiFi设备能够捕获细粒度的人体姿势图，类似于相机，甚至通过墙壁和跟踪准确的呼吸状态，从而证明了我们的方法用于家庭监测的有效性和可行性。
2020-09-21 cs.CV cs.LG eess.SP
SEE: Towards Semi-Supervised End-to-End Scene Text Recognition
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳学院）
在自然场景图像中检测和识别文本是一个具有挑战性的，但尚未完全解决的任务。近年来，已经提出了几个新的系统，试图解决至少两个子任务（文本检测和文本识别）之一。在本文中，我们提出了SEE，半监督神经网络的场景文本检测和识别，可以优化端到端的一步。大多数现有的作品包括多个深度神经网络和几个预处理步骤。与此相反，我们建议使用单个深度神经网络，它以半监督的方式学习从自然图像中检测和识别文本。SEE是一个网络，它集成并联合学习空间Transformer网络和文本识别网络，空间transformer网络可以学习检测图像中的文本区域，文本识别网络可以识别识别的文本区域并识别其文本内容。我们介绍了我们的新方法背后的想法，并通过在标准基准数据集上进行一系列实验来展示其可行性，在这些实验中，我们获得了有竞争力的结果。
2017-12-14 cs.CV
Out-of-Distribution Detection for Generalized Zero-Shot Action Recognition
Indian Institute of Science（印度科学学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mercedes-Benz R&D India（梅赛德斯-奔驰印度研发中心）
广义zero-shot动作识别是一个具有挑战性的问题，其中的任务是识别新的动作类别，在训练阶段是不可用的，除了看到的动作类别。现有的方法遭受的固有偏见的学习分类对看到的动作类别。结果，未看见的类别样本被错误地分类为属于所看见的动作类别之一。在本文中，我们着手解决这个问题，主张在广义zero-shot动作识别中对可见和不可见动作类别进行单独处理。我们引入了一个出的分布检测器，确定是否属于一个看到或看不到的动作类别的视频功能。为了训练我们的分布外检测器，使用在看到的动作类别特征上训练的生成对抗网络来合成看不见的动作类别的视频特征。据我们所知，我们是第一个提出了一个基于分布检测器的GREML框架，用于视频中的动作识别。在三个动作识别数据集上进行了实验：Olympic Sports，HMDB 51和UCF 101。对于广义zero-shot动作识别，我们提出的方法优于基线（f-CLSWGAN），在这些数据集上的绝对增益（分类精度）分别为7.0%，3.4%和4.9%。
2019-05-06 cs.CV
Hide and Seek: How Does Watermarking Impact Face Recognition?
Michigan State University（密歇根州立大学）
本文研究了数字水印对人脸识别模型有效性的影响，提出集生成、水印与识别的综合流水线，发现水印虽能实现稳健图像归属，但会导致识别准确率轻微下降，揭示了二者间的权衡。
2024-04-29 cs.CV
Stroke-Based Cursive Character Recognition
Universal Robot Co. Ltd.（环球机器人有限公司）
人眼可以看到和阅读以自然手写或印刷格式书写或显示的内容。同样的工作，如果机器做的是所谓的手写识别。手写识别可以分为两类：离线和在线。...
2013-04-01 cs.CV
LookWhere? Efficient Visual Recognition by Learning Where to Look and What to See from Self-Supervision
Carleton University（卡尔顿大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
LookWhere通过自监督学习高效视觉识别，同时学习计算位置和内容，提升高分辨率输入的识别性能并减少计算成本。
2026-02-05 cs.CV
Unsupervised Domain Adaptation for RF-based Gesture Recognition
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）
针对基于射频信号的手势识别模型在跨条件实际部署时性能下降的问题，提出一种无监督域适应框架，结合伪标签、一致性正则化、置信度约束损失与交叉匹配损失，有效利用未标记数据，在公共WiFi和毫米波雷达数据集上分别提升4.35%和2.25%的准确率。
2024-11-16 cs.CV cs.HC
Identity masking effectiveness and gesture recognition: Effects of eye enhancement in seeing through the mask
University of Arkansas（阿肯色大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来开发的人脸身份掩蔽算法旨在保护视频记录中的人的隐私。这些算法旨在干扰识别，同时保留有关面部动作的信息。一个重要的挑战是保持眼睛区域的微妙动作，同时模糊眼睛的显着身份线索。我们评估了基于Canny滤波器的身份掩蔽算法的有效性，应用和不应用眼睛增强，干扰识别和保存面部动作。在实验1和2中，我们测试了人类参与者将低分辨率视频中的驾驶员面部身份与高分辨率面部图像相匹配的能力。结果表明，这两种掩蔽方法损害识别，眼睛增强并没有改变的有效性的坎尼过滤器面具。在实验3中，我们测试了动作保存，发现这两种方法都没有显着干扰驾驶员动作感知。我们的结论是，相对简单的、基于过滤器的掩蔽算法适合应用于低质量视频，可以用于隐私保护，而不会损害动作感知。
2023-01-20 cs.CV
Can NeRFs See without Cameras?
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
本文提出通过重新设计NeRF来利用多路径信号推断环境，应用于从稀疏Wi-Fi测量中推断室内平面图。
2026-02-07 cs.AI cs.CV
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London（帝国理工学院）；University of Groningen（格罗宁根大学）
Local-HDP（Local Hierarchical Dirichlet Process）是一种分层贝叶斯方法，最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而，该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先，我们提出了一种新的语义3D对象部分分割方法，具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下，3D对象或对象部分的数量是不固定的，可以随着时间的推移而增长。我们表明，所提出的方法具有较高的百分比，平均交叉工会，使用较少的学习实例。其次，我们将这种技术与最近推出的基于论证的在线增量学习方法相结合，从而使模型能够处理高度的遮挡。我们表明，由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV
When Gender is Hard to See: Multi-Attribute Support for Long-Range Recognition
University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）；University of Luanda（罗安达大学）
本文提出双路径Transformer框架，利用CLIP联合建模视觉和属性驱动线索，实现远距离性别识别，通过多属性支持提升识别鲁棒性。
2025-12-06 cs.AI cs.CV
See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition
Hefei University of Technology（合肥工业大学）；PLA Information Engineering University（中国人民解放军信息工程大学）；University of Science and Technology of China（中国科学技术大学）；MBZUAI
研究将脑电图可解释性重构为跨模态生成任务，提出面部表情符号代理建模框架，把高维脑电图信号转化为面部表情符号，在相关基准测试中取得先进准确率，能生成忠实面部动画展现大脑情感演变。
2026-07-07 cs.CV cs.HC cs.MM
Learning to See by Moving
UC Berkeley（加州大学伯克利分校）
计算机视觉中的特征学习的主要范例依赖于使用数百万个手动标记的图像来训练用于对象识别任务的神经网络。是否有可能使用任何其他形式的监督来学习各种视觉任务的有用功能？在生物学中，生物体为了在世界中运动和行动而发展了视觉感知能力。从这一观察中得到灵感，在这项工作中，我们调查自我运动的意识是否可以用作特征学习的监督信号。相对于类标签的知识，关于自我运动的信息是免费提供给移动代理。我们发现，给定相同数量的训练图像，使用自运动作为监督学习的功能比较有利的功能学习使用类标签作为监督视觉任务的场景识别，对象识别，视觉里程计和关键点匹配。
2015-09-14 cs.CV cs.NE cs.RO
Hear Me, See Me, Understand Me: Audio-Visual Autism Behavior Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；School of Behavioral and Brain Sciences, The University of Texas at Dallas（德克萨斯大学达拉斯分校行为与脑科学学院）；Brown University（布朗大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出视听自闭症行为识别新问题，构建了最大视频数据集AV-ASD，并通过整合音视语多模态与基础模型显著提升识别性能，同时探索了多模态大语言模型的解释能力。
2024-03-22 cs.AI cs.CL cs.CV
