CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting
University of California, Berkeley（加州大学伯克利分校）
CountFormer通过使用DINOv2和位置嵌入，改进了无示例物体计数中的结构一致性，实现了在FSC-147上的竞争力表现。
2026-03-09 cs.AI cs.CV
Full Resolution Repetition Counting
Harbin Institute of Technology（哈尔滨工业大学）
本文提出结合离线特征提取与时间卷积网络的全时间分辨率方法，解决视频重复动作计数中下采样导致样本丢失的问题，在三个公开数据集上取得更好或可比性能。
2023-05-24 cs.CV
HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
HOLD提出首个类别无关的单目视频手-物体联合3D重建方法，通过组合式铰接隐式模型和手-物体约束，在无3D标注条件下超越全监督基线。
2023-11-30 cs.CV
Learning to Count Anything: Reference-less Class-agnostic Counting with Weak Supervision
University of Oxford（牛津大学）
目前的类不可知计数方法可以推广到看不见的类，但通常需要参考图像来定义要计数的对象类型，以及训练期间的实例注释。无参考类不可知计数是一个新兴的领域，其核心是将计数识别为重复识别任务。这样的方法便于对变化的集合组成进行计数。我们表明，一个一般的特征空间与全球范围内可以枚举实例在图像中没有一个事先的对象类型存在。具体来说，我们证明了回归视觉Transformer功能没有点级监督或参考图像优于其他参考少的方法，并与使用参考图像的方法具有竞争力。我们在当前标准的Few-Shot计数数据集FSC-147上显示了这一点。我们还提出了一个改进的数据集，FSC-133，从FSC-147中删除错误，模糊性和重复图像，并在其上表现出类似的性能。据我们所知，我们是第一个弱监督的无参考类不可知计数方法。
2022-09-05 cs.CV
A model-agnostic active learning approach for animal detection from camera traps
Machine Intelligence Lab, School of Information Technology, Deakin University（机器智能实验室，信息科技学院，德堪大学）
针对相机陷阱数据标注成本高的问题，提出一种模型无关的主动学习方法，融合目标级和图像级的不确定性与多样性进行样本选择，仅用30%训练数据即可达到与全量数据相当或更优的动物检测性能。
2025-07-09 cs.CV
AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild
The University of New South Wales（新南威尔士大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
提出AnyMo框架，通过物理模拟生成多样化IMU信号、图编码器预训练和LLM对齐，实现跨设备/数据集的零样本活动识别、跨模态检索和运动描述，性能显著提升。
2026-05-23 cs.AI cs.CL cs.CV
Viewpoint-Invariant Exercise Repetition Counting
City University of Hong Kong（香港城市大学）；Hospital Authority（医院管理局）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
计算人体运动和身体康复的重复次数是康复和运动训练中的一项共同任务。现有的基于视觉的重复计数方法较少强调同一视频中的并发运动。本文提出了一种基于视觉的人体运动重复计数方法，通过从各种姿态估计方法中提取的骨架位置来计算并发运动。该方法在爱达荷大学物理康复运动数据集（UI-PRMD）和MM-fit数据集上进行了验证。mm拟合的总体平均绝对误差（MAE）为0.06，离一精度（OBOA）为0.94。UI-PRMD数据集的总体MAE为0.06，OBOA为0.95。我们还测试了各种摄像机位置和并发运动的性能，并方便地收集了整体MAE 0.06和OBOA 0.88的视频。所提出的方法提供了一个视角和运动无关的并发运动计数。该方法可用于大规模远程康复和运动训练，只需一台摄像机。
2021-07-29 cs.CV cs.HC
The Many Faces of Anger: A Multicultural Video Dataset of Negative Emotions in the Wild (MFA-Wild)
School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学学院）
对愤怒等负面情绪的描述在不同的文化和背景下可能会有很大的不同，这取决于表达全面情绪而不是压抑以保持和谐的可接受性。大多数情绪数据集都是在“愤怒”这个宽泛的标签下收集数据的，但社交信号的范围可以从恼怒、轻蔑、愤怒、愤怒、仇恨等等。在这项工作中，我们策划了第一个关于情绪的野外多元文化视频数据集，并通过要求文化流畅的注释者在多标签框架中用6个标签和13个表情符号标记视频，深入探索了与愤怒相关的情感表达。我们在数据集上提供了一个基线多标签分类器，并展示了如何将表情符号有效地用作与语言无关的注释工具。
2021-12-10 cs.CV cs.LG
GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting
RPTU（鲁尔大学图灵学院）；DFKI-AV Kaiserslautern（德累斯顿-费尔德基辛人工智能研究所）；UPM Saudi Arabia（西班牙国际大学沙特分校）；NUST-SEECS Pakistan（奈瓦扎巴德大学信息与电子科学学院）
GHOST通过高斯散射技术实现快速且无类别的手-物体交互重建，解决了现有方法在物理一致性上的不足，实验表明其在3D重建和2D渲染质量上达到领先水平。
2026-03-19 cs.CV
Online Action Representation using Change Detection and Symbolic Programming
Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文提出结合变化检测、分段线性拟合与符号运动程序的在线动作表示方法，并通过基元相似性匹配实现在线重复计数，性能优于或持平离线方法。
2024-05-19 cs.CV
Enhancing 3D Gaze Estimation in the Wild using Weak Supervision with Gaze Following Labels
IDIAP（IDIAP研究所）；EPFL（洛桑联邦理工学院）
提出自训练弱监督框架ST-WSGE和模态无关的视线变换器GaT，利用二维视线跟随标签生成三维伪标签，显著提升无约束环境下三维视线估计的域内与跨域泛化性能。
2025-02-27 cs.CV
Learning Character-Agnostic Motion for Motion Retargeting in 2D
Tel-Aviv University（特拉维夫大学）；AICFVE Beijing Film Academy（北京电影学院AICFVE）；Peking University（北京大学）；Shandong University（山东大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
分析人体运动是一项具有挑战性的任务，在计算机视觉和图形学中有着广泛的应用。在计算机动画中特别重要的一个这样的应用是将运动从一个表演者重定向到另一个表演者。虽然人类在三维中移动，但绝大多数人类运动是使用视频捕获的，在可以应用现有的重定向方法之前，需要2D到3D姿态和相机恢复。在本文中，我们提出了一种新的方法，用于重定向不同的人类表演者之间的视频捕获的运动，而不需要显式地重建3D姿态和/或相机参数。为了实现我们的目标，我们学习提取，直接从视频，一个高层次的潜在运动表示，这是不变的骨架几何形状和相机视图。我们的核心思想是训练一个深度神经网络，将二维姿态的时间序列分解为三个分量：运动、骨架和相机视角。在提取了这样的表示之后，我们能够将运动与新的骨架和相机视图重新组合，并解码重定向的时间序列，我们将其与合成数据集的地面实况进行比较。我们证明了我们的框架可以用于从视频中鲁棒地提取人体运动，绕过3D重建，并且在应用于野外视频时优于现有的重定向方法。它还支持其他应用程序，如性能克隆、视频驱动的卡通和运动检索。
2019-05-05 cs.CV
Class-Agnostic Counting
University of Oxford（牛津大学）
几乎所有现有的计数方法都是为特定的对象类设计的。然而，我们的工作旨在创建一个计数模型，能够计算任何类别的对象。为了实现这一目标，我们制定计数作为一个匹配问题，使我们能够利用图像的自相似性属性，自然存在于对象计数问题。我们做了以下三个贡献：第一，一个通用匹配网络（GMN）架构，可以计算任何对象在一个类不可知的方式;第二，通过重新制定的计数问题匹配对象之一，我们可以利用丰富的视频数据标记为跟踪，其中包含自然重复适合训练计数模型。这些数据使我们能够训练GMN。第三，为了根据不同的用户需求定制GMN，使用适配器模块以最小的努力来专门化模型，即使用一些标记的示例，并且仅适配一小部分训练参数。这是少样本学习的一种形式，对于由于需要专业知识而标签有限的领域（例如微生物学）来说是实用的。我们展示了我们的方法的灵活性，在一组不同的现有计数基准：特别是细胞，汽车和人群。该模型在细胞和人群计数数据集上实现了具有竞争力的性能，并且仅使用三个训练图像就超越了汽车数据集的最新技术。当在整个数据集上训练时，所提出的方法比以前的所有方法都要好得多。
2018-11-01 cs.CV cs.LG
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation
Technical University of Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）
VidBot利用野外人类视频学习3D可供性，通过从粗到细的模型生成交互轨迹，实现零样本机器人操作，在13个任务中显著优于现有方法。
2025-03-27 cs.CV cs.RO
Towards Stable Test-Time Adaptation in Dynamic Wild World
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）；National University of Singapore（新加坡国立大学）；Pazhou Laboratory（琶洲实验室）
测试时自适应（TTA）通过在测试样本上自适应给定的模型，可以有效地解决训练数据和测试数据之间的分布偏移。然而，TTA的在线模型更新可能是不稳定的，这通常是阻止现有TTA方法在现实世界中部署的关键障碍。具体而言，当测试数据具有：1）混合分布偏移，2）小批量，3）在线不平衡的标签分布偏移时，TTA可能无法改善甚至损害模型性能，这在实践中是相当常见的。本文研究了TTA不稳定的原因，发现批量范数层是阻碍TTA稳定性的关键因素。相反地，TTA可以使用与批次无关的范数层、\ie、组或层范数来更稳定地执行。然而，我们观察到，TTA与组和层规范并不总是成功的，仍然遭受许多失败的情况。通过深入研究失效案例，我们发现某些具有较大梯度的噪声测试样本可能会干扰模型自适应，并导致平凡解\ie的崩溃，从而为所有样本分配相同的类标签。为了解决上述崩溃问题，我们提出了一种清晰度感知和可靠的熵最小化方法，称为SAR，用于从两个方面进一步稳定TTA：1）去除具有大梯度的部分噪声样本，2）鼓励模型权重达到平坦的最小值，以便模型对剩余的噪声样本具有鲁棒性。有希望的结果表明，SAR比以前的方法执行更稳定，并在上述野生测试场景下的计算效率。
2023-02-24 cs.CV cs.LG
Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos
Stanford University（斯坦福大学）
我们的目标是实现能够在许多环境中完成各种任务的多面手机器人。关键是机器人获得任务成功或奖励的能力，这对于强化学习、规划或知道何时寻求帮助是必要的。对于在现实世界中运行的通用机器人，该奖励函数还必须能够广泛地推广到环境、任务和对象，同时仅依赖于机载传感器的观察结果（例如RGB图像）。虽然在大型和多样化的数据集上进行深度学习已经显示出了在计算机视觉和自然语言中实现这种泛化的前景，但大规模收集高质量的机器人交互数据集仍然是一个开放的挑战。相比之下，人类的“野外”视频（例如YouTube）包含了大量在各种环境中做有趣任务的人。在这项工作中，我们提出了一种简单的方法，域不可知的视频判别器（DVD），通过训练一个判别器来分类两个视频是否正在执行相同的任务，从而学习多任务奖励函数，并且可以通过从少量的机器人数据中学习广泛的人类视频数据集来进行推广。我们发现，通过利用不同的人类数据集，该奖励函数（a）可以将zero shot推广到看不见的环境，（b）将zero shot推广到看不见的任务，（c）可以与视觉模型预测控制相结合，从单个人类演示中解决真实WidowX200机器人在看不见的环境中的机器人操作任务。
2021-03-31 cs.AI cs.CV cs.LG
GCNet: Probing Self-Similarity Learning for Generalized Counting Network
Zhejiang Sci-Tech University（浙江理工大学）；Lanzhou University（兰州大学）；Dalian Maritime University（大连海事大学）；University of Guelph（圭尔夫大学）
类不可知计数（CAC）问题由于其广泛的社会应用和艰巨的挑战，近年来受到越来越多的关注。为了统计不同类别的对象，现有的方法依赖于用户提供的样本，这是很难获得的，并限制了它们的通用性。在本文中，我们的目标是授权框架识别整个图像中的自适应样本。提出了一种zero-shot广义计数网络（GCNet），该网络采用伪连体结构，能够有效地从固有的重复模式中自动学习伪样本线索。此外，提出了一种弱监督方案，以减少所有当代CAC模型所需的费力密度图的负担，允许GCNet以端到端的方式使用计数级监督信号进行训练。在不提供任何空间位置提示的情况下，GCNet能够通过精心设计的自相似性学习策略自适应地捕获它们。广泛的实验和消融研究的流行基准FSC 147 zero-shot CAC证明了我们的GCNet的优越性。它的性能与现有的样本依赖方法相当，并在特定人群的数据集上显示出惊人的跨数据集通用性，例如，上海理工大学A部分、B部分和UCF_QNRF。
2023-02-10 cs.CV
Weakly-supervised Action Localization with Background Modeling
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）
我们描述了一种潜在的方法，该方法可以学习在只有整个视频类标签的训练视频中检测长序列中的动作。我们的方法利用两个创新的注意力建模弱监督学习。首先，最值得注意的是，我们的框架使用注意力模型来提取前景和背景帧，其外观是显式建模的。大多数之前的作品都会忽略背景，但我们表明，对背景进行建模可以让我们的系统学习更丰富的动作概念及其时间范围。其次，我们结合自下而上，类不可知的注意模块与自上而下，类特定的激活地图，使用后者作为形式的自我监督的前。这样做可以让我们的模型在没有显式时间监督的情况下学习更准确的注意力模型。这些修改导致在THUMOS 14上的现有系统上AP@IoU=0.5改进10%。我们提出的弱监督系统比最近的最先进的系统至少高出4.3%AP@IoU =0.5。最后，我们证明了弱监督学习可以用来积极地将学习扩展到野外，未经策划的Instagram视频。这些视频的加入显著提高了我们弱监督模型的定位性能
2019-08-19 cs.CV
Localization-Aware Multi-Scale Representation Learning for Repetitive Action Counting
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）
针对重复动作计数中帧间相似度表示易受噪声干扰的问题，提出定位感知多尺度表示学习框架，通过多尺度周期感知表示与重复前景定位联合优化增强特征鲁棒性，在两个基准数据集上有效提升了计数精度。
2025-01-13 cs.CV
