Estimating Gradual-Emotional Behavior in One-Minute Videos with ESNs
Jacobs University Bremen（不来梅雅各布大学）
在本文中，我们描述了OMG-情感挑战2018的方法。我们的目标是为大约1分钟长的视频产生话语水平的效价和唤醒估计。我们通过首先提取视频的面部表情特征作为时间序列数据来解决这个问题，然后使用回声状态网络类型的递归神经网络来建模时间序列数据和效价唤醒值之间的对应关系。实验表明，我们提出的方法超越了组织者提供的基线方法。
2018-05-02 cs.CV
Understanding Human Hands in Contact at Internet Scale
University of Michigan（密歇根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
手是人类操纵世界的核心手段，能够从互联网视频中可靠地提取手的状态信息，有可能为系统从PB级视频数据中学习铺平道路。本文提出的步骤，通过推断一个丰富的表示参与互动的方法，包括：手的位置，侧，接触状态，和一个框周围的对象接触的手。为了支持这一努力，我们收集了一个大规模的手与物体接触的数据集，包括131天的镜头以及100K带注释的手接触视频帧数据集。该数据集上的学习模型可以作为视频中手部接触理解的基础。我们定量地评估它本身和服务的预测和学习从3D网格的人手。
2020-06-11 cs.CV
Stereo4D: Learning How Things Move in 3D from Internet Stereo Videos
Google DeepMind（谷歌DeepMind）；University of Michigan（密歇根大学）；New York University（纽约大学）
提出Stereo4D系统，从互联网立体视频中挖掘高质量4D重建，生成大规模世界一致性3D点云数据，训练DUSt3R变体实现真实图像对的3D结构与运动预测。
2025-04-30 cs.CV
Multi-tensor Completion for Estimating Missing Values in Video Data
Harbin Engineering University（哈尔滨工程大学）；RIKEN Brain Science Institute（理化学研究所脑科学综合研究中心）
许多基于张量的数据补齐方法旨在解决图像和视频修补问题。但是，所有方法都只针对单个数据集开发。在大多数实际应用中，我们通常可以获得多个数据集来反映一种现象，并且所有数据集在某种意义上是相互关联的。因此，一个问题提出了这样的关系是否可以提高数据完成的性能或没有？本文提出了一种利用数据集之间的关系进行多视频数据补全的新方法。数值实验结果表明，该方法显著提高了视频修复的性能，尤其是在缺失率很高的情况下。
2014-09-01 cs.CV
OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data
Renmin University of China（中国人民大学）；AMAP, Alibaba Group（AMAP，阿里巴巴集团）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；Malou Tech Inc（Malou科技公司）
提出CIPE-Dance大规模舞蹈视频数据集和OmniDance框架，通过深度感知架构、课程学习和条件引导策略，实现文本、音乐及多模态驱动的舞蹈视频生成，达到最优性能。
2026-06-29 cs.CV
Stereo4DWalker: Learning 4D-aware Embodied Urban Navigation from Internet Stereo Videos
University of Virginia（弗吉尼亚大学）
本文提出StereoWalker，通过引入立体视觉和中等层次视觉模块，提升动态城市导航性能，仅用1.5%数据即可达到先进水平。
2026-09-15 cs.CV
Dynamic Camera Poses and Where to Find Them
NVIDIA；University of Michigan（密歇根大学）；New York University（纽约大学）
本文提出DynPose-100K，一个大规模动态互联网视频相机姿态标注数据集，通过结合任务特定与通用模型过滤及点跟踪、动态掩蔽和运动恢复结构技术，实现优于现有方法的姿态估计，推动下游应用发展。
2025-04-24 cs.CV
Gravity as a Reference for Estimating a Person's Height from Video
EPFL（洛桑联邦理工学院）；UBC（不列颠哥伦比亚大学）
在没有附加假设的情况下从单目图像估计人的度量身高是不适定的。现有的解决方案要么需要手动校准地平面和摄像机几何形状、特殊摄像机，要么需要已知尺寸的参考对象。我们专注于运动线索，并利用地球上的重力作为一个无所不在的参考“对象”来转换加速度，随后高度，测量图像像素的值在米。我们需要运动的视频作为输入，重力是唯一的外力。这种限制与恢复人的身高的现有解决方案不同，因此，我们的方法开辟了新的应用领域。我们从理论上和经验上表明，一个简单的运动轨迹分析足以从像素测量转换到人的度量高度，达到高达3.9厘米的跳跃运动的MAE，这没有相机和地平面校准的工作。
2019-10-16 cs.CV
Learning to Imitate Object Interactions from Internet Videos
University of California, Berkeley（加州大学伯克利分校）
我们研究了从互联网视频中模仿对象交互的问题。这需要理解4D中的手-对象交互、3D中的空间交互以及随着时间的推移的手-对象交互，这由于手-对象相互遮挡而具有挑战性。在本文中，我们做了两个主要的贡献：（1）一种新的重建技术RHOV（从视频重建手和对象），它重建4D的手和对象的轨迹使用2D图像线索和时间平滑约束;（2）一个系统，用于模仿对象的相互作用，在物理模拟器与强化学习。我们将我们的重建技术应用于100个具有挑战性的互联网视频。我们进一步表明，我们可以成功地模仿一系列不同的对象在物理模拟器的相互作用。我们的以对象为中心的方法不限于类似人类的末端执行器，并且可以学习使用不同的实施例来模仿对象交互，如具有平行钳口夹持器的机器人臂。
2022-11-23 cs.CV cs.LG cs.RO
ConViS-Bench: Estimating Video Similarity Through Semantic Concepts
University of Trento（特伦托大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文提出基于语义概念的视频相似度估计任务 ConViS 及其基准 ConViS-Bench，通过概念级可解释分数比较视频对，并评估多个先进模型，揭示其与人类判断的差异。
2025-09-23 cs.CV
Learning Temporal Embeddings for Complex Video Analysis
Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了学习时间嵌入的视频帧复杂的视频分析。大量未标记的视频数据可以很容易地从互联网上获得。这些视频具有隐含的弱标签，它们是时间和语义上连贯的图像序列。我们利用这些信息，通过将帧与它们出现的时间上下文相关联来学习视频帧的时间嵌入。要做到这一点，我们提出了一个方案，将时间上下文的基础上，在视频中的过去和未来的帧，并比较这与其他上下文表示。此外，我们还展示了如何使用多分辨率样本和硬底片进行数据增强，以显著提高学习嵌入的质量。我们评估各种设计决策学习时间嵌入，并表明，我们的嵌入可以提高性能的多个视频任务，如检索，分类和时间顺序恢复在不受约束的互联网视频。
2015-05-02 cs.CV
Learning Video Representations from Textual Web Supervision
University of Michigan（密歇根大学）；Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
互联网上的视频与文本片段配对，例如标题和描述。此文本通常描述视频中最重要的内容，例如场景中的对象和正在执行的动作。基于这一观察，我们建议使用文本作为学习视频表示的方法。为了实现这一点，我们提出了一个数据汇集过程，并使用它来收集70 M的视频剪辑在互联网上公开共享，然后我们训练一个模型来配对每个视频与其相关的文本。我们评估了几个下游动作识别任务，包括动力学，HMDB-51和UCF-101的模型。我们发现这种方法是一种有效的预训练视频表示的方法。具体来说，它优于所有现有的自监督和跨模态视频表示学习方法。
2021-08-27 cs.CV
Estimating more camera poses for ego-centric videos is essential for VQ3D
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
视觉查询3D定位（VQ3D）是Ego4D情景记忆基准测试中的一项任务。给定一个以自我为中心的视频，目标是回答形式为“我最后一次看到物体X是在哪里？“，其中查询对象X被指定为静态图像，并且答案应该是指向对象X的3D位移向量。然而，目前的技术使用朴素的方法来估计视频帧的相机姿态，导致低的查询与姿态（QwP）比，因此整体成功率差。在我们的工作中，我们设计了一个新的管道具有挑战性的自我中心的摄像机姿态估计问题。此外，我们重新审视了当前的VQ3D框架，并在性能和效率方面进行了优化。因此，我们在VQ3D排行榜上获得了25.8%的前1名整体成功率，比基线报告的8.7%高出两倍。
2022-11-18 cs.CV
VideoDex: Learning Dexterity from Internet Videos
Carnegie Mellon University（卡内基梅隆大学）
为了构建可以在许多环境中操作的通用机器人代理，机器人通常必须在现实世界中收集经验。然而，由于安全、时间和硬件限制，这通常是不可行的。因此，我们建议利用下一个最好的东西作为现实世界的经验：人类使用他们的手的互联网视频。视觉先验，如视觉特征，通常是从视频中学习的，但我们相信，更多的视频信息可以被用作更强的先验。我们构建了一个学习算法VideoDex，它利用来自人类视频数据集的视觉、动作和物理先验来指导机器人行为。神经网络中的这些动作和物理先验决定了特定机器人任务的典型人类行为。我们在机器人手臂和灵巧手系统上测试了我们的方法，并在各种操作任务上显示出强大的结果，优于各种最先进的方法。视频https://video-dex.github.io
2022-12-08 cs.AI cs.CV cs.LG
Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video
Zhejiang University, State Key Lab of CAD \& CG；Nanyang Technological University；Independent Researcher；Zhejiang University of Technology
SAGE通过互联网视频弱监督实现几何基础模型的可扩展适应，提升零样本泛化能力。
2026-10-19 cs.AI cs.CV
Estimating 3D Motion and Forces of Person-Object Interactions from Monocular Video
DI ENS PSL（巴黎高等师范学院PSL计算机系）；Inria（法国国家信息与自动化研究所）；CIIRC, CTU in Prague（捷克技术大学布拉格人工智能中心）；LAAS-CNRS（法国国家科学研究中心系统分析与体系结构实验室）
在本文中，我们介绍了一种方法来自动重建一个人与一个物体从一个单一的RGB视频的3D运动。我们的方法估计的3D姿态的人和物体，接触位置，和力和力矩致动的人的四肢。这项工作的主要贡献有三个方面。首先，我们介绍了一种方法来共同估计的运动和驱动力的人对被操纵的对象建模接触和他们的相互作用的动态。这是一个大规模的轨迹优化问题。其次，我们开发了一种方法，可以从输入视频中自动识别人与物体或地面之间接触的位置和时间，从而大大简化了优化的复杂性。第三，我们在最近的MoCap数据集上验证了我们的方法，并在一个新的互联网视频数据集上展示了它的性能，这些视频显示人们在不受约束的环境中操纵各种工具。
2019-06-17 cs.CV
Should I take a walk? Estimating Energy Expenditure from Video Data
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们探讨的问题，自动推断量的千卡使用人类在体力活动期间，从他/她的视频观察。为了研究这个研究不足的任务，我们引入了Vid 2Burn-一个全源基准，用于从视频数据中估计热量消耗，其中包括高强度和低强度活动，我们根据医学文献中建立的模型推导出能量消耗注释。在实践中，训练集将仅覆盖一定量的活动类型，并且重要的是验证模型是否确实捕获了能量消耗的本质（例如，涉及多少肌肉和哪些肌肉以及它们工作的强度），而不是记忆在训练期间看到的特定活动类别的固定值。理想情况下，模型应该超越这种特定类别的偏见，并回归视频中的卡路里成本，这些视频描述了训练过程中没有明确存在的活动类别。考虑到这一特性，Vid 2Burn附带了一个跨类别的基准，其中的任务是回归训练期间不存在的身体活动类型的热量消耗。一个广泛的评估国家的最先进的方法为视频识别修改的能量消耗估计任务证明了这个问题的难度，特别是在测试时的新的活动类型，标志着一个新的研究方向。数据集和代码可在https://github.com/KPeng9510/Vid2Burn上获得。
2022-04-08 cs.CV
RoboTok: A Scalable Data Engine for Internet Demonstration Video Retrieval and Dexterous Manipulation Learning
Rice University（莱斯大学）；NVIDIA（英伟达）
RoboTok是用于人类演示检索与灵巧操作学习的互联网规模数据引擎，通过学习3D手部轨迹的潜在运动空间，从网络视频检索相关演示，提升了机器人策略的下游任务成功率。
2026-09-29 cs.CV cs.RO
Extreme Rotation Estimation in the Wild
Tel Aviv University（特拉维夫大学）；Cornell University（康奈尔大学）
提出基于Transformer的方法和ExtremeLandmarkPairs数据集，用于估计野外极端视角互联网图像对的相对三维旋转，优于现有基线。
2025-02-25 cs.CV
Walk through Paintings: Egocentric World Models from Internet Priors
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Research Institute（丰田研究机构）
EgoWM通过利用互联网先验和轻量级条件层，将预训练视频扩散模型转换为自我中心世界模型，实现可控的未来预测，提升结构一致性评分并降低推理延迟。
2026-07-30 cs.CV
Spatiotemporal CNNs for Pornography Detection in Videos
UFSCar - Federal University of Sao Carlos（圣卡洛斯联邦大学）；IFSP - Federal Institute of Education of Sao Paulo（圣保罗联邦教育学院）；UNESP - Sao Paulo State University（圣保罗州立大学）
随着越来越多地使用社交网络和移动设备，发布在互联网上的视频数量呈指数级增长。在互联网上发布的不适当内容中，色情是最令人担忧的内容之一，因为青少年和儿童可以访问。在本研究中，评估了两种时空CNN，VGG-C3 D CNN和ResNet R（2+1）D CNN，用于视频中的色情检测。使用Pornography-800数据集的实验结果表明，这些时空CNN的性能优于一些基于视觉词袋的最先进方法，并且与其他基于CNN的方法相比具有竞争力，准确率达到95.1%。
2018-10-24 cs.CV
Video Summarization using Deep Semantic Features
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Oulu（奥卢大学）
本文提出了一种视频摘要技术，为互联网视频提供了一种快速的方式来概述其内容。这是一个具有挑战性的问题，因为找到原始视频的重要或信息部分需要理解其内容。此外，互联网视频的内容非常多样化，从家庭视频到纪录片，这使得视频摘要更加困难，因为先验知识几乎不可用。为了解决这个问题，我们建议使用深度视频功能，可以编码各种级别的内容语义，包括对象，动作和场景，提高标准视频摘要技术的效率。为此，我们设计了一个深度神经网络，它将视频和描述映射到一个共同的语义空间，并与相关的视频和描述对联合训练。为了生成视频摘要，我们从原始视频的每个片段中提取深度特征，并对它们应用基于聚类的摘要技术。我们使用SumMe数据集以及基线方法来评估我们的视频摘要。结果表明，将我们的深层语义特征的视频摘要技术的优势。
2016-09-28 cs.CV
VideoPose: Estimating 6D object pose from videos
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了一个简单而有效的算法，使用卷积神经网络，直接估计视频对象的姿态。我们的方法利用了视频序列中的时间信息，并且计算效率高，鲁棒性强，可以支持机器人和AR领域。我们提出的网络采用预先训练的2D对象检测器作为输入，并通过递归神经网络聚合视觉特征，以在每帧进行预测。在YCB-Video数据集上的实验结果表明，该方法与现有算法相比具有较好的性能。此外，在30 fps的速度下，它也比现有技术更有效，因此适用于需要实时对象姿态估计的各种应用。
2021-11-20 cs.CV eess.IV
From Kinematics To Dynamics: Estimating Center of Pressure and Base of Support from Video Frames of Human Motion
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Kitware, Inc（Kitware公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
为了了解给定的人体姿势图像与人体主体的相应物理足部压力之间的关系，我们提出并验证了两种端到端的深度学习架构PressNet和PressNet-Simple，以从视频帧导出的2D人体姿势（运动学）回归足部压力热图（动态）。一个独特的视频和脚的压力数据集813,050同步对，由5分钟长的编排太极运动序列的6个科目，收集和用于leaving-one-subject-out交叉验证。我们的初步实验结果表明，可靠的和可重复的足部压力预测从一个单一的图像，设置这样一个复杂的跨模态映射问题在计算机视觉的第一个基线。此外，我们计算和定量验证中心的压力（CoP）和基地的支持（BoS）从预测的足部压力分布，获得关键组成部分的姿势稳定性分析的图像在运动学，医学，体育和机器人技术的潜在应用。
2020-01-02 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
时间一致性对于将图像处理流水线扩展到视频域是至关重要的，这通常通过相邻帧上的基于流的扭曲误差来实施。然而，对于人类视频合成，这种方案是不太可靠的，由于源和目标视频之间的不对准，以及在准确的流量估计的困难。在本文中，我们提出了一种有效的内在时间正则化方案来缓解这些问题，其中通过帧生成器估计内在置信度图，以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径，从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器，从而产生一个强大的“INTERnet”，能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明，建议INTERnet的优越性，在几个竞争力的基线。
2020-12-11 cs.CV
FoodTrack: Estimating Handheld Food Portions with Egocentric Video
University of Waterloo（滑铁卢大学）
FoodTrack框架利用第一视角视频直接测量手持食物体积，无需手势或咬合大小假设，将绝对百分比误差从16.40%降至约7.01%。
2025-05-07 cs.CV
6D Object Pose Tracking in Internet Videos for Robotic Manipulation
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（布拉格捷克技术大学捷克信息学、机器人学与控制论研究所）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克技术大学电气工程学院）；H Company（H公司）
本文提出无需物体先验的6D位姿估计与视频轨迹跟踪方法，通过CAD检索、对齐、尺度确定及轨迹优化，将互联网视频中的物体动作迁移至7轴机器人。
2025-03-13 cs.CV cs.RO
GIM: Learning Generalizable Image Matcher From Internet Videos
Intel Labs（英特尔实验室）；Xiamen University（厦门大学）；DJI Technology（大疆科技）
提出 GIM 框架，利用互联网视频通过自训练学习单一可泛化图像匹配模型，并构建首个零样本评估基准 ZEB，显著提升了多种架构的跨域泛化性能并超越特定领域基线。
2024-02-16 cs.CV
VIoTGPT: Learning to Schedule Vision Tools in LLMs towards Intelligent Video Internet of Things
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于LLMs的VIoTGPT框架，通过构建VIoT-Tool数据集并采用ReAct指令微调方法，使大模型能够调度视觉工具协同分析视频数据，有效提升了视频物联网的智能感知能力。
2024-12-22 cs.CV cs.MM
Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
Boston College（波士顿学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
了解相机佩戴者的活动是自我中心视觉的核心，但这种活动的一个关键方面是相机固有的不可见的-佩戴者的身体姿势。先前的工作集中在估计手和手臂进入视野时的姿势，但是这1）给出了全身姿势的不完整视图，以及2）在许多帧中根本无法进行任何姿势估计，因为手仅在日常生活活动的一部分中可见。我们建议推断“看不见的姿势”的一个人背后的自我中心的相机。给定一个视频，我们高效的基于学习的方法返回每个帧的全身3D关节位置。我们的方法利用了来自周围场景的动态运动特征的线索--它作为身体姿势的函数可预测地变化--以及揭示视点的静态场景结构（例如，坐与站）。我们进一步引入了一种新的能量最小化方案来推断姿势序列。它使用软预测的姿势，每个时刻连同一个非参数模型的人类姿势动态在较长的窗口。我们的方法优于一系列可能的替代方案，包括用于图像直接姿态回归的深度学习方法。
2016-03-24 cs.CV
Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
Purdue University（普渡大学）；Honda Research Institute USA（美国本田研究所）
本研究提出一种两阶段方法，利用掩码自编码器插补稀疏手部轨迹并结合条件扩散模型，从双重稀疏的自我中心视频数据中估计全身姿态，在AMASS和Ego-Exo4D数据集上验证了有效性。
2024-11-05 cs.CV
Internet of Things (IoT) Based Video Analytics: a use case of Smart Doorbell
物联网（IoT）的愿景现在已经成为现实。物联网设备越来越便宜，越来越小。它们在计算上和能源效率上变得越来越高。基于物联网的视频分析的全球市场近年来出现了显着增长，预计将成为一个不断增长的细分市场。对于任何基于物联网的视频分析应用程序，需要的关键点很少，例如成本效益，广泛使用，灵活的设计，准确的场景检测，框架的可重用性。基于视频的智能门铃系统是视频分析的一个这样的应用领域，其中许多商业产品在消费者市场中可用。然而，这样的现有产品是昂贵的、单一的和专有的。此外，在准确性和可移植性之间将存在权衡。为了解决可预见的问题，我提出了一个分布式视频分析框架，并以智能门铃系统为例。拟议的框架使用AWS云服务作为基础平台，并满足价格可承受性限制，该系统在负担得起的Raspberry Pi上实现。智能门铃将能够最准确地识别已知/未知的人。智能门铃系统还具有额外的检测功能，例如有害武器检测，值得注意的车辆检测，动物/宠物检测。专门为此实现开发了iOS应用程序，该应用程序可以实时接收来自智能门铃的通知。最后，本文还提到了视频分析的经典方法，它们在此用例中实现的可行性，并在检测帧中对象所需的准确性和时间方面进行了比较分析。结果得出结论，AWS基于云的方法值得用于此智能门铃用例。
2021-09-13 cs.CV cs.LG
Learning Dynamics from Kinematics: Estimating 2D Foot Pressure Maps from Video Frames
Kitware, Inc（Kitware公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
姿势稳定性分析是理解运动和身体平衡控制的关键，在运动学，医学和机器人技术等众多领域都有应用。在生物力学中，压力中心（CoP）用于人体姿势控制和步态的研究。我们提出并验证了一种新的方法来学习CoP从人体的姿势，以帮助稳定性分析。更具体地说，我们提出了一个端到端的深度学习架构，从视频中导出的2D人体姿势中回归足部压力热图，从而回归CoP位置。我们已经收集了一组长（5分钟以上）编排的太极（太极）序列的多个科目同步脚的压力和视频数据。导出的人体姿势数据和相应的足部压力图共同用于训练具有残余结构的卷积神经网络，称为PressNET。跨主题验证结果显示PressNET的性能很有希望，显著优于K-最近邻的基线方法。此外，我们证明，我们从PressNET计算的压力中心（CoP）不仅比从基线方法获得的更准确，而且符合运动学稳定性研究的相应实验室测量的预期。
2019-05-28 cs.CV
PhysPT: Physics-aware Pretrained Transformer for Estimating Human Dynamics from Monocular Videos
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；University of Southern California（南加州大学）
本文提出 PhysPT，通过 Transformer 自监督学习与物理启发损失联合建模人体运动和接触力，提升单目运动估计的物理合理性，并改善动作识别下游性能。
2024-04-05 cs.CV
InFlux++: Real and Synthetic Data for Estimating Dynamic Camera Intrinsics
Princeton University（普林斯顿大学）
针对动态相机内参估计的训练数据匮乏、评测基准多样性不足问题，构建含大规模合成数据集与真实基准的InFlux++，可提升RGB图像的逐帧内参估计性能。
2026-09-09 cs.CV
IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos
Stanford University（斯坦福大学）；J.P. Morgan AI Research（摩根大通AI研究院）
本文提出IKEA Video Manuals数据集，提供家具零件3D模型、说明书、互联网装配视频及跨模态时空对齐标注，并验证其在装配计划生成等五个应用中的基线表现，揭示了视频装配指令4D grounding面临的遮挡等挑战。
2024-11-18 cs.AI cs.CV cs.LG
MonoPhysics: Estimating Geometry, Appearance, and Physical Parameters from Monocular Videos
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Meta
提出MonoPhysics框架，通过可微分MPM模拟和3D高斯泼溅，从单目视频联合优化可变形物体的几何、外观和物理参数，解决尺度模糊和几何不准确问题。
2026-10-02 cs.CV
CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning
Nanjing University（南京大学）；Shanghai AI Lab（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；Fudan University（复旦大学）；Tongji University（同济大学）
提出CoMo方法，通过早期时间差分和时序对比学习从互联网视频中学习连续潜在运动，避免离散化信息损失，实现零样本泛化生成伪动作标签，联合训练策略在仿真和真实实验中表现优异。
2026-06-19 cs.CV cs.RO
EgoPhys: Estimating Peak Contact Force and Mechanical Work from Egocentric Manipulation Video
School of Artificial Intelligence, Shandong University（山东大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Mechanical Engineering, Tianjin University（天津大学机械工程学院）
本研究提出仅用RGB的EgoPhys框架，结合CASA与TMTR，从第一人称视角视频估计关节对象操作的峰值接触力与机械功，在Hoi!数据集上取得了更优的预测性能。
2026-10-09 cs.CV
Robotic Offline RL from Internet Videos via Value-Function Pre-Training
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出V-PTR系统，通过时序差分学习在互联网视频上预训练价值函数，再结合机器人离线RL，显著提升真实机器人操作任务的性能与泛化能力。
2023-09-22 cs.CV cs.LG cs.RO
"Forget" the Forget Gate: Estimating Anomalies in Videos using Self-contained Long Short-Term Memory Networks
Shanghai Jiao Tong University（上海交通大学）
异常事件检测是一项具有挑战性的任务，需要有效地处理复杂的外观和运动特征。在本文中，我们提出了一种通过在正常密集光流上学习新型基于LSTM的自包含网络来检测视频中异常的方法。由于它们的sigmoid实现，标准LSTM的遗忘门很容易忽略和忽略长序列任务（如异常检测）中的相关内容。遗忘门减轻了先前隐藏状态的参与，用于优先化当前输入的单元状态的计算。此外，标准LSTM的双曲正切激活会在网络更深时牺牲性能。为了解决这两个限制，我们通过丢弃遗忘门并引入sigmoid激活来引入一个双门控的轻量级LSTM单元。具体来说，我们提出的LSTM架构完全维持了先前隐藏状态的内容，从而使训练模型具有鲁棒性，并在评估期间做出与上下文无关的决策。去除遗忘门可以简化和降低LSTM单元的要求，提高性能有效性和计算效率。实证评估表明，所提出的基于双门LSTM的网络优于各种基于LSTM的模型，验证了其在CUHK Avenue和UCSD数据集上的异常检测和泛化任务的有效性。
2021-04-03 cs.CV
Estimating Motion Codes from Demonstration Videos
University of South Florida（南佛罗里达大学）
运动分类可以将操作编码为二进制编码表示，我们称之为运动代码。这些运动代码本质上表示嵌入空间中的操纵动作，该嵌入空间描述运动的机械特征，包括接触和轨迹类型。使用运动代码进行嵌入的主要优点是，可以使用机器人相关特征更适当地定义运动，并且可以使用这些运动特征更合理地测量它们的距离。在本文中，我们开发了一个深度学习管道，以无监督的方式从演示视频中提取运动代码，以便这些视频中的知识可以正确地表示并用于机器人。我们的评估表明，运动代码可以从EPIC-KITCHENS数据集中的动作演示中提取。
2020-07-31 cs.CV cs.RO
VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the Edge for the Internet of Multimedia Things
National University of Ireland Galway（爱尔兰国立大学高威分校）
高效的视频处理是许多IoMT应用中检测感兴趣事件的关键组件。目前，在事件处理中已经提出了许多窗口优化技术，其基本假设是输入流具有结构化数据模型。由于缺乏任何底层结构化数据模型，视频非常复杂。视频流源（如CCTV摄像头和智能手机）是资源受限的边缘节点。同时，视频内容提取成本高昂，需要计算密集型深度神经网络（DNN）模型，这些模型主要部署在高端（或云）节点。本文介绍了VID-WIN，一种自适应的2阶段联合窗口方法，用于在边缘云范例中加速视频事件分析。VID-WIN在边缘和云节点上运行数据库，并为基于状态的复杂事件匹配执行查询和资源感知优化。VID-WIN利用视频内容和DNN输入旋钮来加速跨节点的视频推理过程。提出了一种新的基于内容驱动的微批量缓存、查询感知缓存和资源受限边缘节点下视频帧的效用过滤策略，以提高系统的整体吞吐量、延迟和网络利用率。在五个真实世界的数据集进行了广泛的评估。实验结果表明，VID-WIN视频事件匹配在保持查询级准确性和资源限制的同时，与其他基线相比，吞吐量提高了约2.3倍，延迟最小，带宽减少了约99%。
2021-04-27 cs.CV cs.DC cs.MM
Estimating Blink Probability for Highlight Detection in Figure Skating Videos
Osaka University（大阪大学）
体育视频中的亮点检测具有广泛的受众群体和巨大的商业潜力。因此，必须以高时间精度检测更适合人类兴趣的高光场景。由于人们本能地抑制眨眼期间的注意力攫取事件和视频中的注意力断裂点同步生成眨眼，瞬时眨眼率可以被用作人类兴趣的高度准确的时间指标。因此，在这项研究中，我们提出了一种新的，自动高光检测方法的基础上眨眼率。该方法训练一维卷积网络（1D-CNN），以根据花样滑冰视频的时空姿势特征来评估每个视频帧的眨眼率。实验表明，该方法成功地估计了94%的视频片段中的眨眼率，并预测了跳跃事件周围眨眼率的时间变化，具有较高的准确性。该方法不仅能检测出具有代表性的运动动作，还能检测出花样滑冰表演的独特艺术表现力作为关键帧。这表明基于闪烁率的监督学习方法能够实现更紧密地匹配人类敏感性的高精度高光检测。
2020-07-02 cs.CV cs.MM
Visual Vibration Tomography: Estimating Interior Material Properties from Monocular Video
California Institute of Technology（加州理工学院）
本文提出视觉振动层析成像方法，利用单目视频中的表面亚像素振动模态，推断已知几何形状三维物体内部空间变化的杨氏模量与密度。
2023-04-23 cs.CV eess.IV
Self-Supervised Human Depth Estimation from Monocular Videos
Simon Fraser University（西蒙弗雷泽大学）；Nanjing University（南京大学）；ETH Zürich（苏黎世联邦理工学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
以前估计人体深度细节的方法通常需要使用“地面实况”深度数据进行监督训练。本文提出了一种自监督的方法，可以训练的YouTube视频没有已知的深度，这使得训练数据收集简单，提高了学习网络的泛化能力。自监督学习通过最小化照片一致性损失来实现，该照片一致性损失在视频帧与根据估计的深度和人体的3D非刚性运动而变形的其相邻帧之间进行评估。为了解决这个非刚体运动，我们首先估计一个粗略的SMPL模型在每个视频帧，并计算相应的非刚体运动，这使得自监督学习估计的形状细节。实验表明，该方法具有更好的泛化能力，在野外数据上的表现也更好。
2020-05-07 cs.CV
PuckNet: Estimating hockey puck location from broadcast video
University of Waterloo（滑铁卢大学）
冰球运动中冰球的位置对于冰球分析师确定比赛位置和分析比赛事件是必不可少的。然而，由于极低的可见性和经常发生的圆盘遮挡，获得准确注释的难度很大，因此该问题非常具有挑战性。在具有变化的摄像机角度的广播视频中，该问题变得更具挑战性。我们介绍了一种新的方法来确定冰球位置近似冰球位置注释在广播视频。我们的方法独特地利用了现有的冰球位置信息，这些信息在现有的曲棍球事件数据中是公开的，并使用相应的一秒钟广播视频剪辑作为网络的输入。使用视频而不是静态图像作为输入的基本原理是，对于视频，时间信息可以用于处理圆盘遮挡。网络使用基于3D CNN的架构输出表示冰球位置的概率的热图。该网络能够从具有不同摄像机角度的广播曲棍球视频剪辑中回归冰球位置。实验结果证明了该方法的能力，在测试数据集上实现了47.07%的AUC。该网络还能够以超过80%的准确度估计防守/进攻区域中的冰球位置。
2021-03-18 cs.CV eess.IV
Phase-shifted remote photoplethysmography for estimating heart rate and blood pressure from facial video
Division of Electronics and Information Engineering, Jeonbuk National University（全南国立大学电子与信息工程系）
本文提出基于视觉的方法估计心率和血压，采用双阶段深度学习框架，利用相位偏移rPPG信号提升心率和血压估计精度。
2025-04-01 cs.CV
Learning Social Navigation from Internet Videos in the Policy State Space
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Plasma Physics（马克斯·普朗克等离子体物理研究所）
提出从互联网单目视频构建社交导航训练环境的流程，在策略状态空间直接模拟，使策略在Arena基准上达81.2%成功率并成功完成19/20真实试验。
2026-10-02 cs.CV cs.LG cs.RO
Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure
Institute of Science Technology (IST) Austria（奥地利科学技术研究所）
我们在这项工作中的目标是生成逼真的视频，只需一个初始帧作为输入。针对此任务的现有无监督方法没有考虑视频通常显示3D环境的事实，并且即使在相机和对象移动时，这也应该从帧到帧保持一致。我们通过开发一个模型来解决这个问题，该模型首先估计场景的潜在3D结构，包括任何移动对象的分割。然后，它通过模拟对象和相机动态来预测未来的帧，并渲染生成的视图。重要的是，它是端到端训练的，只使用预测未来帧的无监督目标，没有任何3D信息或分割注释。在两个具有挑战性的自然视频数据集上的实验表明，我们的模型可以从单个帧中估计3D结构和运动分割，从而生成合理和多样的预测。
2021-06-16 cs.AI cs.CV cs.LG
Hand-tremor frequency estimation in videos
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
我们专注于从输入的RGB视频数据估计人手颤抖频率的问题。从视频中估计震颤对于无创监测、分析和诊断患有运动障碍（诸如帕金森病）的患者是重要的。我们考虑两种方法来估计手震颤频率：（a）拉格朗日方法，其中我们在视频中的每一帧检测手，并估计沿着轨迹的震颤频率;以及（b）欧拉方法，其中我们首先定位手，我们随后沿着手的运动轨迹去除大的运动，并且我们使用编码为强度值或相位信息的随时间的视频信息来估计震颤频率。我们估计一个新的人类震颤数据集，TIM震颤，包含静态任务以及大量的动态任务，涉及更大的运动的手震颤。该数据集有55个震颤患者记录以及：来自受影响最严重的手的相关地面实况加速度计数据，RGB视频数据和对齐的深度数据。
2018-09-10 cs.CV
Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video
University of Rochester（罗切斯特大学）
尽管摄像机在我们的日常生活中的普遍性发生了革命，但非语言情感交流的最有意义的形式之一，人际眼睛注视，即相对于谈话伙伴的眼睛注视，并不能从普通视频中获得。我们介绍了人际校准眼睛凝视编码器（ICE），它自动提取人际凝视视频记录，而无需专门的硬件和参与者位置的先验知识。利用个体花费大部分对话时间彼此注视的直觉，ICE动态聚类算法能够提取人际注视。我们使用红外凝视跟踪器（F1=0.846，N=8）的客观度量在视频聊天中验证ICE，以及在面对面交流中使用专家评估的眼神接触（r= 0.37，N=170）。然后，我们使用ICE来分析行为在两个不同的，但重要的情感沟通领域：基于询问的欺骗检测，并在速配沟通技巧评估。我们发现，诚实的证人打破人际凝视接触，更经常比欺骗证人回答问题时向下看（p=0.004，d=0.79）。在预测速配视频中的专家沟通技巧评分时，我们证明了人际凝视本身比面部表情更具预测力。
2020-01-17 cs.CV cs.HC
Video Anomaly Detection by Estimating Likelihood of Representations
University of Warwick（华威大学）
视频异常检测是一个具有挑战性的任务，不仅因为它涉及到解决许多子任务，如运动表示，对象定位和动作识别，而且因为它通常被认为是一个无监督学习问题，涉及检测离群值。传统上，该任务的解决方案集中在视频帧与其低维特征之间的映射，而忽略了这些特征的空间连接。最近的解决方案侧重于通过使用硬聚类技术（如K-Means）或应用神经网络将潜在特征映射到一般理解（如动作属性）来分析这些空间连接。为了解决潜在特征空间中的视频异常，我们提出了一个深度概率模型，将此任务转换为密度估计问题，其中潜在流形由深度去噪自动编码器生成，并通过期望最大化进行聚类。对几个基准数据集的评估显示了我们模型的优势，在具有挑战性的数据集上取得了出色的性能。
2020-12-02 cs.CV cs.LG eess.IV
Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University（卡内基梅隆大学）；FAIR at Meta（Meta FAIR实验室）
本文提出 Track2Act，利用互联网视频学习目标条件点轨迹预测，并结合少量机器人演示训练的残差闭环策略，实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
