Streaming Video Analytics On The Edge With Asynchronous Cloud Support
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）；Clutterbot
新兴的物联网（IoT）和移动计算应用预计将支持延迟敏感的深度神经网络（DNN）工作负载。为了实现这一愿景，互联网正在向边缘计算架构发展，其中计算基础设施位于更靠近终端设备的位置，以帮助实现低延迟。然而，与云环境相比，边缘计算可能具有有限的资源，因此无法运行通常具有高精度的大型DNN模型。在这项工作中，我们开发了REACT，这是一个利用云资源以更高精度执行大型DNN模型的框架，以提高在边缘设备上运行的模型的准确性。为此，我们提出了一种新的边缘云融合算法，融合边缘和云预测，实现低延迟和高精度。我们广泛地评估我们的方法，并表明，我们的方法可以显着提高精度相比，基线方法。我们特别关注视频中的目标检测（适用于许多视频分析场景），并表明融合的边缘云预测可以比仅边缘和仅云场景的准确性高出50%。我们还表明，REACT可以通过选择广泛的系统参数来满足特定于用例的约束（例如有限的网络带宽或GPU周期），从而在权衡点上实现良好的性能。
2022-10-04 cs.CV cs.DC cs.MM
Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Czech Technical University in Prague（布拉格捷克理工大学）；Université de Toulouse（图卢兹大学）
在本文中，我们介绍了一种方法来自动重建一个人与一个物体从一个单一的RGB视频的3D运动。我们的方法估计的3D姿态的人连同对象的姿态，接触位置和接触力施加在人体上。这项工作的主要贡献有三个方面。首先，我们介绍了一种方法来共同估计的运动和驱动力的人对被操纵的对象建模接触和动态的相互作用。这是一个大规模的轨迹优化问题。其次，我们开发了一种方法，可以从输入视频中自动识别人与物体或地面之间接触的2D位置和时间，从而大大简化了优化的复杂性。第三，我们在最近的视频+MoCap数据集上验证了我们的方法，该数据集捕捉了典型的跑酷动作，并在一个新的互联网视频数据集上展示了它的性能，该数据集显示人们在不受约束的环境中操纵各种工具。
2021-11-02 cs.CV
Learning Sports Camera Selection from Internet Videos
University of British Columbia（不列颠哥伦比亚大学）；National University of Defense Technology（国防科学技术大学）
这项工作解决了摄像机选择，预测哪台摄像机应该从多个候选摄像机的足球广播的任务。这项任务是具有挑战性的，因为缺乏学习数据的所有候选人的意见。同时，在互联网上（如Youtube）可免费获得广播视频。然而，这些视频仅记录所选择的摄像机视图，而省略其他候选视图。为了克服这个问题，我们首先引入了随机生存森林（RSF）方法来有效地填补不完整的数据。然后，我们提出了一个空间外观热图来描述图像中的前景对象（例如球员和球）。为了评估我们的系统的性能，我们收集了有史以来最大的足球广播摄像机选择数据集。它有一个主游戏，其中所有候选人的意见和十二个辅助游戏，只有广播的意见。我们的方法在这个具有挑战性的数据集上显着优于最先进的方法。进一步的分析表明，绩效的提高确实来自辅助博弈的额外信息。
2018-09-08 cs.CV
Understanding Human Hands in Contact at Internet Scale
University of Michigan（密歇根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
手是人类操纵世界的核心手段，能够从互联网视频中可靠地提取手的状态信息，有可能为系统从PB级视频数据中学习铺平道路。本文提出的步骤，通过推断一个丰富的表示参与互动的方法，包括：手的位置，侧，接触状态，和一个框周围的对象接触的手。为了支持这一努力，我们收集了一个大规模的手与物体接触的数据集，包括131天的镜头以及100K带注释的手接触视频帧数据集。该数据集上的学习模型可以作为视频中手部接触理解的基础。我们定量地评估它本身和服务的预测和学习从3D网格的人手。
2020-06-11 cs.CV
Stereo4D: Learning How Things Move in 3D from Internet Stereo Videos
Google DeepMind（谷歌DeepMind）；University of Michigan（密歇根大学）；New York University（纽约大学）
提出Stereo4D系统，从互联网立体视频中挖掘高质量4D重建，生成大规模世界一致性3D点云数据，训练DUSt3R变体实现真实图像对的3D结构与运动预测。
2025-04-30 cs.CV
OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data
Renmin University of China（中国人民大学）；AMAP, Alibaba Group（AMAP，阿里巴巴集团）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；Malou Tech Inc（Malou科技公司）
提出CIPE-Dance大规模舞蹈视频数据集和OmniDance框架，通过深度感知架构、课程学习和条件引导策略，实现文本、音乐及多模态驱动的舞蹈视频生成，达到最优性能。
2026-06-29 cs.CV
Stereo4DWalker: Learning 4D-aware Embodied Urban Navigation from Internet Stereo Videos
University of Virginia（弗吉尼亚大学）
本文提出StereoWalker，通过引入立体视觉和中等层次视觉模块，提升动态城市导航性能，仅用1.5%数据即可达到先进水平。
2026-09-15 cs.CV
Dynamic Camera Poses and Where to Find Them
NVIDIA；University of Michigan（密歇根大学）；New York University（纽约大学）
本文提出DynPose-100K，一个大规模动态互联网视频相机姿态标注数据集，通过结合任务特定与通用模型过滤及点跟踪、动态掩蔽和运动恢复结构技术，实现优于现有方法的姿态估计，推动下游应用发展。
2025-04-24 cs.CV
Learning to Imitate Object Interactions from Internet Videos
University of California, Berkeley（加州大学伯克利分校）
我们研究了从互联网视频中模仿对象交互的问题。这需要理解4D中的手-对象交互、3D中的空间交互以及随着时间的推移的手-对象交互，这由于手-对象相互遮挡而具有挑战性。在本文中，我们做了两个主要的贡献：（1）一种新的重建技术RHOV（从视频重建手和对象），它重建4D的手和对象的轨迹使用2D图像线索和时间平滑约束;（2）一个系统，用于模仿对象的相互作用，在物理模拟器与强化学习。我们将我们的重建技术应用于100个具有挑战性的互联网视频。我们进一步表明，我们可以成功地模仿一系列不同的对象在物理模拟器的相互作用。我们的以对象为中心的方法不限于类似人类的末端执行器，并且可以学习使用不同的实施例来模仿对象交互，如具有平行钳口夹持器的机器人臂。
2022-11-23 cs.CV cs.LG cs.RO
Learning Temporal Embeddings for Complex Video Analysis
Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了学习时间嵌入的视频帧复杂的视频分析。大量未标记的视频数据可以很容易地从互联网上获得。这些视频具有隐含的弱标签，它们是时间和语义上连贯的图像序列。我们利用这些信息，通过将帧与它们出现的时间上下文相关联来学习视频帧的时间嵌入。要做到这一点，我们提出了一个方案，将时间上下文的基础上，在视频中的过去和未来的帧，并比较这与其他上下文表示。此外，我们还展示了如何使用多分辨率样本和硬底片进行数据增强，以显著提高学习嵌入的质量。我们评估各种设计决策学习时间嵌入，并表明，我们的嵌入可以提高性能的多个视频任务，如检索，分类和时间顺序恢复在不受约束的互联网视频。
2015-05-02 cs.CV
Learning Video Representations from Textual Web Supervision
University of Michigan（密歇根大学）；Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
互联网上的视频与文本片段配对，例如标题和描述。此文本通常描述视频中最重要的内容，例如场景中的对象和正在执行的动作。基于这一观察，我们建议使用文本作为学习视频表示的方法。为了实现这一点，我们提出了一个数据汇集过程，并使用它来收集70 M的视频剪辑在互联网上公开共享，然后我们训练一个模型来配对每个视频与其相关的文本。我们评估了几个下游动作识别任务，包括动力学，HMDB-51和UCF-101的模型。我们发现这种方法是一种有效的预训练视频表示的方法。具体来说，它优于所有现有的自监督和跨模态视频表示学习方法。
2021-08-27 cs.CV
VideoDex: Learning Dexterity from Internet Videos
Carnegie Mellon University（卡内基梅隆大学）
为了构建可以在许多环境中操作的通用机器人代理，机器人通常必须在现实世界中收集经验。然而，由于安全、时间和硬件限制，这通常是不可行的。因此，我们建议利用下一个最好的东西作为现实世界的经验：人类使用他们的手的互联网视频。视觉先验，如视觉特征，通常是从视频中学习的，但我们相信，更多的视频信息可以被用作更强的先验。我们构建了一个学习算法VideoDex，它利用来自人类视频数据集的视觉、动作和物理先验来指导机器人行为。神经网络中的这些动作和物理先验决定了特定机器人任务的典型人类行为。我们在机器人手臂和灵巧手系统上测试了我们的方法，并在各种操作任务上显示出强大的结果，优于各种最先进的方法。视频https://video-dex.github.io
2022-12-08 cs.AI cs.CV cs.LG
Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video
Zhejiang University, State Key Lab of CAD \& CG；Nanyang Technological University；Independent Researcher；Zhejiang University of Technology
SAGE通过互联网视频弱监督实现几何基础模型的可扩展适应，提升零样本泛化能力。
2026-10-19 cs.AI cs.CV
RoboTok: A Scalable Data Engine for Internet Demonstration Video Retrieval and Dexterous Manipulation Learning
Rice University（莱斯大学）；NVIDIA（英伟达）
RoboTok是用于人类演示检索与灵巧操作学习的互联网规模数据引擎，通过学习3D手部轨迹的潜在运动空间，从网络视频检索相关演示，提升了机器人策略的下游任务成功率。
2026-09-29 cs.CV cs.RO
Walk through Paintings: Egocentric World Models from Internet Priors
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Research Institute（丰田研究机构）
EgoWM通过利用互联网先验和轻量级条件层，将预训练视频扩散模型转换为自我中心世界模型，实现可控的未来预测，提升结构一致性评分并降低推理延迟。
2026-07-30 cs.CV
Spatiotemporal CNNs for Pornography Detection in Videos
UFSCar - Federal University of Sao Carlos（圣卡洛斯联邦大学）；IFSP - Federal Institute of Education of Sao Paulo（圣保罗联邦教育学院）；UNESP - Sao Paulo State University（圣保罗州立大学）
随着越来越多地使用社交网络和移动设备，发布在互联网上的视频数量呈指数级增长。在互联网上发布的不适当内容中，色情是最令人担忧的内容之一，因为青少年和儿童可以访问。在本研究中，评估了两种时空CNN，VGG-C3 D CNN和ResNet R（2+1）D CNN，用于视频中的色情检测。使用Pornography-800数据集的实验结果表明，这些时空CNN的性能优于一些基于视觉词袋的最先进方法，并且与其他基于CNN的方法相比具有竞争力，准确率达到95.1%。
2018-10-24 cs.CV
Video Summarization using Deep Semantic Features
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Oulu（奥卢大学）
本文提出了一种视频摘要技术，为互联网视频提供了一种快速的方式来概述其内容。这是一个具有挑战性的问题，因为找到原始视频的重要或信息部分需要理解其内容。此外，互联网视频的内容非常多样化，从家庭视频到纪录片，这使得视频摘要更加困难，因为先验知识几乎不可用。为了解决这个问题，我们建议使用深度视频功能，可以编码各种级别的内容语义，包括对象，动作和场景，提高标准视频摘要技术的效率。为此，我们设计了一个深度神经网络，它将视频和描述映射到一个共同的语义空间，并与相关的视频和描述对联合训练。为了生成视频摘要，我们从原始视频的每个片段中提取深度特征，并对它们应用基于聚类的摘要技术。我们使用SumMe数据集以及基线方法来评估我们的视频摘要。结果表明，将我们的深层语义特征的视频摘要技术的优势。
2016-09-28 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
时间一致性对于将图像处理流水线扩展到视频域是至关重要的，这通常通过相邻帧上的基于流的扭曲误差来实施。然而，对于人类视频合成，这种方案是不太可靠的，由于源和目标视频之间的不对准，以及在准确的流量估计的困难。在本文中，我们提出了一种有效的内在时间正则化方案来缓解这些问题，其中通过帧生成器估计内在置信度图，以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径，从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器，从而产生一个强大的“INTERnet”，能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明，建议INTERnet的优越性，在几个竞争力的基线。
2020-12-11 cs.CV
6D Object Pose Tracking in Internet Videos for Robotic Manipulation
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（布拉格捷克技术大学捷克信息学、机器人学与控制论研究所）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克技术大学电气工程学院）；H Company（H公司）
本文提出无需物体先验的6D位姿估计与视频轨迹跟踪方法，通过CAD检索、对齐、尺度确定及轨迹优化，将互联网视频中的物体动作迁移至7轴机器人。
2025-03-13 cs.CV cs.RO
GIM: Learning Generalizable Image Matcher From Internet Videos
Intel Labs（英特尔实验室）；Xiamen University（厦门大学）；DJI Technology（大疆科技）
提出 GIM 框架，利用互联网视频通过自训练学习单一可泛化图像匹配模型，并构建首个零样本评估基准 ZEB，显著提升了多种架构的跨域泛化性能并超越特定领域基线。
2024-02-16 cs.CV
VIoTGPT: Learning to Schedule Vision Tools in LLMs towards Intelligent Video Internet of Things
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于LLMs的VIoTGPT框架，通过构建VIoT-Tool数据集并采用ReAct指令微调方法，使大模型能够调度视觉工具协同分析视频数据，有效提升了视频物联网的智能感知能力。
2024-12-22 cs.CV cs.MM
Internet of Things (IoT) Based Video Analytics: a use case of Smart Doorbell
物联网（IoT）的愿景现在已经成为现实。物联网设备越来越便宜，越来越小。它们在计算上和能源效率上变得越来越高。基于物联网的视频分析的全球市场近年来出现了显着增长，预计将成为一个不断增长的细分市场。对于任何基于物联网的视频分析应用程序，需要的关键点很少，例如成本效益，广泛使用，灵活的设计，准确的场景检测，框架的可重用性。基于视频的智能门铃系统是视频分析的一个这样的应用领域，其中许多商业产品在消费者市场中可用。然而，这样的现有产品是昂贵的、单一的和专有的。此外，在准确性和可移植性之间将存在权衡。为了解决可预见的问题，我提出了一个分布式视频分析框架，并以智能门铃系统为例。拟议的框架使用AWS云服务作为基础平台，并满足价格可承受性限制，该系统在负担得起的Raspberry Pi上实现。智能门铃将能够最准确地识别已知/未知的人。智能门铃系统还具有额外的检测功能，例如有害武器检测，值得注意的车辆检测，动物/宠物检测。专门为此实现开发了iOS应用程序，该应用程序可以实时接收来自智能门铃的通知。最后，本文还提到了视频分析的经典方法，它们在此用例中实现的可行性，并在检测帧中对象所需的准确性和时间方面进行了比较分析。结果得出结论，AWS基于云的方法值得用于此智能门铃用例。
2021-09-13 cs.CV cs.LG
IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos
Stanford University（斯坦福大学）；J.P. Morgan AI Research（摩根大通AI研究院）
本文提出IKEA Video Manuals数据集，提供家具零件3D模型、说明书、互联网装配视频及跨模态时空对齐标注，并验证其在装配计划生成等五个应用中的基线表现，揭示了视频装配指令4D grounding面临的遮挡等挑战。
2024-11-18 cs.AI cs.CV cs.LG
CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning
Nanjing University（南京大学）；Shanghai AI Lab（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；Fudan University（复旦大学）；Tongji University（同济大学）
提出CoMo方法，通过早期时间差分和时序对比学习从互联网视频中学习连续潜在运动，避免离散化信息损失，实现零样本泛化生成伪动作标签，联合训练策略在仿真和真实实验中表现优异。
2026-06-19 cs.CV cs.RO
Robotic Offline RL from Internet Videos via Value-Function Pre-Training
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出V-PTR系统，通过时序差分学习在互联网视频上预训练价值函数，再结合机器人离线RL，显著提升真实机器人操作任务的性能与泛化能力。
2023-09-22 cs.CV cs.LG cs.RO
VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the Edge for the Internet of Multimedia Things
National University of Ireland Galway（爱尔兰国立大学高威分校）
高效的视频处理是许多IoMT应用中检测感兴趣事件的关键组件。目前，在事件处理中已经提出了许多窗口优化技术，其基本假设是输入流具有结构化数据模型。由于缺乏任何底层结构化数据模型，视频非常复杂。视频流源（如CCTV摄像头和智能手机）是资源受限的边缘节点。同时，视频内容提取成本高昂，需要计算密集型深度神经网络（DNN）模型，这些模型主要部署在高端（或云）节点。本文介绍了VID-WIN，一种自适应的2阶段联合窗口方法，用于在边缘云范例中加速视频事件分析。VID-WIN在边缘和云节点上运行数据库，并为基于状态的复杂事件匹配执行查询和资源感知优化。VID-WIN利用视频内容和DNN输入旋钮来加速跨节点的视频推理过程。提出了一种新的基于内容驱动的微批量缓存、查询感知缓存和资源受限边缘节点下视频帧的效用过滤策略，以提高系统的整体吞吐量、延迟和网络利用率。在五个真实世界的数据集进行了广泛的评估。实验结果表明，VID-WIN视频事件匹配在保持查询级准确性和资源限制的同时，与其他基线相比，吞吐量提高了约2.3倍，延迟最小，带宽减少了约99%。
2021-04-27 cs.CV cs.DC cs.MM
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
我们介绍了一种新的任务，重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战，我们提出了一种简单而有效的基于优化的方法，该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势，形状和全局运动，这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究，以验证我们的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉，并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外，我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
Learning Social Navigation from Internet Videos in the Policy State Space
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Plasma Physics（马克斯·普朗克等离子体物理研究所）
提出从互联网单目视频构建社交导航训练环境的流程，在策略状态空间直接模拟，使策略在Arena基准上达81.2%成功率并成功完成19/20真实试验。
2026-10-02 cs.CV cs.LG cs.RO
Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University（卡内基梅隆大学）；FAIR at Meta（Meta FAIR实验室）
本文提出 Track2Act，利用互联网视频学习目标条件点轨迹预测，并结合少量机器人演示训练的残差闭环策略，实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
Learning Variational Motion Prior for Video-based Motion Capture
Tencent PCG（腾讯平台与内容事业群）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
从单目视频中捕获运动对于我们人类在虚拟现实（VR）和增强现实（AR）中自然地体验和彼此交互是基础和关键的。然而，由于缺乏有效的运动先验建模，现有的方法仍然难以处理涉及自遮挡和复杂姿势的具有挑战性的情况。本文提出了一种新颖的基于视频的运动捕捉变分运动先验（VMP）学习方法来解决上述问题。而不是直接建立视频和运动域之间的对应关系，我们建议学习一个通用的潜在空间，用于捕获所有自然运动的先验分布，作为后续基于视频的运动捕获任务的基础。为了提高先验空间的泛化能力，我们提出了一种基于变换的变分自编码器，在基于标记的3D mocap数据上进行预训练，并使用一种新的样式映射块来提高生成质量。之后，一个单独的视频编码器被附加到预训练的运动生成器上，用于对特定于任务的视频数据集进行端到端的微调。与现有的运动先验模型相比，我们的VMP模型作为一个运动整流器，可以有效地减少时间抖动和故障模式，在逐帧姿态估计，导致时间稳定和视觉逼真的运动捕捉结果。此外，我们的基于VMP的框架模型在序列级别的运动，并可以直接生成运动剪辑在向前通过，实现实时运动捕捉推理过程中。在公共数据集和野外视频上的广泛实验证明了我们框架的有效性和泛化能力。
2022-10-28 cs.CV
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）
我们提出了Face2Face，一种用于单目目标视频序列的实时的面部再现的新方法（例如，Youtube视频）。源序列也是一个单目视频流，捕捉生活与商品摄像头。我们的目标是动画的面部表情的目标视频的源演员和重新渲染操作输出视频中的照片逼真的方式。为此，我们首先解决了约束不足的问题，从单目视频的面部身份恢复的非刚性基于模型的捆绑。在运行时间，我们跟踪面部表情的源和目标视频使用密集的光度一致性措施。然后通过源和目标之间快速有效的变形转移来实现重演。从目标序列中检索与重新定向的表情最佳匹配的嘴部内部，并将其扭曲以产生准确的拟合。最后，我们令人信服地重新渲染合成的目标面上的相应的视频流，使其无缝融合与现实世界的照明。我们在现场设置中演示了我们的方法，其中Youtube视频是实时的。
2020-07-29 cs.CV
DarkVRAI: Capture-Condition Conditioning and Burst-Order Selective Scan for Low-light RAW Video Denoising
Department of ECE, INMC, Seoul National University, Seoul, Korea（电子工程系，智能纳米材料中心，首尔国立大学，首尔，韩国）
针对低光照RAW视频因高增益、短曝光出现严重信号退化的问题，提出DarkVRAI框架，引入拍摄元数据条件调控与突发顺序选择性扫描机制，在AIM 2025挑战赛夺冠且达基准数据集SOTA性能。
2025-08-31 cs.CV
TennisVid2Text: Fine-grained Descriptions for Domain Specific Videos
IIIT Hyderabad（海得拉巴国际信息技术研究所）
自动描述视频一直很吸引人。在这项工作中，我们试图从一个特定的域描述视频-广播视频的草地网球比赛。给定一个网球比赛的视频，我们打算生成一个类似于人类专家在体育网站上写的文本评论。不像最近的许多作品，专注于生成简短的字幕，我们有兴趣在语义上更丰富的描述。这需要对视频内容进行详细的低层次分析，特别是主体之间的动作和交互。我们通过将我们的领域限制在草地网球比赛来解决这个问题。通过利用从互联网上收集的大量人类创建的描述来生成丰富的描述。我们评估我们的方法在一个新创建的网球视频数据集。广泛的分析表明，我们的方法解决了语义的正确性以及可读性方面的任务。
2015-11-26 cs.CV
Learning 3D Human Dynamics from Video
University of California, Berkeley（加州大学伯克利分校）
从一个人在行动中的图像，我们可以很容易地猜测这个人在最近的过去和未来的3D运动。这是因为我们有一个三维人体动态的心理模型，我们已经从观察人类运动的视觉序列中获得。我们提出了一个框架，可以类似地通过简单但有效的图像特征的时间编码从视频中学习人类的3D动态表示。在测试时，从视频中，学习的时间表示产生平滑的3D网格预测。从单个图像，我们的模型可以恢复当前的3D网格以及它的3D过去和未来的运动。我们的方法被设计为可以以半监督的方式从具有2D姿势注释的视频中学习。虽然注释数据总是有限的，但每天有数百万个视频上传到互联网上。在这项工作中，我们通过使用从现成的2D姿态检测器获得的伪地面真实2D姿态在未标记的视频上训练我们的模型来收获这种互联网规模的未标记数据源。我们的实验表明，添加更多具有伪地面真实2D姿势的视频单调地提高了3D预测性能。我们在最近具有挑战性的3D Poses in the Wild数据集上评估了我们的模型Human Mesh and Motion Recovery（HMMR），并在没有任何微调的情况下获得了3D预测任务的最先进性能。包含视频、代码和数据的项目网站可以在https://akanazawa.github.io/human_dynamics/上找到。
2019-09-16 cs.CV
CrowdFix: An Eyetracking Dataset of Real Life Crowd Videos
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
理解人类的视觉注意和显著性是视觉研究的一个组成部分。在这种情况下，始终需要新鲜和多样化的基准数据集，特别是为了深入了解拥挤场景等特殊用例。我们为此做出贡献：（1）回顾显着性和人群背后的动力。(2)使用眼动追踪来在从互联网收集的一组新的人群视频上创建动态人眼注视数据集。视频被注释成三个不同的密度水平。(3)最后，我们在我们的数据集上评估了最先进的显着性模型，以确定可能的改进，从而设计和创建更强大的显着性模型。
2019-10-09 cs.CV
Learning Single-Image Depth from Videos using Quality Assessment Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Princeton University（普林斯顿大学）
在野外从单个图像进行深度估计仍然是一个具有挑战性的问题。一个主要障碍是缺乏高质量的野外图像训练数据。在本文中，我们提出了一种方法来自动生成这样的数据，通过结构从运动（SfM）在互联网上的视频。该方法的核心是一个质量评估网络，它可以识别从SfM获得的高质量重建。使用这种方法，我们从大量的YouTube视频中收集单视图深度训练数据，并构建一个新的数据集，称为YouTube3D。实验表明，YouTube3D在训练深度估计网络方面是有效的，并在单视图深度估计领域取得了一定的进展。
2019-04-24 cs.CV
MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos with Depth Priors
City University of HongKong（香港城市大学）；HKUST（香港科技大学）；HKU（香港大学）；TAMU（德克萨斯大学奥斯汀分校）；CUHK(SZ)（香港城市大学（深圳））
MoDGS是基于深度先验的新管线，通过3D感知初始化与鲁棒深度损失，从相机静止或缓慢移动的随意单目视频渲染高质量动态场景新视角，性能优于现有方法且代码公开。
2026-09-01 cs.CV
Human Performance Capture from Monocular Video in the Wild
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
捕捉动态变形的3D形状的衣服的人是必不可少的许多应用，包括VR/AR，自动驾驶，和人机交互。现有的方法要么需要高度专业化的捕获设置，例如昂贵的多视图成像系统，要么它们对具有挑战性的身体姿势缺乏鲁棒性。在这项工作中，我们提出了一种方法，能够捕捉动态的3D人体形状从单目视频具有挑战性的身体姿势，没有任何额外的输入。我们首先基于学习的回归模型构建受试者的3D模板人体模型。然后，我们跟踪这个模板模型的变形下具有挑战性的身体关节的基础上2D图像观察。我们的方法在野外人类视频数据集3DPW上的性能优于最先进的方法。此外，我们证明了它的鲁棒性和概括性从iPER数据集的视频的功效。
2021-11-30 cs.CV
ImViD: Immersive Volumetric Videos for Enhanced VR Engagement
Tsinghua University（清华大学）；Migu Beijing Research Institute（中国移动北京研究院）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）
提出ImViD多视角多模态数据集，支持移动中捕获完整场景，为6自由度多模态沉浸式VR体验提供基准和重建管线。
2026-05-26 cs.CV
CANeRV: Content Adaptive Neural Representation for Video Compression
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Bytedance Inc.（字节跳动公司）；School of Computer Science, Peking University（北京大学计算机学院）
针对现有基于隐式神经表示（INR）的视频压缩方法因固定网络架构适应性不足导致效果欠佳的问题，提出CANeRV，通过动态序列级调整、帧级调整及分层结构自适应提升压缩性能，实验表明其优于H.266/VVC等技术。
2025-02-13 cs.CV
MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
我们介绍MulayCap，一种新的人类表演捕捉方法，使用单目视频摄像机，而不需要预扫描。该方法使用“多层”表示的几何重建和纹理渲染，分别。对于几何重建，我们分解成多个几何层，即人体网格层和服装片层的穿着人。背后的关键技术是一个服装从视频（GfV）的方法，用于优化服装的形状和重建的动态布料，以适应输入的视频序列，基于布料模拟模型，这是有效地解决了梯度下降。对于纹理渲染，我们将每个输入图像帧分解为一个着色层和一个纹理层，并提出了一种方法，用于融合一个固定的纹理映射和解决详细的服装几何使用着色层。与现有的单视图人类表现捕获系统相比，我们的“多层”方法绕过了繁琐和耗时的扫描步骤，以获得人类特定的网格模板。实验结果表明，MulayCap产生逼真的渲染动态变化的细节，还没有实现在任何以前的单目视频摄像机系统。受益于其完全语义建模，MulayCap可以应用于各种重要的编辑应用，如布料编辑，重定位，重新照明和AR应用。
2020-10-01 cs.CV
Unveiling the Potential: Harnessing Deep Metric Learning to Circumvent Video Streaming Encryption
Centrum Wiskunde & Informatica（荷兰数学和计算机科学研究中心）；Vrije Universiteit（自由大学）；Ministry of Defence（国防部）
针对加密视频流识别攻击存在的准确率、可扩展性等权衡问题，提出基于三元组损失的深度度量学习框架，实现了鲁棒、泛化、可扩展且可跨浏览器迁移的加密视频检测，证明侧信道攻击适用范围更广。
2024-05-16 cs.AI cs.CR cs.CV
Overfitting the Data: Compact Neural Video Delivery via Content-aware Feature Modulation
Beijing University of Posts and Telecommunications（北京邮电大学）；Intel Labs China（英特尔中国实验室）
互联网视频交付在过去几年中经历了巨大的爆炸式增长。然而，视频传输系统的质量在很大程度上取决于互联网的带宽。最近，深度神经网络（DNN）被用来提高视频传输的质量。这些方法将视频划分为块，并将LR视频块和对应的内容感知模型流式传输到客户端。客户端运行模型的推理以超解析LR块。因此，大量的模型被流式传输以便递送视频。在本文中，我们首先仔细研究了不同块的模型之间的关系，然后我们巧妙地设计了一个联合训练框架以及内容感知特征调制（CaFM）层来压缩这些模型用于神经视频传输。{ \bf通过我们的方法，每个视频块仅需要少于$1\% $的原始参数来进行流传输，从而实现更好的SR性能。}我们进行了广泛的实验，在各种SR骨干，视频时间长度和缩放因子，以证明我们的方法的优势。此外，我们的方法也可以被看作是一种新的视频编码方法。我们的初步实验取得了更好的视频质量相比，商业H.264和H.265标准在相同的存储成本，显示了巨大的潜力，所提出的方法。代码可在：\url{https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021}
2021-09-17 cs.CV eess.IV
Dreamitate: Real-World Visuomotor Policy Learning via Video Generation
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）；Stanford University（斯坦福大学）
针对机器人操作策略泛化难题，提出Dreamitate框架，通过在人类演示上微调预训练视频扩散模型，以生成的任务执行视频直接控制机器人，在四项任务上实现了比现有行为克隆方法更优的泛化性能。
2024-06-24 cs.CV cs.RO
Visual Framing of Science Conspiracy Videos: Integrating Machine Learning with Communication Theories to Study the Use of Color and Brightness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
近年来，互联网上的科学阴谋视频呈爆炸式增长，挑战了科学认识论和公众对科学的理解。学者们已经开始研究阴谋信息中使用的说服技巧，如不确定性和恐惧，但对视觉叙事的了解甚少，特别是揭穿阴谋的视频与传播阴谋的视频中的视觉叙事如何不同。本文通过使用计算方法分析来自阴谋和反阴谋YouTube视频的数百万帧来解决理解阴谋视频中视觉框架的差距。我们发现阴谋视频倾向于使用较低的颜色变化和亮度，特别是在缩略图和视频的早期部分。本文还展示了研究人员如何在机器学习模型中整合文本和视觉特征，以研究社交媒体上的阴谋，并讨论了计算建模对数字时代有兴趣研究视觉操纵的学者的影响。本文提出的视觉和文本特征的分析可能是有用的，为未来的研究重点是设计系统，以确定互联网上的阴谋内容。
2021-11-18 cs.CV cs.LG cs.MM
Video as the New Language for Real-World Decision Making
Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文提出将视频生成作为现实世界决策的统一接口，论述其可通过上下文学习、规划与强化学习承担规划器、智能体和模拟器等角色，并梳理机器人、自动驾驶、科学领域的机会与关键挑战。
2024-02-27 cs.AI cs.CV
DreaMo: Articulated 3D Reconstruction From A Single Casual Video
National Tsing Hua University（国立清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Merced（加州大学默塞德分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
针对单段随手拍摄互联网视频视角不全的问题，本文提出 DreaMo，结合视角条件扩散先验、定制正则化及骨架生成策略，实现高质量铰接式 3D 形状与可解释骨架重建。
2023-12-07 cs.CV cs.GR
Deep Learning for Video Classification and Captioning
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
在互联网带宽和存储空间的巨大增长的加速下，视频数据爆炸式地产生、发布和传播，成为当今大数据不可或缺的组成部分。在本文中，我们重点回顾了旨在通过深度学习刺激视频理解的两项研究：视频分类和视频描述。虽然视频分类集中于基于视频片段的语义内容（如人类动作或复杂事件）自动标记视频片段，但视频描述尝试生成完整且自然的句子，从而丰富视频分类中的单个标签，以捕获视频中最具信息量的动态。此外，我们还提供了流行的基准和比赛的审查，这对于评估这个充满活力的领域的技术进步至关重要。
2018-02-22 cs.CV cs.MM
MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（Facebook现实实验室研究部门）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种方法来捕捉时间相干的动态服装变形从单目RGB视频输入。与现有文献相比，我们的方法不需要预先扫描的个性化网格模板，因此可以应用于野外视频。为了将输出约束到一个有效的变形空间，我们为三种类型的衣服：T恤，短裤和长裤建立统计变形模型。一个微分渲染器是用来对齐我们捕捉到的形状输入帧，通过最小化的轮廓，分割和纹理的差异。我们开发了一种UV纹理生长方法，该方法依次扩展服装的可见纹理区域，以最大限度地减少变形跟踪中的漂移。我们还通过将衣服表面拟合到由卷积神经网络估计的法线图来从输入视频中提取细粒度的皱纹细节。我们的方法产生时间相干重建的身体和衣服从单目视频。我们从各种具有挑战性的视频中展示了成功的服装捕获结果。大量的定量实验表明，我们的方法的有效性，包括人体姿态误差和表面重建误差的服装指标。
2020-11-23 cs.CV cs.GR
A Novel Real-Time Full-Color 3D Holographic (Diffractive) Video Capture, Processing, and Transmission Pipeline Using Off-The-Shelf Hardware
R42 Institute（R42研究所）；VividQ（VividQ公司）
本文提出首个基于现成硬件的实时全彩3D全息视频通话流水线，结合iPhone采集RGBZ数据与VividQ SDK生成并显示全息图。
2025-02-02 cs.CV eess.IV
Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model
The University of Tokyo（东京大学）；Osaka University（大阪大学）
本文讨论了视频运动捕获，即从多摄像机图像中重建人体运动的三维模型。在从每个摄像机图像中计算出部分置信度图之后，应用所提出的时空滤波器来提供具有准确性和平滑性的人体运动数据以用于人体运动分析。时空滤波器使用人体骨架，并在两次逆运动学计算中混合时间平滑。实验结果表明，在规则运动和反向运动情况下，每个关节的平均位置误差分别为26.1mm和38.8mm。
2019-12-10 cs.CV cs.RO
Light Field Video Capture Using a Learning-Based Hybrid Imaging System
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣迭戈分校）
与传统相机相比，光场相机具有许多优点，因为它们允许用户在捕获后更改各种相机设置。然而，捕捉光场需要巨大的带宽来记录数据：现代光场相机每秒只能拍摄三张图像。这阻止了当前的消费者光场相机捕获光场视频。在这种极端尺度（10倍，从3fps到30fps）下的时间内插是不可行的，因为在相邻帧之间将完全丢失太多信息。相反，我们开发了一个混合成像系统，增加了另一个标准的摄像机来捕捉时间信息。给定3 fps的光场序列和标准30 fps的2D视频，我们的系统可以生成30 fps的全光场视频。我们采用了一种基于学习的方法，它可以分解为两个步骤：时空流估计和外观估计。流估计将角度信息从光场序列传播到2D视频，因此我们可以将输入图像扭曲到目标视图。然后，外观估计将这些变形图像组合以输出最终像素。整个过程使用卷积神经网络进行端到端的训练。实验结果表明，我们的算法优于目前的视频插值方法，使消费者光场摄像，并使应用程序，如重新聚焦和视差视图生成视频上实现的第一次。
2017-05-08 cs.CV cs.GR
MonoPerfCap: Human Performance Capture from Monocular Video
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；EPFL（洛桑联邦理工学院）
我们提出了第一个无标记的方法，用于从单目视频中捕获具有一般服装的人的时间相干3D性能。我们的方法重建关节的人体骨骼运动，以及在一般场景中的中等规模的非刚性表面变形。人类表演捕捉是一个具有挑战性的问题，由于大范围的关节，潜在的快速运动，和相当大的非刚性变形，甚至从多视图数据。单目视频重建是非常具有挑战性的，因为强大的遮挡和固有的深度模糊性导致高度不适定的重建问题。我们通过一种新的方法来解决这些挑战，该方法使用基于批处理的姿势估计策略从卷积神经网络中进行稀疏的2D和3D人体姿势检测。每批运动的联合恢复允许基于低维轨迹子空间解决单目重建问题的模糊性。此外，我们建议完善的表面几何形状的基础上，完全自动提取的轮廓，使中等规模的非刚性对齐。我们展示了最先进的性能捕获结果，使令人兴奋的应用程序，如视频编辑和自由视点视频，以前不可行的单目视频。我们的定性和定量评估表明，我们的方法显着优于以前的单目方法的准确性，鲁棒性和场景的复杂性，可以处理。
2018-02-23 cs.CV cs.GR
Extraction and Summarization of Explicit Video Content using Multi-Modal Deep Learning
University of Southern California（南加州大学）
提出一种基于多模态深度学习的自动化流水线，用于提取视频中的显式内容片段并生成文本摘要以判定年龄适宜性，最后通过标准指标验证了其有效性。
2023-11-21 cs.CL cs.CV cs.LG
