Non-local NetVLAD Encoding for Video Classification
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
本文介绍了我们为Google AI组织的2 $^\text{nd}$ YouTube-8 M视频理解挑战所提供的解决方案。与Kinetics和Moments等视频识别基准不同，YouTube-8 M挑战赛提供了预提取的视觉和音频特征，而不是原始视频。在这个挑战中，提交的模型被限制在1GB以内，这鼓励参与者专注于构建一个强大的单一模型，而不是整合一堆模型的结果。我们的系统将六个不同的子模型融合到一个计算图中，这些子模型分为三个家族。更具体地说，最有效的系列是具有遵循NetVLAD编码的非局部操作的模型。另外两个系列型号分别是Soft-BoF和GRU。为了进一步提高单个模型的性能，对不同检查点的模型参数进行平均。实验结果表明，我们提出的系统可以有效地执行视频分类任务，达到0.88763的公开测试集和0.88704的私人集的差距@20，分别。我们最终在YouTube-8 M视频理解挑战中排名第四。
2018-09-29 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
Adobe Research（Adobe研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含3，252个YouTube视频片段和78个类别，包括常见物体和人类活动。这是迄今为止我们所知的最大的视频对象分割数据集，我们已经在https://youtube-vos.org上发布了它。基于这个数据集，我们提出了一种新的序列到序列网络，以充分利用视频中的长期时空信息进行分割。我们证明，与当前最先进的方法相比，我们的方法能够在YouTube-VOS测试集上获得最佳结果，并在DAVIS 2016上获得可比结果。实验表明，大规模数据集确实是我们模型成功的关键因素。
2018-09-03 cs.CV
Truly Multi-modal YouTube-8M Video Classification with Video, Audio, and Text
YouTube-8 M视频分类挑战赛要求参赛队伍将70万个视频分类到4,716个类别中的一个或多个类别中。在这次Kaggle竞赛中，我们使用发布的视频和音频功能在650名参与者中排名前3%。除此之外，我们通过在分类中包含文本信息来扩展原始竞争，使其成为具有视觉，音频和文本的真正多模态方法。新引入的文本数据被称为YouTube-8 M-Text。我们提出了一个分类框架，用于联合使用文本，视觉和音频功能，并进行了广泛的实验，以量化这种额外的模式带来的好处。包含文本会产生最先进的结果，例如YouTube-8 M-Text验证数据集上的86.7% GAP。
2017-07-10 cs.CV
Encoding Video and Label Priors for Multi-label Video Classification on YouTube-8M dataset
Seoul National University（首尔大学）；SK Telecom（SK电讯）
YouTube-8 M是用于多标签视频分类的最大视频数据集。为了解决这个具有挑战性的数据集上的多标签分类，有必要解决几个问题，例如视频的时间建模，标签不平衡以及标签之间的相关性。我们开发了一个深度神经网络模型，该模型由四个组件组成：帧编码器、分类层、标签处理层和损失函数。我们介绍了我们新提出的方法，并讨论了现有的模型如何在YouTube-8 M分类任务中运行，它们有什么见解，以及为什么它们成功（或失败）实现良好的性能。与基线模型相比，我们提出的大多数模型都非常高，我们使用的模型集合在Kaggle竞赛中排名第8。
2017-07-12 cs.CV
The Runner-up Solution for YouTube-VIS Long Video Challenge 2022
Huazhong University of Science and Technology（华中科技大学）；ByteDance Inc.（字节跳动公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本技术报告介绍了我们为ECCV 2022 YouTube-VIS长视频挑战赛提供的第二名解决方案。我们采用先前提出的在线视频实例分割方法IDOL的这一挑战。此外，我们使用伪标签来进一步帮助对比学习，从而获得更多时间上一致的实例嵌入，以提高帧间的跟踪性能。所提出的方法在YouTube-VIS 2022长视频数据集上获得40.2 AP，并在该挑战中排名第二。我们希望我们简单而有效的方法可以帮助进一步的研究。
2022-11-18 cs.CV
Approach for Video Classification with Multi-label on YouTube-8M Dataset
Sogang University（西江大学）
由于个人媒体的传播和媒体技术的进步，视频流量正在以相当大的速度增长。因此，对自动分类运动图像的技术的需求日益增长。本文使用NetVLAD和NetFV模型以及Huber损失函数对视频分类问题进行了实验验证。我们根据数据集进行了各种尝试，并优化了超参数，最终获得了0.8668的GAP得分。
2018-10-14 cs.CV
YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos
East China Normal University（华东师范大学）
针对室内3D语义占据预测数据稀缺的问题，提出YouTube-Occ框架，通过自动化数据流水线与双对齐预训练策略，在NYUv2等基准上实现性能提升，代码数据将公开。
2026-08-06 cs.CV
1st Place Solution for YouTubeVOS Challenge 2021:Video Instance Segmentation
CyberCore AI（赛博核心人工智能）；Toyota Motor Corporation（丰田汽车公司）
视频实例分割（VIS）是一个同时执行检测、分割和跟踪的多任务问题。从图像集的应用程序扩展，视频数据还包括时间信息，如果处理得当，这是非常有用的识别和预测对象的运动。在这项工作中，我们设计了一个统一的模型来相互学习这些任务。具体来说，我们提出了两个模块，命名为时间相关的实例分割（TCIS）和双向跟踪（BiTrack），以利用相邻帧之间的对象的实例掩码的时间相关性。另一方面，由于帧的重叠，视频数据通常是冗余的。我们的分析表明，这个问题对于YoutubeVOS-VIS 2021数据来说尤其严重。因此，我们提出了一种多源数据（MSD）的训练机制，以弥补数据不足。通过将这些技术与一系列技巧相结合，与基线相比，网络性能得到了显着提升，并且在YoutubeVOS-VIS 2019和2021数据集上的表现明显优于其他方法。
2021-07-09 cs.CV
Mi YouTube es Su YouTube? Analyzing the Cultures using YouTube Thumbnails of Popular Videos
University of Rochester（罗切斯特大学）
YouTube是一个世界著名的视频分享网站，它在平台上维护了一个热门视频列表。由于其庞大的用户量，它使研究人员能够通过分析趋势视频来了解人们的偏好。热门视频因国家而异。通过分析这些差异和变化，我们可以了解用户的偏好在不同位置之间的差异。以往的研究主要集中在从视频元数据中分析这种文化偏好，而隐藏在视觉内容中的文化信息尚未被发现。在这项研究中，我们使用YouTube趋势视频的缩略图来探索各国之间的文化偏好。我们首先使用对象检测器处理视频的缩略图图像。收集的对象信息然后用于各种统计分析。特别是，我们从三个角度研究数据：地理位置，视频类型和用户的反应。实验结果表明，来自相似文化的用户在观看YouTube上的相似视频时具有共同的兴趣。我们的研究表明，通过缩略图发现的文化偏好可以是一个有效的机制，视频社交媒体分析。
2020-01-27 cs.CV cs.CY cs.SI
1st Place Solution for YouTubeVOS Challenge 2022: Referring Video Object Segmentation
Tomorrow Advancing Life (TAL) Education Group（好未来教育集团）
引用视频对象分割的任务旨在将引用表达式所引用的给定视频帧中的对象分割出来。以前的方法采用多阶段的方法和设计复杂的管道，以获得有希望的结果。近年来，基于Transformer的端到端方法已经证明了其优越性。在这项工作中，我们借鉴了上述方法的优点，为RVOS提供了一个简单而有效的管道。首先，我们改进了现有的一阶段方法ReferFormer，以获得与语言描述强相关的掩码序列。其次，基于可靠和高质量的关键帧，我们利用视频对象分割模型的优越性能，进一步提高掩模结果的质量和时间一致性。我们的单个模型在推荐Youtube-VOS验证集上达到70.3 J &F，在测试集上达到63.0。经过合奏，我们在最终排行榜上获得64.1，在CVPR 2022推荐Youtube-VOS挑战赛中排名第一。代码将在https://github.com/Zhiweihhh/cvpr2022-rvos-challenge.git上提供。
2022-12-27 cs.CV
Clickbait Detection in YouTube Videos
San Jose State University（圣何塞州立大学）
YouTube视频通常包括迷人的描述和有趣的缩略图，旨在增加观看次数，从而增加发布视频的人的收入。这就鼓励人们发布点击诱饵视频，其中的内容可能与标题、描述或缩略图有很大的不同。实际上，用户被诱骗点击了点击诱饵视频。在这项研究中，我们考虑了检测点击诱饵YouTube视频的挑战性问题。我们使用各种文本特征来实验多种最先进的机器学习技术。
2021-07-26 cs.CV cs.LG
Collaborations on YouTube: From Unsupervised Detection to the Impact on Video and Channel Popularity
Technische Universität Darmstadt（达姆施塔特工业大学）
YouTube是最受欢迎的用户生成视频流媒体平台之一。如今，专业YouTube用户被组织在所谓的多渠道网络（MCN）中。这些网络提供品牌交易、设备和战略建议等服务，以换取YouTube用户收入的一部分。获得更多订阅者并因此获得收入的一个主要策略是与其他YouTube用户合作。然而，YouTube上的合作尚未得到详细的定量研究。本文旨在通过以下贡献缩小这一差距。首先，我们收集了一个YouTube数据集，涵盖了7，942个频道三个月的视频统计数据。第二，我们设计了一个框架，用于协作检测，给出了YouTube视频中的未知人数。我们将此框架表示为CATANA，用于使用基于深度神经网络（DNN）的方法分析YouTube视频中的协作。第三，我们分析了大约2.4年的视频内容，并使用CATANA回答研究问题，为YouTube用户和MCN提供有效合作策略的指导。因此，我们专注于（i）合作频率和合作伙伴的选择性，（ii）的MCN对渠道合作的影响，（iii）合作渠道类型，（iv）合作对视频和渠道流行度的影响。我们的研究结果表明，在许多情况下，合作对两个合作渠道的观众和新吸引的订阅者都有很大的好处，与非合作视频相比，受欢迎程度的增长往往超过100%。
2018-05-01 cs.CV cs.SI
YouTube-8M: A Large-Scale Video Classification Benchmark
Google Research（谷歌研究院）
计算机视觉的许多最新进展都归功于大型数据集。用于机器学习的开源软件包和廉价的商品硬件降低了大规模探索新方法的进入门槛。在几天之内训练数百万个例子的模型是可能的。虽然存在用于图像理解的大规模数据集，例如ImageNet，但没有类似大小的视频分类数据集。在本文中，我们介绍了YouTube-8 M，这是最大的多标签视频分类数据集，由约800万个视频（50万小时的视频）组成，用4800个视觉实体的词汇表进行注释。为了获得视频及其标签，我们使用了YouTube视频注释系统，该系统将视频标记为主要主题。虽然标签是机器生成的，但它们具有高精度，并且来自各种基于人类的信号，包括元数据和查询点击信号。我们使用自动和手动策展策略过滤视频标签（知识图谱实体），包括询问人类评分员标签是否在视觉上可识别。然后，我们以每秒一帧的速度对每个视频进行解码，并使用在ImageNet上预先训练的Deep CNN来提取隐藏的表示，然后立即进行分类层。最后，我们压缩了帧特征，并使特征和视频级标签都可供下载。我们在数据集上训练了各种（适度的）分类模型，使用流行的评估指标对其进行评估，并将其作为基线报告。尽管数据集很大，但我们的一些模型使用TensorFlow在一台机器上不到一天的时间内就完成了收敛训练。我们计划发布用于训练TensorFlow模型和计算指标的代码。
2016-09-27 cs.CV
UTS submission to Google YouTube-8M Challenge 2017
University of Technology Sydney（悉尼科技大学）
在本文中，我们提出了我们的解决方案，谷歌YouTube-8 M视频分类挑战2017。我们在提交中利用了视频级和帧级功能。对于视频级分类，我们简单地使用了一个200混合混合专家模型（MoE）层，它在单个模型的验证集上实现了GAP 0.802。对于帧级分类，我们利用了递归神经网络的几种变体、具有注意力机制的序列聚合和1D卷积模型。我们实现了GAP 0.8408的私人测试集与集成模型。我们的模型的源代码可以在\url{https://github.com/ffmpbgrnn/yt8m}中找到。
2017-07-13 cs.CV
Navigating an Ocean of Video Data: Deep Learning for Humpback Whale Classification in YouTube Videos
人工智能（AI）支持的图像分析技术已经证明，图像和视频是了解座头鲸（Megaptera novaeangliae）种群规模和动态的合适数据来源。随着社交媒体的出现，YouTube等平台提供了大量跨时空背景的视频数据，记录了世界各地用户遇到座头鲸的情况。在我们的工作中，我们专注于通过深度学习，根据YouTube视频是否记录了真正的座头鲸遭遇，自动将其分类为相关或不相关。我们使用在ImageNet数据集上预训练的CNN-RNN架构来将YouTube视频分类为相关或不相关。我们实现了平均85.7%的准确性，和84.7%（不相关）/ 86.6%（相关）的F1分数使用五重交叉验证对数据集进行评估。我们表明，深度学习可以作为一个时间效率高的步骤，使社交媒体成为生物多样性评估的图像和视频数据的可行来源。
2022-12-01 cs.CV q-bio.QM
YouTube-VOS: A Large-Scale Video Object Segmentation Benchmark
Adobe Research（奥多比研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含4，453个YouTube视频剪辑和94个对象类别。这是迄今为止我们所知的最大的视频对象分割数据集，已在http://youtube-vos.org上发布。我们进一步评估了该数据集上现有的几种最先进的视频对象分割算法，旨在为未来新算法的开发建立基线。
2018-09-06 cs.AI cs.CV
YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
我们引入了一个新的大规模数据集的视频URL与密集采样的对象限界框注释称为YouTube的边界框（YT-BB）。该数据集由大约380，000个约19秒长的视频片段组成，自动选择以自然环境中的对象为特征，无需编辑或后处理，记录质量通常类似于手持手机相机。对象表示MS COCO标签集的子集。所有视频片段都是以每秒1帧的速度使用高精度分类标签和边界框进行人工注释的。使用一系列越来越精确的人工注释，确保每个类别和紧密边界框的标签准确率超过95%。最后，我们训练和评估知名的深度网络架构，并报告每帧分类和本地化的基线数据，为未来的工作提供比较点。我们还演示了如何视频的时间连续性可以潜在地用于改善这样的推断。请参阅PDF文件以找到下载数据的URL。我们希望如此大规模的精选语料库的可用性将刺激视频目标检测和跟踪的新进展。
2017-03-24 cs.CV
MetaHarm: Harmful YouTube Video Dataset Annotated by Domain Experts, GPT-4-Turbo, and Crowdworkers
University of California, Davis（加利福尼亚大学戴维斯分校）；University of Warsaw（华沙大学）
针对短视频平台有害内容缺乏全面测量的问题，本文构建了含60,906个潜在有害视频及19,422个由专家、GPT-4-Turbo和众包标注的多模态多类别数据集，支持二分类和六类多标签分类，以促进在线伤害研究与内容缓解。
2025-04-22 cs.CV
5th Place Solution for YouTube-VOS Challenge 2022: Video Object Segmentation
Meituan（美团）
随着深度学习的兴起，视频对象分割（VOS）取得了重大进展。然而，VOS中仍然存在一些棘手的问题，如相似对象容易混淆、微小对象难以发现等，为了解决这些问题，进一步提高VOS的性能，本文提出了一种简单有效的解决方案。在解决方案中，我们首先分析了Youtube-VOS数据集的分布，并通过引入公共静态和视频分割数据集来补充数据集。然后，我们改进了三种具有不同特征的网络结构，并训练了多个网络来学习视频中对象的不同特征。之后，我们使用一种简单的方法来整合所有结果，以确保不同的模型相互补充。最后，进行精细的后处理，以确保准确的视频对象分割与精确的边界。在Youtube-VOS数据集上进行的大量实验表明，该解决方案在Youtube-VOS 2022测试集上的总体得分为86.1%，达到了最先进的性能，在Youtube-VOS Challenge 2022的视频对象分割轨道上排名第五。
2022-06-20 cs.AI cs.CV
AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors
University of Tübingen（图宾根大学）；Imperial College London（帝国理工学院）；KAUST（阿卜杜拉国王科技大学）
本文提出AHOY方法，通过高斯点云和视频扩散先验从真实视频中重建完整可动画3D人体，解决遮挡挑战，提出四点贡献：生成监督、两阶段架构、解耦策略、头身监督。
2026-06-28 cs.CV
Video Analysis of "YouTube Funnies" to Aid the Study of Human Gait and Falls - Preliminary Results and Proof of Concept
Toronto Rehabilitation Institute（多伦多康复研究所）；University of Toronto（多伦多大学）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Sunnybrook Research Institute（桑尼布鲁克研究所）
因为跌倒很有趣，YouTube和其他视频分享网站包含了大量真实生活中的跌倒。我们建议从这些视频中提取步态和平衡信息，以帮助我们更好地了解导致跌倒的一些因素。在一个包含多个（n=14）跌倒/非跌倒的视频中探索概念验证。分析探讨：计算从任意视点捕获的视频中的步态的时空参数;障碍物前最后几步的步态参数与跌倒与未跌倒之间的关系;以及多变量模型在预测存在意外障碍物时的跌倒的预测能力。单应变换校正透视投影失真，并允许一致的跟踪步态参数作为一个人走在场景中的任意方向。合成俯视图允许计算平均步幅长度，合成侧视图允许测量头部的上下运动。在留一法交叉验证中，我们能够正确预测一个人是否会在1 - 4个案例中的11个（78.6%）中跌倒，只需查看在到达障碍物之前的1-4步中的平均步幅和垂直头部运动范围。
2016-10-26 cs.CV
YouTube for Patient Education: A Deep Learning Approach for Understanding Medical Knowledge from User-Generated Videos
University of Utah（犹他大学）；University of Arizona（亚利桑那大学）；Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
YouTube为探索机器学习方法如何改善医疗保健信息传播提供了前所未有的机会。我们提出了一个跨学科的镜头，综合机器学习方法与医疗信息学的主题，以解决开发一个可扩展的算法解决方案，以评估视频从健康素养和患者教育的角度来看的关键问题。我们开发了一种深度学习方法来了解YouTube视频中编码的医学知识水平。初步结果表明，我们可以从YouTube视频中提取医学知识，并根据嵌入的知识对视频进行分类，具有令人满意的性能。深度学习方法在知识提取、自然语言理解和图像分类方面显示出巨大的潜力，特别是在以患者为中心的护理和精准医疗时代。
2018-07-06 cs.CV cs.LG stat.ML
BanClickThumb: A Multimodal Dataset and Transformer Fusion Benchmarks for Clickbait Detection in Bengali YouTube Videos
Department of Computer Science and Engineering, Bangladesh Army University of Science and Technology（孟加拉国陆军科技大学计算机科学与工程系）
针对孟加拉语YouTube视频标题党检测，公开多模态数据集BanClickThumb，用其对单模态和多模态方法进行基准测试，提出多模态模型BanClickFusionFormer，结合ViT和XLM - RoBERTa，证明多模态融合有效性，提供基准支持低资源多模态内容分析研究。
2026-07-21 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Learning to Segment Human by Watching YouTube
Sun Yat-sen University（中山大学）；Adobe Research（奥多比研究院）；SnapChat（色拉布）；National University of Singapore（新加坡国立大学）；AI Institute（360人工智能研究院）
关于人类分割的直觉是，当人类在视频中移动时，视频上下文（例如，外观和运动线索）可以潜在地推断出整个人体的合理掩模信息。受此启发，基于流行的深度卷积神经网络（CNN），我们探索了一个用于人类分割任务的非常弱的监督学习框架，其中只有一个不完美的人类检测器以及大量弱标记的YouTube视频。在我们的解决方案中，视频上下文引导的人类面具推理和基于CNN的分割网络学习相互增强，直到没有进一步的改进收益。在第一步中，通过无监督视频分割将每个视频分解成超体素。然后，通过利用来自不完美的人体检测结果的一元能量和在先前迭代中训练的CNN的预测置信图的图形优化，将超体素内的超像素分类为人类或非人类。在第二步中，视频上下文导出的人类面具被用作训练CNN的直接标签。在具有挑战性的PASCAL VOC 2012语义分割基准上进行的大量实验表明，所提出的框架已经取得了优于所有以前的弱监督方法与对象类或限界框注释。此外，通过增加PASCAL VOC 2012中的注释掩码，我们的方法在人类分割任务上达到了新的最先进的性能。
2018-02-28 cs.CV
Learning to Localize Temporal Events in Large-scale Video Data
University of Cambridge（剑桥大学）；University Pompeu Fabra（庞培法布拉大学）；Intel Corporation（英特尔公司）
我们在Youtube-8 M Segments数据集的背景下解决了大规模视频数据中事件的时间定位问题。视频识别中的这一新兴领域可以使应用程序能够识别视频中特定事件发生的精确时间，这对视频搜索具有广泛的影响。为了解决这个问题，我们提出了两种不同的方法：（1）在精心制作的数据集上的梯度提升决策树模型和（2）基于帧级数据，视频级数据和本地化模型的深度学习模型的组合。这两种方法的组合在第三届Youtube-8 M视频识别挑战赛中获得了第五名。
2019-10-25 cs.CV
Can Language Models Laugh at YouTube Short-form Videos?
Seoul National University（首尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文构建了包含10K个多模态YouTube搞笑视频的ExFunTube数据集，并提出零样本视频到文本提示方法，显著提升了大语言模型对视频幽默的解释能力。
2024-03-31 cs.CL cs.CV
Zero-Shot Imitating Collaborative Manipulation Plans from YouTube Cooking Videos
University of Southern California（南加州大学）
人们经常在网上观看视频，学习如何烹饪新食谱，组装家具或修理电脑。我们希望让机器人拥有同样的能力。这是具有挑战性的;在操纵动作中存在很大的变化，并且一些视频甚至涉及多个人，这些人通过共享和交换对象和工具来协作。此外，学习的表示需要足够通用，以便可转移到机器人系统。另一方面，以前的工作已经表明，人类操作动作的空间具有语言的，层次结构，涉及到操作对象和工具的行动。基于这种理论的语言的行动，我们提出了一个系统的理解和执行演示动作序列从全长，现实世界的烹饪视频在网络上。该系统将一个新的、以前看不见的、用对象标签和边界框注释的烹饪视频作为输入，并输出一个或多个机器人手臂的协作操纵行动计划。我们展示了该系统的性能，在一个标准化的数据集的100个YouTube烹饪视频，以及在6个完整长度的YouTube视频，包括两个参与者之间的合作行动。我们将我们的系统与由最先进的动作检测基线组成的基线系统进行比较，并显示我们的系统实现了更高的动作检测精度。此外，我们还提出了一个开源平台，用于在模拟环境中执行学习到的计划，以及与实际的机器人手臂。
2022-09-26 cs.CV cs.RO
Misleading Metadata Detection on YouTube
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Purdue University（普渡大学）
YouTube是分享视频的领先社交媒体平台。因此，它受到误导性内容的困扰，包括作为事件的真实片段呈现的阶段性视频，具有歪曲背景的视频以及音频/视频内容变形的视频。我们解决了检测这种误导性的视频作为监督分类任务的问题。我们开发了UCNet -一个深度网络来检测虚假视频，并在两个数据集上进行实验-我们创建的VAVD和公开可用的FVC [8]。我们在70：30的FVC分割上进行训练和测试时实现了0.82的宏观平均F分数，而基线模型得分为0.36。我们发现，当在一个数据集上训练并在另一个数据集上测试时，所提出的模型具有很好的泛化能力。
2019-01-25 cs.CL cs.CV eess.IV
YouTube Video Analytics for Patient Engagement: Evidence from Colonoscopy Preparation Videos
University of California, Irvine（加州大学欧文分校）；Arizona State University（亚利桑那州立大学）；Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对医疗视频分析的挑战，构建了从YouTube结肠镜检查准备视频提取医疗信息的分析流水线，结合BiLSTM模型与多分类器实现视频分类，为医疗教育视频内容生产提供可扩展方案与指导。
2024-10-01 cs.CV cs.IR cs.MM
Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度视觉策略学习旨在将原始视觉观察映射到行动，在机器人操作和自动驾驶等控制任务中取得了可喜的成果。然而，它需要与培训环境进行大量的在线交互，这限制了它在现实世界中的应用。与目前流行的无监督特征学习相比，视觉控制任务的特征预训练研究较少。在这项工作中，我们的目标是通过观看长达数小时的未经策划的YouTube视频来预训练驾驶任务的策略表示。具体来说，我们用少量的标记数据训练一个逆动态模型，并用它来预测所有YouTube视频帧的动作标签。然后，提出了一种新的对比策略预训练方法，用于从带有伪动作标签的视频帧中学习动作条件特征。实验表明，所得到的动作条件特征对于下游的强化学习和模仿学习任务获得了实质性的改进，优于以前的无监督学习方法和ImageNet预训练的权重。代码、模型重量和数据可在https://metadriverse.github.io/ACO上获得。
2022-07-17 cs.CV cs.LG cs.RO
Semantic Visual Navigation by Watching YouTube Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在真实世界环境布局中的语义线索和统计优化可以提高在新环境中的导航效率。本文学习并利用这些语义线索，通过简单地观看YouTube视频，在新的环境中导航到感兴趣的对象。这是一个挑战，因为YouTube视频没有行动或目标的标签，甚至可能没有展示最佳行为。我们的方法通过在伪标记的转换四元组（图像，动作，下一个图像，奖励）上使用Q学习来解决这些挑战。我们表明，这种非政策Q学习被动数据是能够学习有意义的语义线索导航。这些线索，当使用在一个层次化的导航策略，导致在视觉上逼真的模拟ObjectGoal任务的效率提高。我们观察到15 - 83%的相对改善，端到端RL，行为克隆，和经典的方法，同时使用最小的直接交互。
2020-10-27 cs.AI cs.CV cs.LG
Learning Vision-and-Language Navigation from YouTube Videos
South China University of Technology（华南理工大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对现有视觉-语言导航方法训练数据有限、泛化性弱的问题，研究者利用YouTube房屋参观视频构建大规模路径-指令数据集，通过熵法建节点、动作感知生成指令、轨迹判断预训练任务挖掘布局知识，在R2R和REVERIE基准上达SOTA。
2023-07-22 cs.CL cs.CV
MigrationNarrate: A Dataset for Detection of Migration Narratives in YouTube Videos
University of Sheffield（谢菲尔德大学）
该研究推出首个用于检测英国移民叙事的多模态数据集MigrationNarrate，包含1115个YouTube视频字幕，结合预训练编码器与大语言模型开展基准测试，为移民叙事检测研究提供关键资源。
2026-08-24 cs.CL cs.CV cs.CY
FinCap: Topic-Aligned Captions for Short-Form Financial YouTube Videos
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）
本文构建 FinCap 数据集，系统评估 MLLM 在金融短视频主题对齐字幕生成中的七种模态组合，发现单视频及选择性双模态常优于全模态。
2025-09-30 cs.CL cs.CV cs.MM
YouTube-ASL: A Large-Scale, Open-Domain American Sign Language-English Parallel Corpus
Google（谷歌）
本文提出 YouTube-ASL，一个约 1000 小时、超 2500 名手语使用者的大规模开放域美国手语-英语平行语料库，并在 How2Sign 上取得 12.39 BLEU 的微调最优结果及首次零样本结果。
2023-10-26 cs.CL cs.CV
Harmful YouTube Video Detection: A Taxonomy of Online Harm and MLLMs as Alternative Annotators
University of California, Davis（加州大学戴维斯分校）；University of Warsaw（华沙大学）
本研究提出视频平台在线危害的六分类法，并验证GPT-4-Turbo在多模态有害视频标注中优于众包工人，扩展了LLMs在多标签多模态场景的应用。
2026-10-19 cs.AI cs.CV cs.CY
MultiHateClip: A Multilingual Benchmark Dataset for Hateful Video Detection on YouTube and Bilibili
Singapore University of Technology and Design（新加坡科技设计大学）；Macquarie University（麦考瑞大学）
本研究构建了覆盖中英双语、含2000条视频的多语言仇恨视频检测基准数据集MultiHateClip，分析了跨文化仇恨视频差异，评估发现现有前沿模型在区分仇恨与冒犯内容上存在不足，为相关研究提供了基础支撑。
2024-08-12 cs.AI cs.CV cs.MM
Unboxing Engagement in YouTube Influencer Videos: An Attention-Based Approach
Ivey Business School, Western University（韦仕敦大学毅伟商学院）；Stephen M. Ross School of Business, University of Michigan（密歇根大学罗斯商学院）
本文提出基于注意力的可解释深度学习框架，融合文本、音频和视频图像预测 YouTube 长视频参与度，发现文本最重要，且前30秒听觉与评论情绪、视觉与赞踩情绪分别相关。
2025-05-11 cs.CL cs.CV cs.LG
Automatic Generation of Labeled Data for Video-Based Human Pose Analysis via NLP applied to YouTube Subtitles
Technische Universität Darmstadt（达姆施塔特工业大学）
针对健身类标注姿态数据集稀缺的问题，提出利用NLP分析YouTube健身视频字幕，自动生成带三类标注的姿态分析数据集，并验证了不同类别在关节可见度、姿态上的显著差异。
2023-05-02 cs.CV cs.LG eess.IV
