YouTube-8M: A Large-Scale Video Classification Benchmark
Google Research(谷歌研究院)
计算机视觉的许多最新进展都归功于大型数据集。用于机器学习的开源软件包和廉价的商品硬件降低了大规模探索新方法的进入门槛。在几天之内训练数百万个例子的模型是可能的。虽然存在用于图像理解的大规模数据集,例如ImageNet,但没有类似大小的视频分类数据集。在本文中,我们介绍了YouTube-8 M,这是最大的多标签视频分类数据集,由约800万个视频(50万小时的视频)组成,用4800个视觉实体的词汇表进行注释。为了获得视频及其标签,我们使用了YouTube视频注释系统,该系统将视频标记为主要主题。虽然标签是机器生成的,但它们具有高精度,并且来自各种基于人类的信号,包括元数据和查询点击信号。我们使用自动和手动策展策略过滤视频标签(知识图谱实体),包括询问人类评分员标签是否在视觉上可识别。然后,我们以每秒一帧的速度对每个视频进行解码,并使用在ImageNet上预先训练的Deep CNN来提取隐藏的表示,然后立即进行分类层。最后,我们压缩了帧特征,并使特征和视频级标签都可供下载。我们在数据集上训练了各种(适度的)分类模型,使用流行的评估指标对其进行评估,并将其作为基线报告。尽管数据集很大,但我们的一些模型使用TensorFlow在一台机器上不到一天的时间内就完成了收敛训练。我们计划发布用于训练TensorFlow模型和计算指标的代码。
2016-09-27 cs.CV
Understanding YouTube Communities via Subscription-based Channel Embeddings
YouTube是全球新闻和娱乐的重要来源,但其规模使得研究该平台上讨论的想法和主题具有挑战性。本文提出了新的方法来发现和分类YouTube频道,使社区和类别的分析平台上使用的数量级更多的渠道比以前的研究中使用的。与其他研究人员使用频道和视频数据作为分类特征不同,这些方法使用了一种自监督学习方法,该方法利用了评论者的公共订阅页面。我们在预测YouTube新闻频道的政治倾向的任务上测试了分类方法,发现它在该任务上的表现优于以前的最佳模型。进一步的实验还表明,使用评论者订阅来发现频道有重要的优势。订阅数据,以及迭代的方法,应用于发现,我们目前的理解,最全面的一套英语社会政治YouTube频道尚未分析。我们尝试使用先前注释的数据集来预测通道的更细粒度的政治标签,并发现我们的模型在大多数顶级标签上的表现优于平均个人评论者。然后将这种细粒度的政治标签模型应用于新发现的英语社会政治频道,以创建一个新的数据集来分析不同政治内容的流量。数据显示,一些标签,如“党派权利”和“阴谋”,在只看最受欢迎的社会政治渠道时,代表性明显不足。通过使用我们的方法,我们能够更准确地了解YouTube上这些社区的规模。
2020-10-19 cs.IR cs.LG cs.SI
Unsupervised Adversarial Visual Level Domain Adaptation for Learning Video Object Detectors from Images
IIT Kharagpur(印度理工学院卡拉格普尔分校)
基于深度学习的对象检测器需要数千个多样化的限界框和类注释示例。虽然近年来随着多个大规模静态图像数据集的发布,图像对象检测器已经显示出快速的进展,但是由于带注释的视频帧的稀缺,视频上的目标检测仍然是一个公开的问题。拥有一个强大的视频对象检测器是视频理解和策划视频中的大规模自动注释的重要组成部分。图像和视频之间的域差异使得图像对象检测器到视频的可移植性次优。最常见的解决方案是使用弱监督注释,其中必须标记视频帧是否存在对象类别。这仍然需要手动操作。在本文中,我们向前迈出了一步,采用了无监督对抗性图像到图像翻译的概念,以扰动静态高质量图像,使其在视觉上与一组视频帧无法区分。我们假设存在完全注释的静态图像数据集和未注释的视频数据集。使用原始数据集的注释在逆向变换的图像数据集上训练对象检测器。使用两个当代基线对象检测器对Youtube-Objects和Youtube-Objects-Subset数据集进行的实验表明,与直接应用原始图像对象检测器相比,这种无监督像素级领域自适应提高了视频帧的泛化性能。此外,与弱监督方法的最新基线相比,我们实现了具有竞争力的性能。本文可以看作是图像平移在跨域目标检测中的一个应用。
2018-10-04 cs.CV
MultiHateClip: A Multilingual Benchmark Dataset for Hateful Video Detection on YouTube and Bilibili
Singapore University of Technology and Design(新加坡科技设计大学);Macquarie University(麦考瑞大学)
本研究构建了覆盖中英双语、含2000条视频的多语言仇恨视频检测基准数据集MultiHateClip,分析了跨文化仇恨视频差异,评估发现现有前沿模型在区分仇恨与冒犯内容上存在不足,为相关研究提供了基础支撑。
2024-08-12 cs.AI cs.CV cs.MM
A Density-Guided Temporal Attention Transformer for Indiscernible Object Counting in Underwater Video
University of Washington(华盛顿大学);National Oceanic and Atmospheric Administration (NOAA)(美国国家海洋和大气管理局)
针对水下视频中难以辨识目标计数的难题,该研究构建了大规模水下视频数据集YoutubeFish-35,并提出结合密度与回归分支的TransVidCount模型,取得了当前最优的计数性能。
2024-03-06 cs.CV
Towards Automatic Detection of Misinformation in Online Medical Videos
University of Michigan(密歇根大学);NYU Langone Health(纽约大学朗格尼医学中心)
近年来,医疗信息的在线共享显著增加,其中视频占此类在线来源的很大一部分。然而,之前的研究表明,YouTube等平台上超过一半的健康相关视频包含误导性信息和偏见。因此,至关重要的是要建立计算工具,可以帮助评估这些视频的质量,使用户可以获得准确的信息,以帮助他们的决定。在这项研究中,我们专注于YouTube视频中错误信息的自动检测。我们选择前列腺癌视频作为我们解决这个问题的切入点。本文的贡献是双重的。首先,我们介绍了一个新的数据集,由250个与前列腺癌相关的视频组成,这些视频手动注释了错误信息。其次,我们探索使用语言,声学和用户参与功能的分类模型的发展,以识别错误信息。使用一系列的消融实验,我们表明,我们可以建立自动模型的准确率高达74%,对应于76.5%的准确率和73.2%的召回错误信息的情况下。
2019-09-04 cs.LG stat.ML
Harmful YouTube Video Detection: A Taxonomy of Online Harm and MLLMs as Alternative Annotators
University of California, Davis(加州大学戴维斯分校);University of Warsaw(华沙大学)
本研究提出视频平台在线危害的六分类法,并验证GPT-4-Turbo在多模态有害视频标注中优于众包工人,扩展了LLMs在多标签多模态场景的应用。
2026-10-19 cs.AI cs.CV cs.CY
Do Image Classifiers Generalize Across Time?
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学)
我们研究了图像分类器对视频中时间扰动的鲁棒性。作为这项研究的一部分,我们构建了两个数据集,ImageNet-Vid-Robust和YTBB-Robust,总共包含57,897张图像,分为3,139组感知相似的图像。我们的数据集分别来自ImageNet-Vid和Youtube-BB,并由人类专家彻底重新注释图像相似性。我们评估了在ImageNet上预训练的各种分类器,并在我们的两个数据集上显示了16和10的中值分类准确率下降。此外,我们评估了三种检测模型,并表明自然扰动会引起分类和定位错误,导致检测mAP的中位数下降14个点。我们的分析表明,视频中自然发生的扰动对在需要可靠和低延迟预测的环境中部署卷积神经网络构成了实质性和现实的挑战
2019-12-09 cs.CV cs.LG stat.ML
An Approach for Self-Training Audio Event Detectors Using Web Data
Carnegie Mellon University(卡内基梅隆大学);NITK Surathkal(NITK 苏拉特卡尔);BITS Pilani(皮拉尼博拉理工学院)
音频事件检测(AED)旨在识别音频和视频记录中的声音。AED采用通常在注释数据集上训练和测试的机器学习算法。然而,现有的数据集是有限的样本数量,因此它是难以建模的声学多样性。因此,我们建议将来自数据集的标记音频和来自网络的未标记音频相结合,以改进声音模型。音频事件检测器在标记的音频上训练,并在从YouTube下载的未标记的音频上运行。每当检测器以高置信度识别任何已知声音时,未标记的音频被用于重新训练检测器。重新训练的检测器的性能进行比较,从原始检测器使用注释的测试集。结果显示AED的改进,并揭示了使用视频中的网络音频的挑战。
2017-06-27 cs.LG cs.MM cs.SD
A real-time spatiotemporal AI model analyzes skill in open surgical videos
Stanford University(斯坦福大学);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院)
开放手术是世界范围内的主要手术形式。人工智能(AI)具有优化手术实践和改善患者预后的潜力,但其努力主要集中在微创技术上。我们的工作克服了训练AI模型的现有数据限制,从YouTube上收集了迄今为止最大的开放手术视频数据集:来自50个国家上传的23个外科手术的1997个视频。使用该数据集,我们开发了一个多任务AI模型,能够实时的【形】理解手术行为、手和工具--手术流程和外科医生技能的构建模块。我们表明,我们的模型概括了不同的手术类型和环境。为了说明这种普遍性,我们直接应用YouTube训练的模型来分析在学术医疗中心前瞻性收集的开放手术,并确定与手部运动效率相关的手术技能的运动学描述符。我们的开放手术注释视频(AVOS)数据集和训练模型将用于进一步开发手术AI。
2021-12-14 cs.AI cs.CV
Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation for autonomous vehicles
Navya(Navya公司)
该研究提出了覆盖多场景的大规模3D点云语义分割数据集Navya3DSeg,同时提出新型序列划分方法与主动学习采样策略,为点云语义分割相关研究提供了新基准与数据支撑。
2023-07-20 cs.CV cs.LG
Measuring Effectiveness of Video Advertisements
University of Pittsburgh(匹兹堡大学)
广告在现代社会是不可避免的。时代广场因其不停地展示广告而臭名昭著。它在全球范围内很受欢迎,较小的城市拥有小型版本的显示器,例如匹兹堡及其在福布斯大道奥克兰的数字作品。东京银座区最近因其高档商店和不断向行人冲击的广告而人气上升。广告也出现在其他媒体上。例如,他们帮助流行的流媒体服务,如Spotify,Hulu和Youtube TV收集大量收入,以降低消费者的每月订阅成本。广告为公司和整个行业提供了额外的资金来源,可以将资源分配给其他商业动机。它们对公司很有吸引力,对消费者来说几乎是不可避免的。广告商面临的一个挑战是检查广告在向其目标人群传达消息方面的有效性或有用性。视频广告不是构建内容的单个静态图像,而是拥有具有变化的场景、演员、对象和复杂性的数百帧数据。因此,衡量视频广告的有效性对于影响数十亿美元的行业至关重要。本文探讨了人类注释的功能和常见的视频处理技术相结合,以预测从Youtube上收集的广告的有效性评级。该任务被视为二元(有效与无效)、四向和五向机器学习分类任务。在这个数据集的准确性和推理方面的第一个发现,以及一些第一个广告研究,在一个小的数据集。在二元、四元和五元任务上的准确率分别达到84%、65%和55%。
2019-01-28 cs.CV
ViDAS: Vision-based Danger Assessment and Scoring
SRM Institute of Science and Technology(SRM科学技术学院);Vellore Institute of Technology(韦洛尔理工学院)
ViDAS数据集包含100个带人类危险评分和时间戳的YouTube视频,利用LLM独立评估并引入MSE分数进行元评估,证明LLM在危险评估中具有类人潜力。
2024-10-01 cs.CV
Class Prototypes based Contrastive Learning for Classifying Multi-Label and Fine-Grained Educational Videos
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学);SRI International(SRI国际)
本文提出一种基于类原型的监督对比学习与多模态transformer方法,解决教育视频细粒度多标签分类问题,并构建了专家标注数据集APPROVE,在多个基准上取得优于基线的表现。
2025-10-13 cs.CV
QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从给定自然语言(NL)用户查询的视频中检测定制的时刻和亮点是一个重要但未充分研究的主题。朝着这一方向努力的挑战之一是缺乏附加说明的数据。为了解决这个问题,我们提出了基于查询的视频亮点(QVHIGHLIGHTS)数据集。它由超过10,000个YouTube视频组成,涵盖广泛的主题,从生活方式vlog视频中的日常活动和旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释有:(1)人类书写的自由形式NL查询,(2)视频中的相关时刻w.r.t.查询,以及(3)所有查询相关剪辑的五点标度显著性分数。这种全面的注释使我们能够开发和评估系统,检测相关的时刻,以及突出的亮点,为多样化,灵活的用户查询。我们还提出了一个强大的基线,这个任务,矩DETR,一个Transformer的编码器-解码器模型,认为时刻检索作为一个直接集预测问题,提取的视频和查询表示作为输入和预测时刻坐标和显着性分数端到端。虽然我们的模型没有利用任何人类先验知识,但我们表明,与精心设计的架构相比,它具有竞争力。通过使用ASR字幕的弱监督预训练,MomentDETR大大优于以前的方法。最后,我们提出了几个消融和可视化的Moment-DETR。数据和代码可在https://github.com/jayleicn/moment_detr上公开获取
2021-11-29 cs.AI cs.CL cs.CV
YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video
Google Brain(谷歌大脑);Google Research(谷歌研究院)
我们引入了一个新的大规模数据集的视频URL与密集采样的对象限界框注释称为YouTube的边界框(YT-BB)。该数据集由大约380,000个约19秒长的视频片段组成,自动选择以自然环境中的对象为特征,无需编辑或后处理,记录质量通常类似于手持手机相机。对象表示MS COCO标签集的子集。所有视频片段都是以每秒1帧的速度使用高精度分类标签和边界框进行人工注释的。使用一系列越来越精确的人工注释,确保每个类别和紧密边界框的标签准确率超过95%。最后,我们训练和评估知名的深度网络架构,并报告每帧分类和本地化的基线数据,为未来的工作提供比较点。我们还演示了如何视频的时间连续性可以潜在地用于改善这样的推断。请参阅PDF文件以找到下载数据的URL。我们希望如此大规模的精选语料库的可用性将刺激视频目标检测和跟踪的新进展。
2017-03-24 cs.CV
Scalable Video-to-Dataset Generation for Cross-Platform Mobile Agents
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究)
本文提出大规模跨平台移动OS导航数据集MONDAY及自动化视频生成框架,提升智能体跨平台泛化性能,助力相关领域研究。
2025-05-19 cs.AI cs.CL cs.CV
Boosting Video Object Segmentation via Space-time Correspondence Learning
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文提出对应感知训练框架,通过无标签对比对应学习增强匹配式视频目标分割的时空匹配鲁棒性,在不增加标注、延迟和架构改动的前提下,于多个基准上稳定提升性能。
2023-04-13 cs.CV
YouTube-GDD: A challenging gun detection dataset with rich contextual information
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动枪支检测系统可以在早期阶段检测到潜在的与枪支有关的暴力,这对公民安全至关重要。在整个系统中,目标检测算法是感知环境的关键,使系统能够检测出手枪、步枪等危险物体。但主流的基于深度学习的目标检测算法严重依赖大规模高质量的标注样本,现有的枪支数据集具有分辨率低、上下文信息少、数据量小的特点。为了促进安全性的发展,这项工作提出了一个新的具有挑战性的数据集,称为YouTube枪支检测数据集(YouTube-GDD)。我们的数据集是从343个高清YouTube视频中收集的,包含5000个精心挑选的图像,其中16064个枪的实例和9046个人的实例被注释。与其他数据集相比,YouTube-GDD是“动态的”,包含丰富的上下文信息,并记录射击过程中枪的形状变化。为了建立枪支检测的基线,我们在YouTube-GDD上评估了YOLOv 5,并分析了其他相关注释信息对枪支检测的影响。YouTube-GDD和后续更新将在https://github.com/UCAS-GYX/YouTube-GDD上发布。
2022-03-08 cs.AI cs.CV
Estimating Generic 3D Room Structures from 2D Annotations
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院);Technical University of Munich(慕尼黑工业大学)
提出一种仅从2D分割掩码自动重建通用3D房间布局的方法,并在RealEstate10k数据集上标注2246个布局,实验验证其高质量。
2023-12-21 cs.CV cs.GR
FIVR: Fine-grained Incident Video Retrieval
Information Technologies Institute (ITI)(信息技术研究所(ITI));Centre for Research and Technology Hellas (CERTH)(希腊研究与技术中心(CERTH));Queen Mary University of London(伦敦玛丽女王大学)
本文介绍了细粒度事件视频检索(FIVR)问题。给定一个查询视频,目标是检索所有相关的视频,考虑到从重复视频到来自同一事件的视频的几种类型的关联。FIVR提供了一个单一的框架,包含几个检索任务作为特殊情况。为了满足所有这些任务的基准测试需求,我们构建并呈现了一个大规模的注释视频数据集,我们称之为FIVR-200 K,它包括225,960个视频。为了创建数据集,我们设计了一个基于近年来从维基百科抓取的重大新闻事件收集YouTube视频的过程,并部署了一个检索管道,用于根据其估计的适用性作为基准自动选择查询视频。我们还设计了一个协议的数据集的注释相对于四种类型的视频协会定义的FIVR。最后,我们报告了对数据集进行实验研究的结果,比较了基于各种视觉描述符开发的五种最先进的方法,突出了当前问题的挑战。
2019-03-24 cs.CV cs.IR cs.MM
DeVAn: Dense Video Annotation for Video-Language Models
ByteDance, Inc.(字节跳动公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出人工标注的 DeVAn 数据集,包含 8.5K 个视频及多人 caption、summary 标注,用于评估视频-语言模型的长短文本生成与检索能力,并比较指标、建立模型基准。
2024-08-09 cs.AI cs.CV
ViDRiP-LLaVA: A Dataset and Benchmark for Diagnostic Reasoning from Pathology Videos
Korea University(韩国大学)
本文提出计算病理学首个整合单图与视频场景的大型多模态模型ViDRiP-LLaVA,构建了4278对思维链指令数据集,通过知识迁移与微调实现视觉诊断推理,为病理视频分析建立新基准。
2025-10-13 cs.AI cs.CL cs.CV
Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited Samples
Anhui University of Technology(安徽工业大学);Southern University of Science and Technology(南方科技大学);University of Warwick(华威大学);United Imaging(联影医疗)
针对新场景标注稀缺问题,提出基于Transformer的跨模态亲和力模块,实现少样本指代视频对象分割,在构建的基准上达到最优性能。
2023-09-05 cs.CV
Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation
University of Washington, Seattle(华盛顿大学西雅图分校);Rochester Institute of Technology(罗切斯特理工学院)
本文通过构建新冠接种经历数据集,分析疫苗后悔现象的普遍性、原因及第一人称与 vicarious 经历差异,评估 LLMs 引入的潜在偏见。
2026-03-18 cs.CY cs.LG cs.SI
MimeQA: Towards Socially-Intelligent Nonverbal Foundation Models
Massachusetts Institute of Technology(麻省理工学院);Imperial College London(伦敦帝国理工学院)
MimeQA通过引入非语言互动数据集,评估视频大语言模型在非语言社会推理中的表现,发现其准确率较低,人类表现更优。
2025-11-30 cs.AI cs.CL cs.CV
ToxVidLM: A Multimodal Framework for Toxicity Detection in Code-Mixed Videos
Indian Institute of Technology Patna(印度理工学院巴特那分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对低资源语码混合视频有害内容检测研究不足的问题,本文构建了首个印地语-英语混合视频有害内容检测基准数据集,并提出包含三大模块的多模态多任务框架ToxVidLM,实现了94.29%的准确率和94.35%的加权F1值。
2024-07-14 cs.AI cs.CL cs.CV
YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos
East China Normal University(华东师范大学)
针对室内3D语义占据预测数据稀缺的问题,提出YouTube-Occ框架,通过自动化数据流水线与双对齐预训练策略,在NYUv2等基准上实现性能提升,代码数据将公开。
2026-08-06 cs.CV
ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech
Macquarie University(麦考瑞大学);MBZUAI(穆罕默德·本·拉希德人工智能研究所);DSEU(德里国家理工学院);Department of Information and Computer Science, KFUPM(科威特石油大学信息与计算机科学系);Stanford University(斯坦福大学)
针对社交媒体上针对儿童的仇恨言论问题,构建了大规模英文数据集ChildGuard,包含351,877条标注实例,覆盖三个年龄段,并评估了多种模型性能。
2026-06-16 cs.CL cs.SD eess.AS
Mining YouTube - A dataset for learning fine-grained action concepts from webly supervised video data
University of Bonn(波恩大学)
动作识别目前主要集中在手选预唇动作的分类问题上,并取得了令人瞩目的成果。但是,随着当前数据集的性能甚至达到上限,该领域的下一步似乎必须超越这种完全监督的分类。克服这些问题的一种方法是转向限制较少的场景。在这种情况下,我们提出了一个大规模的现实世界的数据集,旨在评估学习技术的人类行为识别超越手工制作的数据集。为此,我们再次开始收集数据的过程,并从250个烹饪视频的测试集的注释开始。然后通过在免费可用视频的字幕内搜索相应的注释类来收集训练数据。数据集的独特性归因于收集数据和训练的整个过程不涉及任何人为干预。为了解决这类训练数据产生的语义不一致的问题,我们进一步提出了一个语义层次结构的挖掘类。
2019-06-03 cs.CV
Zero-Shot Imitating Collaborative Manipulation Plans from YouTube Cooking Videos
University of Southern California(南加州大学)
人们经常在网上观看视频,学习如何烹饪新食谱,组装家具或修理电脑。我们希望让机器人拥有同样的能力。这是具有挑战性的;在操纵动作中存在很大的变化,并且一些视频甚至涉及多个人,这些人通过共享和交换对象和工具来协作。此外,学习的表示需要足够通用,以便可转移到机器人系统。另一方面,以前的工作已经表明,人类操作动作的空间具有语言的,层次结构,涉及到操作对象和工具的行动。基于这种理论的语言的行动,我们提出了一个系统的理解和执行演示动作序列从全长,现实世界的烹饪视频在网络上。该系统将一个新的、以前看不见的、用对象标签和边界框注释的烹饪视频作为输入,并输出一个或多个机器人手臂的协作操纵行动计划。我们展示了该系统的性能,在一个标准化的数据集的100个YouTube烹饪视频,以及在6个完整长度的YouTube视频,包括两个参与者之间的合作行动。我们将我们的系统与由最先进的动作检测基线组成的基线系统进行比较,并显示我们的系统实现了更高的动作检测精度。此外,我们还提出了一个开源平台,用于在模拟环境中执行学习到的计划,以及与实际的机器人手臂。
2022-09-26 cs.CV cs.RO
Learning to Segment Human by Watching YouTube
Sun Yat-sen University(中山大学);Adobe Research(奥多比研究院);SnapChat(色拉布);National University of Singapore(新加坡国立大学);AI Institute(360人工智能研究院)
关于人类分割的直觉是,当人类在视频中移动时,视频上下文(例如,外观和运动线索)可以潜在地推断出整个人体的合理掩模信息。受此启发,基于流行的深度卷积神经网络(CNN),我们探索了一个用于人类分割任务的非常弱的监督学习框架,其中只有一个不完美的人类检测器以及大量弱标记的YouTube视频。在我们的解决方案中,视频上下文引导的人类面具推理和基于CNN的分割网络学习相互增强,直到没有进一步的改进收益。在第一步中,通过无监督视频分割将每个视频分解成超体素。然后,通过利用来自不完美的人体检测结果的一元能量和在先前迭代中训练的CNN的预测置信图的图形优化,将超体素内的超像素分类为人类或非人类。在第二步中,视频上下文导出的人类面具被用作训练CNN的直接标签。在具有挑战性的PASCAL VOC 2012语义分割基准上进行的大量实验表明,所提出的框架已经取得了优于所有以前的弱监督方法与对象类或限界框注释。此外,通过增加PASCAL VOC 2012中的注释掩码,我们的方法在人类分割任务上达到了新的最先进的性能。
2018-02-28 cs.CV
FinCap: Topic-Aligned Captions for Short-Form Financial YouTube Videos
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
本文构建 FinCap 数据集,系统评估 MLLM 在金融短视频主题对齐字幕生成中的七种模态组合,发现单视频及选择性双模态常优于全模态。
2025-09-30 cs.CL cs.CV cs.MM
The Do's and Don'ts for CNN-based Face Verification
UMIACS(马里兰大学高等计算机研究所);University of Maryland, College Park(马里兰大学帕克分校)
虽然研究界似乎已经就获取注释数据的方法、CNN的设计和训练达成了共识,但仍有许多问题有待回答。在本文中,我们探讨了以下问题,是至关重要的人脸识别研究:(一)我们可以训练静态图像和期望系统的工作视频?(ii)更深的数据集比更宽的数据集更好吗?(iii)添加标签噪声是否会提高深度网络的性能?(iv)人脸识别需要对齐吗?我们通过使用CASIA-WebFace,UMDFaces和一个新的视频数据集训练CNN,并在YouTube- Faces,IJB-A和UMDFaces数据集的不相交部分上进行测试来解决这些问题。我们的新数据集将公开提供,其中包含22,075个视频和从中提取的3,735,476个人类注释帧。
2017-09-06 cs.CV
HODOR: High-level Object Descriptors for Object Re-segmentation in Video Learned from Static Images
RWTH Aachen University(亚琛工业大学);Carnegie Mellon University(卡内基梅隆大学)
用于视频对象分割(VOS)的现有最先进的方法学习帧之间的低级像素到像素对应以跨视频传播对象掩模。这需要大量的密集注释的视频数据,这是昂贵的注释,并且由于视频内的帧高度相关而在很大程度上是冗余的。有鉴于此,我们提出HODOR:一种新的方法,有效地利用注释的静态图像理解对象的外观和场景上下文来处理VOS。我们编码的对象实例和场景信息从图像帧到强大的高级描述符,然后可以用来重新分割这些对象在不同的帧。因此,与没有视频注释的现有方法相比,HODOR在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。在没有任何架构修改的情况下,HODOR还可以通过利用循环一致性从单个注释视频帧周围的视频上下文中学习,而其他方法依赖于密集的时间一致的注释。源代码可从以下网址获得:https://github.com/Ali2500/HODOR
2022-07-15 cs.AI cs.CV
The Video Genome
BBK Technologies ltd.(BBK科技有限公司);Technion(以色列理工学院)
互联网技术的快速发展导致了公共领域中可用的视频数据的爆炸性增长,并在分析、组织、管理和控制这些内容方面带来了前所未有的挑战。在视频分析中遇到的问题,例如在大型数据库中识别视频(例如在YouTube中检测盗版内容),将视频片段放在一起,在不同版本的视频之间找到相似性和共同祖先,在遗传研究和DNA和蛋白质序列分析中也有类似的问题。在本文中,我们利用基因序列和视频之间的类比,并提出了一种基于基因组研究的视频分析方法。将视频信息表示为视频DNA序列并应用生物信息学算法可以在大规模数据库中搜索,匹配和比较视频。我们展示了一个应用程序,基于内容的元数据之间的映射版本的注释视频。
2010-03-27 cs.CV
Video Mask Transfiner for High-Quality Video Instance Segmentation
The Hong Kong University of Science and Technology(香港科技大学);ETH Zürich(苏黎世联邦理工学院);Kuaishou Technology(快手科技)
虽然视频实例分割(VIS)已经取得了快速的进展,但当前的方法难以预测具有准确边界细节的高质量掩模。此外,预测的分割往往随着时间的推移而波动,这表明时间一致性线索被忽视或没有充分利用。在本文中,我们着手解决这些问题,目的是实现VIS的高度详细和时间上更稳定的掩模预测。我们首先提出了视频掩码Transfiner(VMT)的方法,能够利用细粒度的高分辨率功能,由于一个高效的视频Transformer结构。我们的VMT检测和组稀疏的容易出错的时空区域的视频片段中的每个轨迹,然后使用本地和实例级线索进行细化。其次,我们发现流行的YouTube-VIS数据集的粗糙边界注释构成了一个主要的限制因素。因此,基于我们的VMT架构,我们设计了一个自动化的注释细化方法,通过迭代训练和自我校正。为了对VIS的高质量掩模预测进行基准测试,我们引入了HQ-YTVIS数据集,该数据集由手动重新注释的测试集和我们自动细化的训练数据组成。我们将VMT与HQ-YTVIS以及Youtube-VIS、OVIS和BDD 100 K MOTS基准测试中最新的最先进方法进行了比较。实验结果清楚地表明,我们的方法分割复杂和动态的对象,通过捕捉精确的细节的功效和有效性。
2022-07-28 cs.CV
End-to-End Learning of Visual Representations from Uncurated Instructional Videos
ENS/Inria(巴黎高等师范学院/法国国家信息与自动化研究所);DeepMind;CIIRC CTU(捷克技术大学信息、机器人与控制研究所);VGG Oxford(牛津大学视觉几何组)
注释视频是繁琐的,昂贵的,不可扩展的。然而,许多强大的视频模型仍然依赖于手动注释的数据。随着最近HowTo 100 M数据集的引入,叙事视频现在提供了在没有人工监督的情况下学习视频表示的可能性。在这项工作中,我们提出了一种新的学习方法,MIL-NCE,能够解决叙事视频固有的错位。通过这种方法,我们能够从头开始学习强大的视频表示,而不需要任何手动注释。我们在八个数据集上评估了四个下游任务的表示:动作识别(HMDB-51,UCF-101,Kinetics-700),文本到视频检索(YouCook 2,MSR-VTT),动作本地化(YouTube-8 M Segments,CrossTask)和动作分割(COIN)。我们的方法优于所有已发布的自监督方法,以及几个完全监督的基线。
2020-08-23 cs.CV
Quo Vadis, Skeleton Action Recognition ?
IIIT Hyderabad(海得拉巴国际信息技术学院)
在本文中,我们研究了当前和即将到来的前沿景观的基于机器人的人类动作识别。为了研究野外的动作识别,我们引入了Skeletics-152,这是一个来自Kinetics-700(一个大规模动作数据集)的RGB视频的策划和3-D姿势注释子集。我们扩展我们的研究,包括上下文外的行动,通过引入mimeton-mimetics,一个数据集来自最近推出的Mimetics数据集。我们还介绍了Metaphorics,这是一个带有流行社交游戏Dumb Charades和解释性舞蹈表演的标题风格注释YouTube视频的数据集。我们在NTU-120数据集上对最先进的模型进行基准测试,并对结果进行多层次评估。在新引入的数据集上对NTU-120的最佳表现者进行基准测试的结果揭示了野外行动引起的挑战和领域差距。总的来说,我们的工作表征了现有方法和数据集的优势和局限性。通过引入的数据集,我们的工作为人类动作识别开辟了新的领域。
2021-04-07 cs.CV cs.GR cs.MM
Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery
Harvard University(哈佛大学);Tsinghua University(清华大学);Stanford University(斯坦福大学)
开放手术或非腹腔镜手术占所有手术室手术的绝大多数,但很少有工具可以客观地评估这些技术。目前的努力涉及基于人类专家的视觉评估。我们利用计算机视觉的进步,引入一种自动化的方法来分析手术执行的视频。一个国家的最先进的卷积神经网络架构的目标检测被用来检测开放手术视频中的手术手。通过将模型预测与快速对象跟踪器相结合来扩展自动评估,以实现外科医生特定的手部跟踪。为了训练我们的模型,我们使用了YouTube上公开的开放手术视频,并用手术手的空间边界框对这些视频进行了注释。我们的模型对操作手的空间检测显著优于使用预先存在的手检测数据集实现的检测,并允许洞察术中运动模式和运动经济性。
2020-12-13 cs.CV
Video-Based Sexual Harassment Detection Using Fine-Tuned Video Transformers
Manarat International University(玛纳拉特国际大学);Florida Polytechnic University(佛罗里达理工大学)
针对基于视频的性骚扰检测研究缺口,扩展SHV数据集至600个视频,微调VideoMAE、ViViT、TimeSformer模型,TimeSformer在扩展SHV测试集获92.27%最高准确率,完成相关模型全面评估。
2026-10-14 cs.CV
TMT-VIS: Taxonomy-aware Multi-dataset Joint Training for Video Instance Segmentation
The University of Hong Kong(香港大学);University of California, Merced(加州大学默塞德分校);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
针对视频实例分割中多数据集联合训练导致的类别注意力稀释问题,提出TMT-VIS模型,通过两阶段类别聚合模块注入类别先验,在四个基准上取得最先进性能。
2024-03-17 cs.CV
Hollywood in Homes: Crowdsourcing Data Collection for Activity Understanding
The Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);Inria(法国国家信息与自动化研究所);University of Washington(华盛顿大学)
计算机视觉有很大的潜力来帮助我们的日常生活,通过寻找丢失的钥匙,浇花或提醒我们吃药。为了成功完成这些任务,计算机视觉方法需要从我们日常动态场景的真实和多样化的例子中进行训练。虽然大多数这样的场景并不特别令人兴奋,但它们通常不会出现在YouTube、电影或电视广播中。那么,我们如何收集足够多的代表我们生活的多样化但无聊的样本呢?我们提出了一种新的好莱坞在家里的方法来收集这些数据。我们不是在实验室里拍摄视频,而是通过分发和众包视频创作的整个过程,从脚本编写到视频录制和注释,来确保多样性。在这个过程之后,我们收集了一个新的数据集,Charades,数百人在自己的家中录制视频,表演日常活动。该数据集由9,848个平均长度为30秒的注释视频组成,显示了来自三大洲的267人的活动。每个视频都由多个自由文本描述,动作标签,动作间隔和交互对象的类别进行注释。Charades总共为157个动作类提供了27,847个视频描述,66,500个时间定位间隔,为46个对象类提供了41,104个标签。使用这些丰富的数据,我们评估并提供基准结果的几个任务,包括动作识别和自动描述生成。我们相信,这个数据集的真实性,多样性和随意性将为计算机视觉社区带来独特的挑战和新的机遇。
2016-07-26 cs.CV
Benchmarking Vision-Language Models on Optical Character Recognition in Dynamic Video Environments
VideoDB
本文提出动态视频环境OCR任务的开源基准,含1477个多领域标注帧,对比3个先进VLMs与传统OCR系统,分析其优劣势并公开资源以推动相关研究。
2025-02-10 cs.CV
EvtSlowTV -- A Large and Diverse Dataset for Event-Based Depth Estimation
University of Surrey(萨里大学)
本文提出大规模事件相机数据集EvtSlowTV,包含超130亿事件,并证明其用于自监督深度估计可提升模型对复杂场景和运动的泛化能力。
2025-11-04 cs.AI cs.CV cs.LG
UVOSAM: A Mask-free Paradigm for Unsupervised Video Object Segmentation via Segment Anything Model
提出UVOSAM,一种基于SAM和STD-Net跟踪器的无掩膜无监督视频目标分割范式,通过时空解耦可变形注意力提升框提示质量,在多个数据集上超越掩膜监督方法。
2025-07-08 cs.CV
Unconstrained Still/Video-Based Face Verification with Deep Convolutional Neural Networks
University of Maryland(马里兰大学)
在过去的五年中,基于深度卷积神经网络(DCNN)的方法在目标检测和识别问题上表现出令人印象深刻的性能改进。这是由于大型注释数据集的可用性,对输入图像和类别标签之间的非线性映射的更好理解以及GPU的可负担性。在本文中,我们提出了无约束人脸识别的深度学习系统的设计细节,包括人脸检测,关联,对齐和人脸验证模块。使用IARPA Janus基准A(IJB-A)、JANUS挑战集2(JANUS CS2)和LFW数据集进行定量性能评估。IJB-A数据集包括500个受试者的真实无约束人脸,这些受试者具有显著的姿势和光照变化,这比野生标签人脸(LFW)和Youtube人脸(YTF)数据集要困难得多。JANUS CS2是IJB-A的扩展版本,它不仅包含IJB-A的所有图像/帧,还包含用于评估基于视频的人脸验证系统的原始视频。然后讨论了DCNN在人脸验证问题中的一些开放问题。
2017-07-18 cs.CV
LoANs: Weakly Supervised Object Detection with Localizer Assessor Networks
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
最近,深度神经网络在目标检测和识别任务上取得了令人瞩目的表现。这种成功的原因主要是基于大规模的、完全注释的数据集的可用性,但是创建这样的数据集是一项复杂且昂贵的任务。在本文中,我们提出了一种新的弱监督目标检测的方法,简化了收集数据的过程中训练的对象检测器。我们训练一个由两个模特组成的团体,以学生-教师的方式一起工作。我们的学生(定位器)是学习定位对象的模型,教师(评估器)评估定位的质量并向学生提供反馈。学生使用这种反馈来学习如何定位对象,因此完全由教师监督,因为我们没有使用标签来训练定位器。在我们的实验中,我们证明了我们的模型对噪声非常鲁棒,并且与最先进的完全监督方法相比具有竞争力的性能。我们还展示了基于一些视频(例如从YouTube下载的)和人工生成的数据创建新数据集的简单性。
2018-11-15 cs.CV
Context Matters: Refining Object Detection in Video with Recurrent Neural Networks
University of California San Diego(加州大学圣迭戈分校);Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
考虑到大量的在线视频,以及静态图像的目标检测的最新突破,视频中的目标检测提供了一个有前途的新领域。然而,运动模糊和压缩伪影会导致大量的帧级可变性,即使是在看起来平滑的视频中。此外,视频数据集往往具有稀疏注释的帧。我们提出了一个新的框架,用于提高视频中的目标检测,捕获时间上下文,并鼓励预测的一致性。首先,我们训练一个伪标记器,即一个用于目标检测的域适应卷积神经网络。伪标记器首先在标记帧的子集上单独训练,然后随后应用于所有帧。然后,我们训练一个递归神经网络,该网络将伪标记帧的序列作为输入,并优化一个目标,该目标鼓励目标帧的准确性和连续帧之间的一致性。该方法结合了目标框架的强监督,上下文框架的弱监督,以及通过平滑惩罚的正则化。我们的方法实现了68.73的平均精度(mAP),比Youtube-Video Objects数据集最强的基于图像的基线提高了7.1。我们的实验表明,相邻帧可以提供有价值的信息,即使没有标签。
2016-07-19 cs.CV
Learning Spatiotemporal Features via Video and Text Pair Discrimination
Nanjing University(南京大学)
当前的视频表示严重依赖于从手动注释的视频数据集学习,这是耗时且昂贵的获取。我们观察到视频自然伴随着丰富的文本信息,如YouTube标题和Instagram标题。在本文中,我们利用这种视觉-文本连接以有效的弱监督方式学习时空特征。我们提出了一个通用的跨模态对歧视(CPD)的框架来捕捉视频和其相关文本之间的这种相关性。具体而言,我们采用噪声对比估计来解决大量成对实例类所带来的计算问题,并设计了一个实用的课程学习策略。我们在标准视频数据集(Kinetics-210 k)和未经策划的网络视频数据集(Instagram-300 k)上训练我们的CPD模型以证明其有效性。在没有进一步微调的情况下,学习的模型在线性分类协议下获得了对Kinetics的动作分类的竞争结果。此外,我们的视觉模型提供了一个有效的初始化,以微调下游任务,这产生了显着的性能增益UCF 101和HMDB 51上的动作识别,与现有的最先进的自我监督训练方法相比。此外,我们的CPD模型产生了一个新的艺术状态的zero-shot动作识别UCF 101直接利用学习的视觉文本嵌入。该代码将在https://github.com/MCG-NJU/CPD-Video上提供。
2021-01-28 cs.CV
Watch and Learn: Leveraging Expert Knowledge and Language for Surgical Video Understanding
Technical University of Munich(慕尼黑工业大学)
针对手术标注数据稀缺问题,本文提出视频-语言预训练与参数高效微调框架,提升阶段分割、零样本与少样本性能,并首次实现手术视频密集视频字幕。
2025-03-14 cs.CV
MultiClimate: Multimodal Stance Detection on Climate Change Videos
LMU Munich(慕尼黑大学);Center for Information and Language Processing(信息与语言处理中心);MaiNLP(迈自然语言处理实验室);MCML(慕尼黑计算与机器学习实验室)
本文提出首个气候变化多模态立场检测数据集MultiClimate,通过融合视觉与语言模型实现最优性能,并发现大语言模型在该任务上仍具挑战。
2024-09-26 cs.CL cs.CV
ELVIS: Enhance Low-Light for Video Instance Segmentation in the Dark
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室)
本文提出ELVIS框架,通过模拟低光视频管道和改进解码器,提升视频实例分割在低光条件下的性能,实验显示在合成数据集上提升3.7AP,在真实低光视频上超越基线2.8AP。
2026-10-15 cs.CV
RealHePoNet: a robust single-stage ConvNet for head pose estimation in the wild
University of Cordoba(科尔多瓦大学)
图像中的人体头部姿态估计在诸如人机交互或视频监控任务的许多领域中具有应用。在这项工作中,我们解决这个问题,这里定义为垂直(倾斜/俯仰)和水平(摇摄/偏航)角度的估计,通过使用一个单一的卷积神经网络(ConvNet)模型,试图平衡精度和推理速度,以最大限度地提高其在现实世界中的应用。我们的模型是在两个数据集的组合上训练的:“指向”04“(旨在覆盖广泛的姿势)和“野外注释的面部标志”(为了提高我们的模型在真实世界图像上使用的鲁棒性)。组合数据集的三个不同分区被定义并用于训练、验证和测试目的。作为这项工作的结果,我们已经获得了一个经过训练的ConvNet模型,称为RealHePoNet,它给出了一个低分辨率的灰度输入图像,并且不需要使用面部标志,能够以低误差估计倾斜和平移角度(测试分区上的平均误差约为4.4°)。此外,鉴于其较低的推理时间(每个头约6 ms),我们认为我们的模型即使与中等规格的硬件(即GTX 1060 GPU)配对也是可用的。* 代码请访问:https://github.com/rafabs97/headpose_final * 演示视频请访问:https://www.youtube.com/watch? v=2UeuXh5DjAE
2020-11-03 cs.AI cs.CV