Hierarchical Label Inference for Video Classification
Simon Fraser University（西蒙弗雷泽大学）
视频是高维结构化数据的丰富来源，具有各种粒度级别的交互组件。为了提高对无约束互联网视频的理解，重要的是要考虑标签在不同抽象级别上的作用。在本文中，我们考虑使用双向推理神经网络（BINN）进行基于图的推理，在标签空间的视频分类任务。我们利用标签之间固有的层次结构，增加粒度。BINN在YouTube-8 M大规模多标签视频数据集的第一和第二版本上进行了评估。我们的结果证明了BINN的有效性，与基线模型相比取得了显着的改进。
2018-01-21 cs.CV
MigrationNarrate: A Dataset for Detection of Migration Narratives in YouTube Videos
University of Sheffield（谢菲尔德大学）
该研究推出首个用于检测英国移民叙事的多模态数据集MigrationNarrate，包含1115个YouTube视频字幕，结合预训练编码器与大语言模型开展基准测试，为移民叙事检测研究提供关键资源。
2026-08-24 cs.CL cs.CV cs.CY
Structured Label Inference for Visual Understanding
图像和视频等视觉数据包含丰富的结构化语义标签源以及广泛的交互组件。视觉内容可以被分配有描述主要组件的细粒度标签、描述高级抽象的粗粒度标签或揭示属性的一组标签。这种分类在不同的，相互作用的标签层显示了潜在的基于图形的编码的标签信息。在本文中，我们利用这种丰富的结构，在标签空间中执行基于图的推理，用于许多任务：多标签图像和视频分类以及未修剪视频中的动作检测。我们考虑使用双向推理神经网络（BINN）和结构化推理神经网络（SINN）在标签空间中执行基于图的推理，并提出了一种基于长短期记忆（LSTM）的扩展，用于利用未修剪视频上的活动进展。这些方法在以下数据集上进行了评估：（i）用于多标签图像分类的动物属性（AwA），场景理解（SUN）和NUS-WIDE数据集，（ii）用于多标签视频分类的YouTube-8 M大规模数据集的前两个版本，以及（iii）用于动作检测的THUMOS'14和MultiTHUMOS视频数据集。我们的研究结果证明了结构化标签推理在这些具有挑战性的任务中的有效性，实现了对基线的显着改进。
2018-02-18 cs.CV
Class Prototypes based Contrastive Learning for Classifying Multi-Label and Fine-Grained Educational Videos
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）；SRI International（SRI国际）
本文提出一种基于类原型的监督对比学习与多模态transformer方法，解决教育视频细粒度多标签分类问题，并构建了专家标注数据集APPROVE，在多个基准上取得优于基线的表现。
2025-10-13 cs.CV
Masked Cross-image Encoding for Few-shot Segmentation
University of Technology Sydney（悉尼科技大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
针对小样本分割中现有方法忽略支持-查询特征间上下文与依赖关系的问题，提出掩码跨图像编码方法，通过捕捉通用视觉属性、学习双向图像依赖增强特征交互，在两个基准上展现出更优的元学习能力。
2023-08-22 cs.CV
Label Denoising with Large Ensembles of Heterogeneous Neural Networks
Steklov Mathematical Institute（斯捷克洛夫数学研究所）；Neuromation OU；Samsung AI Center（三星人工智能中心）
尽管最近在基于各种卷积架构的计算机视觉方面取得了进展，但视频理解仍然是一个重要的挑战。在这项工作中，我们提出并讨论了基于YouTube-8 M数据集的大规模视频分类（标记）问题的顶级解决方案。我们展示并比较了预处理、数据增强、模型架构和模型组合的不同方法。我们的最终模型是基于一个大的合奏视频和帧级模型，但适合而有限的硬件限制。我们采用了一种基于知识蒸馏的方法来处理原始数据集中的噪声标签，并采用最近发展起来的混合技术来改进基本模型。
2019-01-15 cs.CV cs.LG
Bayesian Joint Modelling for Object Localisation in Weakly Labelled Images
我们解决的问题，在图像和视频中的边界框弱标签的对象的本地化。这种弱监督的对象定位问题在过去已经使用判别模型来解决，其中每个对象类独立于其他类进行定位。本文提出了一种基于贝叶斯联合主题建模的新框架，该框架与现有框架的显著不同之处在于：（1）所有前景对象类都在一个单一的生成模型中联合建模，该生成模型对多个对象共存进行编码，以便“解释”推理可以解决歧义并导致更好的学习和定位。(2)图像背景在各个类之间共享，以更好地了解不同的环境并“推出”感兴趣的对象。(3)我们的模型可以通过弱标记和未标记数据的混合来学习，从而可以利用互联网上大量的未标记图像进行学习。此外，贝叶斯公式使得能够利用各种类型的先验知识来补偿弱标记数据提供的有限监督，以及用于迁移学习的贝叶斯领域自适应。在PASCAL VOC，ImageNet和YouTube-Object视频数据集上进行的大量实验证明了我们的贝叶斯联合模型对弱监督对象定位的有效性。
2017-06-19 cs.CV
Non-local NetVLAD Encoding for Video Classification
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
本文介绍了我们为Google AI组织的2 $^\text{nd}$ YouTube-8 M视频理解挑战所提供的解决方案。与Kinetics和Moments等视频识别基准不同，YouTube-8 M挑战赛提供了预提取的视觉和音频特征，而不是原始视频。在这个挑战中，提交的模型被限制在1GB以内，这鼓励参与者专注于构建一个强大的单一模型，而不是整合一堆模型的结果。我们的系统将六个不同的子模型融合到一个计算图中，这些子模型分为三个家族。更具体地说，最有效的系列是具有遵循NetVLAD编码的非局部操作的模型。另外两个系列型号分别是Soft-BoF和GRU。为了进一步提高单个模型的性能，对不同检查点的模型参数进行平均。实验结果表明，我们提出的系统可以有效地执行视频分类任务，达到0.88763的公开测试集和0.88704的私人集的差距@20，分别。我们最终在YouTube-8 M视频理解挑战中排名第四。
2018-09-29 cs.CV
Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications
University of Pennsylvania（宾夕法尼亚大学）；Toyota Research Institute（丰田研究所）
以自我为中心的视频为人类行为的高保真建模提供了细粒度的信息。手和交互对象是理解观众行为和意图的一个关键方面。我们提供了一个标记的数据集，由11，243个以自我为中心的图像组成，每个像素都有手和物体的分割标签，这些图像在各种日常活动中进行交互。我们的数据集是第一个标记详细的手-物体接触边界的数据集。我们引入了一个上下文感知的组成数据增强技术，以适应外的分布YouTube自我为中心的视频。我们表明，我们强大的手对象分割模型和数据集可以作为一个基础工具，以提高或使几个下游的视觉应用，包括手状态分类，视频活动识别，3D网格重建的手对象的相互作用，和视频修复的手对象前景在以自我为中心的视频。数据集和代码可在https://github.com/owenzlz/EgoHOS上获得
2022-08-07 cs.CV
Unconstrained Face Verification using Deep CNN Features
University of Maryland, College Park（马里兰大学帕克分校）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
在本文中，我们提出了一种基于深度卷积特征的无约束人脸验证算法，并在新发布的IARPA Janus Benchmark A（IJB-A）数据集上对其进行了评估。IJB-A数据集包括来自500个主题的真实世界无约束人脸，具有完整的姿势和照明变化，这比传统的野生标签人脸（LFW）和Youtube人脸（YTF）数据集要难得多。使用CASIA-WebFace数据集训练深度卷积神经网络（DCNN）。在IJB-A数据集上进行了大量的实验。
2016-03-02 cs.CV
MultiHateClip: A Multilingual Benchmark Dataset for Hateful Video Detection on YouTube and Bilibili
Singapore University of Technology and Design（新加坡科技设计大学）；Macquarie University（麦考瑞大学）
本研究构建了覆盖中英双语、含2000条视频的多语言仇恨视频检测基准数据集MultiHateClip，分析了跨文化仇恨视频差异，评估发现现有前沿模型在区分仇恨与冒犯内容上存在不足，为相关研究提供了基础支撑。
2024-08-12 cs.AI cs.CV cs.MM
Non-parametric Contextual Relationship Learning for Semantic Video Object Segmentation
Nokia Technologies（诺基亚技术公司）；Tampere University of Technology（坦佩雷理工大学）
该研究提出一种基于图的非参数上下文关系学习方法，建模视频语义时空上下文并整合进CRF实现区域语义标注，在YouTube-Objects数据集上性能超越现有最优方法。
2024-07-08 cs.CV
YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos
East China Normal University（华东师范大学）
针对室内3D语义占据预测数据稀缺的问题，提出YouTube-Occ框架，通过自动化数据流水线与双对齐预训练策略，在NYUv2等基准上实现性能提升，代码数据将公开。
2026-08-06 cs.CV
The Monkeytyping Solution to the YouTube-8M Video Understanding Challenge
Tsinghua University（清华大学）
本文介绍了monkeytyping团队的最终解决方案，他们在YouTube-8 M视频理解挑战赛中获得第二名。本次挑战中使用的数据集是多标签视频分类的大规模基准。我们扩展了[1]中的工作，并提出了几个改进的帧序列建模。我们提出了一种称为Chaining的网络结构，可以更好地捕获标签之间的交互。此外，我们报告我们的方法在处理多尺度信息和注意力集中。此外，我们发现使用模型集成的输出作为训练的侧目标可以提高单个模型的性能。我们报告我们的实验，装袋，升压，级联和堆叠，并提出了一个堆叠算法称为注意加权堆叠。我们最终提交的是一个由74个子模型组成的集合，所有这些都在附录中列出。
2017-06-16 cs.CV
YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
我们引入了一个新的大规模数据集的视频URL与密集采样的对象限界框注释称为YouTube的边界框（YT-BB）。该数据集由大约380，000个约19秒长的视频片段组成，自动选择以自然环境中的对象为特征，无需编辑或后处理，记录质量通常类似于手持手机相机。对象表示MS COCO标签集的子集。所有视频片段都是以每秒1帧的速度使用高精度分类标签和边界框进行人工注释的。使用一系列越来越精确的人工注释，确保每个类别和紧密边界框的标签准确率超过95%。最后，我们训练和评估知名的深度网络架构，并报告每帧分类和本地化的基线数据，为未来的工作提供比较点。我们还演示了如何视频的时间连续性可以潜在地用于改善这样的推断。请参阅PDF文件以找到下载数据的URL。我们希望如此大规模的精选语料库的可用性将刺激视频目标检测和跟踪的新进展。
2017-03-24 cs.CV
The Runner-up Solution for YouTube-VIS Long Video Challenge 2022
Huazhong University of Science and Technology（华中科技大学）；ByteDance Inc.（字节跳动公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本技术报告介绍了我们为ECCV 2022 YouTube-VIS长视频挑战赛提供的第二名解决方案。我们采用先前提出的在线视频实例分割方法IDOL的这一挑战。此外，我们使用伪标签来进一步帮助对比学习，从而获得更多时间上一致的实例嵌入，以提高帧间的跟踪性能。所提出的方法在YouTube-VIS 2022长视频数据集上获得40.2 AP，并在该挑战中排名第二。我们希望我们简单而有效的方法可以帮助进一步的研究。
2022-11-18 cs.CV
The YouTube-8M Kaggle Competition: Challenges and Methods
Tsinghua University（清华大学）
我们参加了在Kaggle上举办的YouTube-8 M视频理解挑战赛，并在不到一个月的时间内获得了第10名。在本文中，我们提出了一个广泛的分析和解决方案的基础上帧级数据的机器学习问题，其中主要的挑战是确定和相应的初步方法提出。值得注意的是，仅仅是提出的策略和统一平均的多作物集合就足以让我们达到我们的排名。我们还报告了我们认为有前途的方法，但没有足够的时间来训练收敛。希望本文能在一定程度上作为YouTube-8 M多标签视频分类基准的回顾和指导，启发未来的尝试和研究。
2017-07-13 cs.CV
Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding
Baidu IDL（百度深度学习实验室）；Tsinghua University（清华大学）
本文介绍了我们的解决方案的视频识别任务的谷歌云和YouTube-8 M视频理解挑战赛，排名第三位。由于挑战提供了预提取的视觉和音频特征，而不是原始视频，我们主要研究各种时间建模方法来聚合多标签视频识别的帧级特征。我们的系统包含三个主要部分：双流序列模型，快进序列模型和时间残差神经网络。在具有挑战性的Youtube-8 M数据集上的实验结果表明，我们提出的时间建模方法可以显着改善现有的时间建模方法在大规模视频识别任务。值得注意的是，我们的7层快进LSTM在Kaggle公共测试集上的GAP@20达到了82.75%。
2017-07-14 cs.CV
Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining
Columbia University（哥伦比亚大学）；International Brain Laboratory（国际脑实验室）
BEAST通过自监督预训练的变换器框架，提升动物行为分析和神经编码的性能，适用于多种神经行为任务。
2026-02-27 cs.CV q-bio.NC
Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度视觉策略学习旨在将原始视觉观察映射到行动，在机器人操作和自动驾驶等控制任务中取得了可喜的成果。然而，它需要与培训环境进行大量的在线交互，这限制了它在现实世界中的应用。与目前流行的无监督特征学习相比，视觉控制任务的特征预训练研究较少。在这项工作中，我们的目标是通过观看长达数小时的未经策划的YouTube视频来预训练驾驶任务的策略表示。具体来说，我们用少量的标记数据训练一个逆动态模型，并用它来预测所有YouTube视频帧的动作标签。然后，提出了一种新的对比策略预训练方法，用于从带有伪动作标签的视频帧中学习动作条件特征。实验表明，所得到的动作条件特征对于下游的强化学习和模仿学习任务获得了实质性的改进，优于以前的无监督学习方法和ImageNet预训练的权重。代码、模型重量和数据可在https://metadriverse.github.io/ACO上获得。
2022-07-17 cs.CV cs.LG cs.RO
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Learning to Segment Human by Watching YouTube
Sun Yat-sen University（中山大学）；Adobe Research（奥多比研究院）；SnapChat（色拉布）；National University of Singapore（新加坡国立大学）；AI Institute（360人工智能研究院）
关于人类分割的直觉是，当人类在视频中移动时，视频上下文（例如，外观和运动线索）可以潜在地推断出整个人体的合理掩模信息。受此启发，基于流行的深度卷积神经网络（CNN），我们探索了一个用于人类分割任务的非常弱的监督学习框架，其中只有一个不完美的人类检测器以及大量弱标记的YouTube视频。在我们的解决方案中，视频上下文引导的人类面具推理和基于CNN的分割网络学习相互增强，直到没有进一步的改进收益。在第一步中，通过无监督视频分割将每个视频分解成超体素。然后，通过利用来自不完美的人体检测结果的一元能量和在先前迭代中训练的CNN的预测置信图的图形优化，将超体素内的超像素分类为人类或非人类。在第二步中，视频上下文导出的人类面具被用作训练CNN的直接标签。在具有挑战性的PASCAL VOC 2012语义分割基准上进行的大量实验表明，所提出的框架已经取得了优于所有以前的弱监督方法与对象类或限界框注释。此外，通过增加PASCAL VOC 2012中的注释掩码，我们的方法在人类分割任务上达到了新的最先进的性能。
2018-02-28 cs.CV
Semantic Visual Navigation by Watching YouTube Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在真实世界环境布局中的语义线索和统计优化可以提高在新环境中的导航效率。本文学习并利用这些语义线索，通过简单地观看YouTube视频，在新的环境中导航到感兴趣的对象。这是一个挑战，因为YouTube视频没有行动或目标的标签，甚至可能没有展示最佳行为。我们的方法通过在伪标记的转换四元组（图像，动作，下一个图像，奖励）上使用Q学习来解决这些挑战。我们表明，这种非政策Q学习被动数据是能够学习有意义的语义线索导航。这些线索，当使用在一个层次化的导航策略，导致在视觉上逼真的模拟ObjectGoal任务的效率提高。我们观察到15 - 83%的相对改善，端到端RL，行为克隆，和经典的方法，同时使用最小的直接交互。
2020-10-27 cs.AI cs.CV cs.LG
UVIS: Unsupervised Video Instance Segmentation
University of Maryland, College Park（马里兰大学帕克分校）；Meta；University of Central Florida（中佛罗里达大学）
提出无监督视频实例分割框架 UVIS，结合 DINO 的密集形状先验与 CLIP 的开集识别能力，通过伪标签、transformer 训练、查询跟踪及双内存机制，在无视频标注下取得 21.1 AP。
2024-06-11 cs.CV
Large-scale Video Classification guided by Batch Normalized LSTM Translator
Samsung Electronics（三星电子）
Youtube-8 M数据集促进了大规模视频识别技术的发展，因为ImageNet数据集鼓励了人工智能领域的图像分类、识别和检测。对于这个庞大的视频数据集，对大量的多标签进行分类是一项具有挑战性的任务。通过视角的转换，我们提出了一种新的方法，将标签视为单词。详细地说，我们描述了多标签视频分类的在线学习方法，这些方法由用于视频到句子翻译的深度递归神经网络指导。我们设计了基于LSTM的翻译器，并发现在每个LSTM单元输入之前的随机门可以帮助我们设计结构细节。此外，我们在模型中采用了批量归一化来改进我们的LSTM模型。由于我们的模型是特征提取器，它们可以与其他分类器一起使用。最后，我们报告了我们的模型在大规模Youtube-8 M数据集上的改进验证结果，并讨论了进一步的改进。
2017-07-13 cs.CV
Rethinking Guidance Information to Utilize Unlabeled Samples:A Label Encoding Perspective
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Southern University of Science and Technology（南方科技大学）；Beijing Teleinfo Technology Company Ltd., China Academy of Information and Communications Technology（中国信息通信研究院北京 Teleinfo 技术有限公司）；Research Institute of Industrial Internet of Things, China Academy of Information and Communications Technology（中国信息通信研究院工业互联网物联网研究所）
本文提出标签编码风险最小化（LERM），通过将无标签样本的预测均值作为标签编码并与真实标签编码对齐，同时确保预测可区分性与多样性，有效缓解了标签不足场景下ERM和EntMin的局限性。
2024-06-05 cs.CV
Towards Robust Pseudo-Label Learning in Semantic Segmentation: An Encoding Perspective
University of Science and Technology of China（中国科学技术大学）；National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory（国家空间科学探测重点实验室，深空探测实验室）
ECOCSeg通过引入基于ECOC的分类器和位级标签去噪机制，提升语义分割中伪标签学习的鲁棒性和稳定性，适用于无监督领域自适应和半监督学习任务。
2026-01-10 cs.CV
Synchronized Audio-Visual Frames with Fractional Positional Encoding for Transformers in Video-to-Text Translation
University of Augsburg（奥格斯堡大学）
视频到文本（VTT）是自动生成短视听视频片段的描述的任务，例如，它可以支持视障人士理解YouTube视频的场景。Transformer体系结构在机器翻译和图像描述方面都表现出了出色的性能，但缺乏直接和可再现的VTT应用。然而，有没有全面的研究，不同的策略和建议，视频描述生成，包括利用伴随的音频与完全自我关注的网络。因此，我们探索有前途的方法，从图像描述和视频处理，并将其应用到VTT开发一个简单的Transformer架构。此外，我们提出了一种新的方式同步音频和视频功能的Transformers，我们称之为分数位置编码（FPE）。我们在VATEX数据集上运行了多个实验，以确定适用于看不见的数据集的配置，该配置有助于用自然语言描述短视频片段，并将CIDEr和BLEU-4分数与普通Transformer网络相比提高了37.13和12.83分，并在MSR-VTT和MSVD数据集上实现了最先进的结果。此外，FPE有助于将CIDER评分提高8.6%的相对因子。
2021-12-28 cs.CV
Harmful YouTube Video Detection: A Taxonomy of Online Harm and MLLMs as Alternative Annotators
University of California, Davis（加州大学戴维斯分校）；University of Warsaw（华沙大学）
本研究提出视频平台在线危害的六分类法，并验证GPT-4-Turbo在多模态有害视频标注中优于众包工人，扩展了LLMs在多标签多模态场景的应用。
2026-10-19 cs.AI cs.CV cs.CY
Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification
Baidu VIS（百度视觉技术部）；Xiamen University（厦门大学）；Tsinghua University（清华大学）
多标签图像和视频分类是计算机视觉中的一个基本而又具有挑战性的任务。主要的挑战在于捕捉标签之间的空间或时间依赖关系，并发现每个类别的判别特征的位置。为了克服这些挑战，我们提出了使用跨模态注意与语义图嵌入多标签分类。基于构造的标签图，我们提出了一种基于邻接的相似图嵌入方法来学习语义标签嵌入，它显式地利用标签关系。然后，我们的新的跨通道注意力地图的指导下，学习的标签嵌入。在两个多标签图像分类数据集（MS-COCO和NUS-WIDE）上的实验表明，该方法优于其他现有的最先进的方法。此外，我们验证了我们的方法在一个大型的多标签视频分类数据集（YouTube-8 M段）和评估结果表明，我们的方法的泛化能力。
2020-03-27 cs.CV
Deep Learning Methods for Efficient Large Scale Video Labeling
University Pompeu Fabra（庞培法布拉大学）
我们提出了一个解决方案，以“谷歌云和YouTube-8 M视频理解挑战”，排名第五位。该模型是一个集成的三个模型家族，两个帧级和一个视频级。训练是在增强的数据集上进行的，具有交叉验证。
2017-06-14 cs.CV cs.LG stat.ML
When Semantically Consistent Encoding Meets View-Label Heterogeneity Modeling: A Unified Framework for Incomplete Multi-View Multi-Label Learning
University of Macau（澳门大学）；Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Surrey（萨里大学）
本文提出V2L统一框架，通过扰动感知编码和主动视图-标签相关性建模，解决不完整多视图多标签学习中的语义一致与视图异质性难题，在五个基准上取得领先性能。
2026-09-09 cs.CV
Yet it moves: Learning from Generic Motions to Generate IMU data from YouTube videos
DFKI（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
使用可穿戴传感器的人类活动识别（HAR）从机器学习的最新进展中受益要比计算机视觉和自然语言处理等领域少得多。这在很大程度上是由于缺乏标记的训练数据的大规模存储库。在我们的研究中，我们的目标是促进在线视频的使用，这些视频对于大多数活动来说数量充足，并且比传感器数据更容易标记，以模拟标记的可穿戴运动传感器数据。在以前的工作中，我们已经展示了一些初步的结果，在这个方向上专注于非常简单的，活动特定的仿真模型和一个单一的传感器模态（加速度规范）\cite{10.1145/3341162.3345590}。在本文中，我们将展示如何训练一个回归模型的通用运动加速度计和陀螺仪信号，然后将其应用到视频的目标活动，以生成合成IMU数据（加速度和陀螺仪规范），可用于训练和/或改进HAR模型。我们证明，在我们的回归模型生成的模拟数据上训练的系统可以达到在真实传感器数据上训练的系统的平均F1分数的10%左右。此外，我们表明，通过包括少量的真实传感器数据进行模型校准或简单地利用这样一个事实，即（一般而言）我们可以很容易地从视频中生成比我们可以收集的真实传感器数据更多的模拟数据，最终可以均衡真实传感器数据的优势。
2020-11-23 cs.AI cs.CV cs.LG
Learning Label Encodings for Deep Regression
University of British Columbia（不列颠哥伦比亚大学）
深度回归网络被广泛用于解决预测给定输入的连续值的问题。用于训练回归网络的任务专用方法已经显示出比通用方法（例如直接回归）的显着改进。最近，一个通用的方法的基础上回归二进制分类使用二进制编码的标签已经显示出显着的改善直接回归。回归的标签编码空间很大。迄今为止，还缺乏为给定应用找到良好标签编码的自动化方法。本文介绍了正则化标签编码学习（RLEL），用于整个网络的端到端训练及其标签编码。RLEL提供了一种处理回归的通用方法。RLEL的基础是我们的观察，即标签编码的搜索空间可以通过使用实值标签编码的连续搜索空间与旨在鼓励具有某些属性的编码的正则化函数相结合来约束和有效地探索。这些属性平衡了各个比特中分类错误的概率与纠错能力。通过RLEL找到的标签编码导致比手动设计的标签编码更低或相当的错误。应用RLEL的平均绝对误差（MAE）分别比直接回归和多类分类提高了10.9%和12.4%。我们的评估表明，RLEL可以与现成的特征提取器相结合，适用于不同的架构，数据集和任务。代码可在https://github.com/ubc-aamodt-group/RLEL_regression上获得。
2023-03-04 cs.CV cs.LG
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议（VOP）生成方法，并显示其有效性，学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs，可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络（CNN）的目标检测相反，我们提出的称为视频使能器中的对象粗糙标签传播（OVERLESS）的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
Zero-Shot Imitating Collaborative Manipulation Plans from YouTube Cooking Videos
University of Southern California（南加州大学）
人们经常在网上观看视频，学习如何烹饪新食谱，组装家具或修理电脑。我们希望让机器人拥有同样的能力。这是具有挑战性的;在操纵动作中存在很大的变化，并且一些视频甚至涉及多个人，这些人通过共享和交换对象和工具来协作。此外，学习的表示需要足够通用，以便可转移到机器人系统。另一方面，以前的工作已经表明，人类操作动作的空间具有语言的，层次结构，涉及到操作对象和工具的行动。基于这种理论的语言的行动，我们提出了一个系统的理解和执行演示动作序列从全长，现实世界的烹饪视频在网络上。该系统将一个新的、以前看不见的、用对象标签和边界框注释的烹饪视频作为输入，并输出一个或多个机器人手臂的协作操纵行动计划。我们展示了该系统的性能，在一个标准化的数据集的100个YouTube烹饪视频，以及在6个完整长度的YouTube视频，包括两个参与者之间的合作行动。我们将我们的系统与由最先进的动作检测基线组成的基线系统进行比较，并显示我们的系统实现了更高的动作检测精度。此外，我们还提出了一个开源平台，用于在模拟环境中执行学习到的计划，以及与实际的机器人手臂。
2022-09-26 cs.CV cs.RO
Video Representation Learning and Latent Concept Mining for Large-scale Multi-label Video Classification
Carnegie Mellon University（卡内基梅隆大学）
我们报告CMU信息媒体实验室的系统用于谷歌的YouTube 800万视频理解挑战。在这个多标签视频分类任务中，我们的管道在我们的评估分割和官方测试集上实现了84.675%和84.662%的GAP。我们将良好的性能归因于三个组成部分：1）使用残余链接和超列的精细视频表示学习2）捕获概念之间的交互的潜在概念挖掘。3)时间段学习和加权多模型集成。我们进行实验来验证和分析我们的模型的贡献。我们还分享了一些不成功的试验，这些试验利用了传统的方法，例如用于这个大规模视频数据集的视频表示学习的递归神经网络。复制我们结果的所有代码都可以在https://github.com/Martini09/informedia-yt8m-release上公开获得。
2017-07-25 cs.CV
Aggregating Frame-level Features for Large-Scale Video Classification
Fudan University（复旦大学）；Sun Yat-Sen University（中山大学）；Wuhan University（武汉大学）
本文介绍了我们为Google Cloud和YouTube-8 M视频理解挑战赛开发的系统，该挑战赛可以被认为是在大规模YouTube-8 M数据集上定义的多标签分类问题。我们采用了大量的技术来聚合所提供的帧级特征表示并生成视频级预测，包括递归神经网络（RNN）和广义VLAD的几种变体。我们还采用了几种融合策略来探索模型之间的互补性。在官方度量GAP@20（全球平均精度为20）方面，我们的最佳融合模型在公共50%的测试数据上达到0.84198，在私人50%的测试数据上达到0.84193，在全球650支参赛队伍中排名第4。
2017-07-04 cs.CV
LabelEnc: A New Intermediate Supervision Method for Object Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Tongji University（同济大学）；MEGVII Technology（旷视科技）
在本文中，我们提出了一种新的中间监督方法，命名为LabelEnc，以提高目标检测系统的训练。其关键思想是引入一种新的标签编码函数，将地面真实标签映射到潜在嵌入中，在训练过程中作为检测骨干的辅助中间监督。我们的方法主要包括两步培训程序。首先，我们通过在标签空间中定义的AutoEncoder优化标签编码函数，近似目标对象检测器的“期望”中间表示。其次，利用学习的标签编码函数，我们引入了一个新的辅助损失附加到检测骨干，从而有利于派生检测器的性能。实验表明，我们的方法提高了各种检测系统的COCO数据集上约2%，无论是一个阶段或两个阶段的框架。此外，辅助结构只存在于训练期间，即它在推理时间上是完全免费的。代码可在：https://github.com/megvii-model/LabelEnc
2020-09-01 cs.CV
Large-Scale Video Classification with Feature Space Augmentation coupled with Learned Label Relations and Ensembling
Axon（Axon公司）；Stanford University（斯坦福大学）
本文介绍了Axon AI对第二届YouTube-8 M视频理解挑战赛的解决方案，在私有测试集上实现了88.733%的最终全局平均精度（GAP）（在394个团队中排名第三，不考虑模型大小约束），并且使用满足大小要求的模型实现了87.287%。分别训练了属于3个不同家族的两组7个个体模型。然后，从这些多个模型中聚集对训练数据的推理结果，并将其馈送到训练满足模型大小要求的紧凑模型。为了进一步提高性能，我们在特征空间中探索并采用了数据过采样/欠采样，在训练过程中利用标签关系增加了一个正则化项，并学习了用于集成不同个体模型的权重。
2018-09-21 cs.CV
Soft-ranking Label Encoding for Robust Facial Age Estimation
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；University of Sydney（悉尼大学）
自动面部年龄估计可用于广泛的现实世界应用中。然而，由于老化过程的随机性和缓慢性，该过程具有挑战性。因此，在本文中，我们提出了一个全面的框架，旨在克服与面部年龄估计相关的挑战。首先，我们提出了一种新的年龄编码方法，称为“软排名”，它编码了面部年龄的两个重要属性，即，序性和相邻年龄之间的相关性。因此，软排名为训练深度模型提供了更丰富的监督信号。此外，我们还仔细分析了现有的年龄估计评估协议，发现训练集和测试集之间的身份重叠会影响不同年龄编码方法的相对性能。最后，由于现有的用于年龄估计的人脸数据库通常很小，因此深度模型往往会遇到过拟合问题。为了解决这个问题，我们提出了一种新的正则化策略，以鼓励深度模型从面部部位学习更鲁棒的特征，用于年龄估计。大量的实验表明，所提出的技术提高了年龄估计性能;此外，我们在三个最流行的年龄数据库$i.e.$，Morph II，CLAP 2015和CLAP 2016上实现了最先进的性能。
2019-06-09 cs.CV
Semi-supervised Active Learning for Video Action Detection
IIT (ISM) Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；University of Central Florida（中佛罗里达大学）
提出结合 NoiseAug 与 fft-attention 的半监督主动学习框架，提升视频动作检测的信息性样本选择与伪标签利用，并在多个基准上验证性能及泛化能力。
2024-04-03 cs.CV
Label Encoding for Regression Networks
University of British Columbia（不列颠哥伦比亚大学）
深度神经网络被用于广泛的回归问题。然而，在专门的方法和通用的直接回归之间存在着显著的准确性差距，在通用的直接回归中，通过最小化输出标签的平方或绝对误差来训练网络。先前的工作已经表明，用一组二进制分类器解决回归问题可以通过利用研究良好的二进制分类算法来提高准确性。我们引入二进制编码标签（BEL），它通过提供一个框架，在编码目标值时考虑任意多位值，将二进制分类的应用推广到回归。我们确定合适的编码和解码功能用于实值和二进制编码的标签之间的转换的理论和实证研究的基础上所需的属性。这些属性突出了标签编码的分类错误概率和纠错能力之间的权衡。BEL可以与现成的特定于任务的特征提取器组合并进行端到端训练。我们提出了一系列的样本编码，解码，和培训损失函数的BEL，并证明他们导致较低的错误比直接回归和专门的方法，同时适用于一组不同的回归问题，网络架构和评估指标。BEL在几个回归基准测试中达到了最先进的精度。代码可在https://github.com/ubc-aamodt-group/BEL_regression上获得。
2022-12-04 cs.CV cs.LG
Stable Mean Teacher for Semi-supervised Video Action Detection
University of Central Florida（中佛罗里达大学）
本文提出Stable Mean Teacher框架，通过Error Recovery模块和Difference of Pixels约束提升伪标签质量与时间一致性，在多个视频动作检测基准上显著优于监督基线。
2024-12-23 cs.CV
Transcoded Video Restoration by Temporal Spatial Auxiliary Network
Xidian University（西安电子科技大学）；Kuaishou Technology（快手科技）；Hosei University（法政大学）
在大多数视频平台中，如Youtube和TikTok，播放的视频通常经过多种视频编码，如录制设备的硬件编码，视频编辑应用的软件编码，以及视频应用服务器的单/多视频转码。以往的压缩视频恢复工作通常假设压缩伪影是由一次编码引起的。因此，导出的解决方案在实践中通常不太有效。在本文中，我们提出了一种新的方法，时空辅助网络（TSAN），转码视频恢复。我们的方法考虑了视频编码和转码之间的独特性，我们将初始的浅层编码视频作为中间标签，以帮助网络进行自我监督的注意力训练。此外，我们还利用相邻多帧信息，提出了时间可变形对齐和金字塔空间融合的转码视频恢复方法。实验结果表明，该方法的性能优于以前的技术。该代码可在https://github.com/icecherylXuli/TSAN上获得。
2021-12-15 cs.CV eess.IV
Multi-attention Networks for Temporal Localization of Video-level Labels
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Valladolid（巴利亚多利德大学）
时间定位仍然是视频理解中的一个重要挑战。在这项工作中，我们提出了我们的解决方案，以第三届YouTube-8 M视频理解的挑战组织的谷歌研究。参与者被要求建立一个段级分类器，使用一个大规模的训练数据集与嘈杂的视频级标签和一个相对较小规模的验证数据集与准确的段级标签。我们将问题描述为多实例多标签学习，并开发了一种基于注意力的机制，通过注意力权重选择性地强调重要帧。通过构造多组注意力网络，进一步提高了模型的性能。我们进一步使用段级数据集对模型进行微调。我们的最终模型由注意力/多注意力网络、深袋框架模型、递归神经网络和卷积神经网络组成。它在私人领导者排行榜上排名第13位，并以其有效利用资源而脱颖而出。
2019-11-15 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
TEACH: Text Encoding as Curriculum Hints for Scene Text Recognition
TEACH通过将真实文本作为辅助输入并逐步减少其影响，模拟课程学习过程，无需外部预训练和推理开销，在多个基准上提升场景文本识别准确率。
2025-08-02 cs.CV
Hyper-Spectral Imaging for Overlapping Plastic Flakes Segmentation
NHL Stenden University of Applied Sciences（NHL斯坦顿应用科技大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
鉴于高光谱成像在掌握不同材料的聚合物特性方面的独特潜力，它通常用于分选程序。在实际的塑料分拣场景中，多个塑料薄片可能重叠，这取决于它们的特性，重叠可以反映在它们的光谱特征中。在这项工作中，我们使用高光谱成像的三种类型的塑料薄片和它们可能的重叠组合的分割。我们提出了一个直观和简单的多标签编码方法，位域编码，占重叠区域。通过我们的实验，我们表明位域编码比基线单标签方法有所改进，并且我们进一步证明了它在预测重叠类的多个标签方面的潜力，即使模型只使用非重叠类进行训练。
2022-03-23 cs.CV
Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance?
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）
技术和计算的进步不断推动着深度学习这一广阔领域的发展。近年来，描述预测中不确定性的量的推导--这自然伴随着建模过程--引发了深度学习社区的普遍兴趣。在机器学习环境中经常被忽视的是影响众多标签过程的人类不确定性。作为这项工作的核心，标签的不确定性是明确地嵌入到训练过程中通过分布标签。我们证明了我们的方法的有效性图像分类与遥感数据集，包含多个标签投票的领域专家为每个图像：标签的不确定性的纳入有助于模型更好地概括看不见的数据，并提高模型的性能。与现有的校准方法类似，分布标签导致更好的校准概率，从而产生更确定和更可信的预测。
2022-05-30 cs.CV cs.LG
Beyond One-hot Encoding: lower dimensional target embedding
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Heidelberg Collaboratory for Image Processing, Heidelberg University（海德堡大学海德堡图像处理合作实验室）；University of Barcelona（巴塞罗那大学）
目标编码在学习卷积神经网络时起着核心作用。在这个领域中，One-hot编码由于其简单性而成为最流行的策略。然而，这种如此广泛的编码模式假设了平坦的标签空间，从而忽略了在训练期间可以利用的标签之间存在的丰富关系。在大规模数据集中，数据不会跨越整个标签空间，而是位于低维输出流形中。根据这一观察，我们将目标嵌入到低维空间中，在保持精度的同时大大提高了收敛速度。我们的贡献有两个方面：（i）我们证明了标签空间的随机投影是找到这种低维嵌入的有效工具，以零计算成本显着提高收敛速度;（ii）我们提出了类流形的归一化特征表示，以最小的信息损失对目标进行编码，提高了随机投影编码的准确性，同时享受相同的收敛速度。在CIFAR-100、CUB 200 -2011、Imagenet和MIT Places上的实验表明，该方法大大提高了收敛速度，同时达到了非常有竞争力的准确率。
2018-06-28 cs.AI cs.CV
FlowMark: Mask-Guided Video Watermarking
Adobe Research（Adobe研究院）；DECaDE, University of Surrey（萨里大学DECaDE实验室）
该研究提出FlowMark视频水印框架，通过专用掩码预测网络自动确定最优嵌入区域，实现高感知质量下的强鲁棒性，可抵御压缩、时域编辑与主流平台重编码，支持内容溯源等场景。
2026-07-07 cs.CV
Positional Label for Self-Supervised Vision Transformer
Southwest Jiaotong University（西南交通大学）
位置编码对于视觉Transformer（ViT）捕获输入图像的空间结构是重要的。一般有效性已在ViT中得到证明。在我们的工作中，我们建议训练ViT识别输入图像的补丁的位置标签，这个看似简单的任务实际上产生了一个有意义的自我监督任务。基于ViT位置编码的工作，我们提出了两个位置标签专用于二维图像，包括绝对位置和相对位置。我们的位置标签可以很容易地插入到各种当前的ViT变体中。它可以通过两种方式工作：（a）作为vanilla ViT的辅助训练目标（例如，ViT-B和Swin-B）以获得更好的性能。(b)结合自我监督的ViT（例如，MAE）为语义特征学习提供更强大的自监督信号。实验表明，使用所提出的自监督方法，ViT-B和Swin-B在ImageNet上的增益分别提高了1.20%（top-1 Acc）和0.74%（top-1 Acc），在Mini-ImageNet上分别提高了6.15%和1.14%。
2023-02-16 cs.CV
Contextualising Implicit Representations for Semantic Tasks
University of Oxford（牛津大学）
提出一种上下文化模块，将仅用于重构的隐式表示编码转化为可用于语义分割等下游任务的语义信息，在保持重构性能的同时提升分割效果，并支持未来基础模型在未见任务上的微调。
2023-05-22 cs.CV
