首页/论文/1706.04572

arXiv 1706.045722017-06-14stat.MLcs.CVcs.LG

用于高效大规模视频标记的深度学习方法

Deep Learning Methods for Efficient Large Scale Video Labeling

University Pompeu Fabra（庞培法布拉大学）

Miha Skalic, Marcin Pekalski, Xingguo E. Pan

备注：: 7 pages, 5 tables, 1 figure

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了一个解决方案，以“谷歌云和YouTube-8 M视频理解挑战”，排名第五位。该模型是一个集成的三个模型家族，两个帧级和一个视频级。训练是在增强的数据集上进行的，具有交叉验证。

英文摘要：

We present a solution to "Google Cloud and YouTube-8M Video Understanding Challenge" that ranked 5th place. The proposed model is an ensemble of three model families, two frame level and one video level. The training was performed on augmented dataset, with cross validation.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

面向视频理解的视觉语义角色标注

Visual Semantic Role Labeling for Video Understanding

University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）

我们提出了一个新的框架，用于理解和表示相关的视频中的显着事件，使用视觉语义角色标注。我们将视频表示为一组相关事件，其中每个事件由一个动词和多个实体组成，这些实体履行与该事件相关的各种角色。为了研究视频或VidSRL中的语义角色标注的挑战性任务，我们引入了VidSitu基准测试，这是一个大规模的视频理解数据源，具有$29K$ $10$ -秒电影剪辑，每$2$秒用动词和语义角色进行丰富注释。实体在影片剪辑内的事件之间被共同引用，并且事件通过事件-事件关系彼此连接。VidSitu中的剪辑是从大量的电影（${\sim}3K$）中提取的，并且被选择为既复杂（视频中的${\sim}4.2$唯一动词）又多样（每个${\sim}200$动词有多个$100$注释）。我们提供了一个全面的分析数据集相比，其他公开的视频理解基准，几个说明性的基线，并评估了一系列标准的视频识别模型。我们的代码和数据集可以在vidsitu.org上找到。

2021-04-02cs.CLcs.CV

CAST：使用跟踪自监督的动画中的角色标记

CAST: Character labeling in Animation using Self-supervision by Tracking

Reichman University（赖希曼大学）；Microsoft Corporation（微软公司）

与现实生活中的图像和视频相比，卡通和动画领域的视频具有非常不同的特征。此外，这个域在样式上具有很大的可变性。当前的计算机视觉和深度学习解决方案通常在动画内容上失败，因为它们是在自然图像上训练的。在本文中，我们提出了一种方法来完善适合于特定的动画内容的语义表示。我们首先在一组大规模的动画视频上训练一个神经网络，并使用到深度特征的映射作为嵌入空间。接下来，我们使用自我监督来改进任何特定动画风格的表示，通过收集这种风格的动画角色的许多示例，使用多对象跟踪。这些示例用于定义对比损失训练的三元组。细化的语义空间允许更好地聚类动画角色，即使他们有不同的表现形式。使用这个空间，我们可以在动画视频中构建角色的字典，并为特定的风格内容定义专门的分类器（例如，特定动画系列中的角色），用户只需付出很少的努力。这些分类器是自动标记动画视频中的角色的基础。我们目前的结果在各种动画风格的字符集合。

2022-01-19cs.CV

从嘈杂的网络视频中学习

Learning to Learn from Noisy Web Videos

Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙菲莎大学）

理解同时非常多样化和错综复杂的细粒度的可能人类行为集是计算机视觉中的一个关键的开放问题。手动标记训练视频对于某些动作类是可行的，但不能扩展到动作的完整长尾分布。解决这个问题的一个有前途的方法是利用来自Web查询的噪声数据来学习新的动作，使用半监督或“webly监督”方法。然而，这些方法通常不学习特定领域的知识，或者依赖于迭代的手动调整的数据标记策略。在这项工作中，我们提出了一个基于强化学习的公式，用于从嘈杂的网络搜索结果中选择正确的例子来训练分类器。我们的方法使用Q-learning在一个小的标记训练数据集上学习数据标记策略，然后使用它来自动标记新视觉概念的噪声Web数据。在具有挑战性的Sports-1 M动作识别基准以及其他细粒度和新出现的动作类上的实验表明，我们的方法能够为嘈杂的数据学习良好的标记策略，并使用它来学习准确的视觉概念分类器。

2017-06-09cs.CV

MAPLE：用于半监督点云动作识别的掩蔽伪标记autoEncoder

MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition

University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Aberystwyth University（阿伯里斯特威斯大学）

从点云视频中识别人体动作因其在自动驾驶、机器人等领域的广泛应用而受到学术界和工业界的广泛关注，但现有的点云动作识别方法通常需要大量的人工标注数据和复杂的骨干网络，计算成本高，不适合实际应用。因此，本文考虑半监督点云动作识别的任务。我们提出了一个掩蔽伪标签自动编码器（\textbf{MAPLE}）框架，学习有效的表示与少得多的注释点云动作识别。特别地，我们设计了一种新型高效的\textbf{De}偶联的\textbf{s}部分- \textbf{t}部分反式\textbf{Former}（\textbf{DestFormer}）作为MAPLE的骨架.在DestFormer中，4D点云视频的空间和时间维度被解耦，以实现有效的自注意力，用于学习长期和短期特征。此外，为了从较少的注释中学习区分性特征，我们设计了一个掩码伪标记自动编码器结构来引导DestFormer从可用帧中重建掩码帧的特征。更重要的是，对于未标记的数据，我们利用来自分类头的伪标签作为监督信号，用于从掩蔽帧重建特征。最后，综合实验表明，MAPLE取得了优越的结果在三个公共基准测试，并优于国家的最先进的方法，8.08\%的准确率在MSR-RESID 3D数据集。

2022-09-01cs.CV

可视化语义角色标注

Visual Semantic Role Labeling

UC Berkeley（加州大学伯克利分校）

在本文中，我们介绍了视觉语义角色标注的问题：给定一个图像，我们要检测的人做的动作和定位的对象的互动。经典的动作识别方法要么在图像或视频剪辑级别上研究动作分类的任务，要么最多在做动作的人周围产生一个限界框。我们认为这样的输出是不够的，只有当我们能够将场景中的对象与动作的不同语义角色联系起来时，才能实现完整的理解。为了实现这一目标，我们在10K图像中注释了16K人实例的数据集，并将场景中的对象与每个动作的不同语义角色相关联。最后，我们提供了一套基线算法，这项任务和分析的错误模式，为今后的工作提供方向。

2015-05-17cs.CV

SVFormer：用于动作识别的半监督视频Transformer

SVFormer: Semi-supervised Video Transformer for Action Recognition

Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）

本文提出SVFormer，一种基于EMA-Teacher伪标签框架的半监督视频动作识别Transformer模型，通过Tube TokenMix和时间扭曲增强策略有效处理视频数据，在Kinetics-400等数据集上以更少训练轮次显著超越现有最优方法。

2023-04-06cs.CV

更多相关论文收起更多论文

用于自监督表示学习的视频3D采样

Video 3D Sampling for Self-supervised Representation Learning

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）

现有的视频自监督方法主要利用视频的时域信号，忽略了运动对象的语义和环境信息对视频相关任务的重要性。在本文中，我们提出了一种新的自监督视频表示学习的方法，称为视频3D采样（V3S）。为了充分利用视频中提供的信息（空间和时间），我们从三维（宽度，高度，时间）对视频进行预处理。因此，我们可以利用空间信息（对象的大小），时间信息（运动的方向和幅度）作为我们的学习目标。在我们的实现中，我们结合了三个维度的采样，并分别提出了空间和时间的尺度和投影变换。实验结果表明，当应用于动作识别，视频检索和动作相似性标记，我们的方法提高了国家的最先进的显着利润率。

2021-07-08cs.CV

用于视频理解的自适应中间表示

Adaptive Intermediate Representations for Video Understanding

Google Research（谷歌研究院）

视频理解的一种常见策略是通过融合从RGB帧和光流导出的特征来合并空间和运动信息。在这项工作中，我们引入了一种新的方式来利用语义分割作为视频理解的中间表示，并使用它的方式，不需要额外的标签。其次，我们提出了一个通用框架，该框架与最终的视频理解任务联合学习中间表示（光流和语义分割），并允许根据最终目标调整表示。尽管在网络中使用了中间表示，但在推理过程中，除了RGB序列之外，不需要任何额外的数据，从而能够使用单个网络进行有效的识别。最后，我们提出了一种方法来找到最佳的学习配置，通过搜索最佳的损失加权进化。我们获得了更强大的视觉表示的视频，导致性能增益超过国家的最先进的。

2021-04-14cs.CV

GPT-4o：多模态大语言模型在仔猪活动理解中的视觉感知性能

GPT-4o: Visual perception performance of multimodal large language models in piglet activity understanding

China Agricultural University（中国农业大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AniEye Technology（安尼眼科技）；State Key Laboratory of Animal Nutrition and Feeding（动物营养与饲料国家重点实验室）

本文构建仔猪视频数据，从五个维度评估四种多模态大语言模型的动物活动识别能力，发现GPT-4o表现突出，验证了其在畜牧视频理解中的潜力。

2024-06-14cs.CV

面向标签不充分的开放式视频问答的排序蒸馏

Ranking Distillation for Open-Ended Video Question Answering with Insufficient Labels

Sun Yat-sen University（中山大学）；Huazhong University of Science and Technology（华中科技大学）

本文提出排序蒸馏框架（RADI），通过教师模型生成潜在答案排序以丰富不充分标签信息，并设计成对和列表两种鲁棒蒸馏方法，有效提升了开放式视频问答的泛化能力。

2024-03-21cs.CV

软标记影响深度神经网络的分布外检测

Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks

Pohang University of Science and Technology（浦项科技大学）；Kakao Brain

软标记成为深度神经网络泛化和模型压缩的常用输出正则化。然而，软标记对分布外（OOD）检测的影响，这是机器学习安全的一个重要课题，没有被探索。在这项研究中，我们表明，软标记可以确定OOD检测性能。具体来说，如何通过软标记来正则化不正确类的输出可以恶化或改善OOD检测。基于实证结果，我们假设了OOD鲁棒DNN的未来工作：通过软标记进行适当的输出正则化可以构建OOD鲁棒DNN，而无需额外训练OOD样本或修改模型，同时提高分类精度。

2020-07-07cs.LGstat.ML

使用卷积神经网络的引导标记

Guided Labeling using Convolutional Neural Networks

University of Innsbruck（因斯布鲁克大学）

在过去的几年里，深度学习，尤其是卷积神经网络，已经成为计算机视觉的主力之一。监督式深度学习适用于更多领域的一个限制因素是需要大型手动标记的数据集。在本文中，我们提出了一种易于实现的方法，我们称之为引导标签，它自动确定哪些样本从一个未标记的数据集应该被标记。我们表明，使用这个过程中，需要标记的样本的数量大大减少了标记图像任意。

2017-12-06cs.CVcs.LGstat.ML

基于稀疏迁移学习的交互式视频搜索重排序

Sparse Transfer Learning for Interactive Video Search Reranking

Nanyang Technological University（南洋理工大学）；Microsoft Advanced Technology Center（微软亚太研发集团（微软先进技术中心））；Microsoft China R&D Group（微软中国研发集团）

视觉重排序是提高基于文本的视频搜索性能的有效方法。然而，现有的重排序算法只能取得有限的改善，因为众所周知的低层次视觉特征和高层次的语义概念之间的语义鸿沟。在本文中，我们采用交互式视频搜索重排序，通过引入用户的标签努力，以弥合语义鸿沟。我们提出了一种新的降维工具，称为稀疏迁移学习（STL），有效地和高效地编码用户的标签信息。STL是专门为交互式视频搜索重新排名而设计的。从技术上讲，它a）考虑逐对区分信息，以最大限度地分离标记查询相关样本和标记查询无关样本，b）通过应用弹性网惩罚实现子空间的稀疏表示，以编码用户的意图，以及c）通过使用数据分布知识，将用户的标记信息从标记样本传播到未标记样本。我们在TRECVID 2005、2006和2007基准数据集上进行了广泛的实验，并将STL与流行的降维算法进行了比较。我们报告优越的性能，使用建议的STL为基础的交互式视频搜索重新排名。

2011-12-21cs.CVcs.IRcs.MM

AUC最大化深度卷积神经场序列标记

AUC-maximized Deep Convolutional Neural Fields for Sequence Labeling

Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）

深度卷积神经网络（DCNN）在各种机器学习任务中表现出出色的性能。本文介绍了深度卷积神经场（DeepCNF），DCNN与条件随机场（CRF）的组合，用于高度不平衡标签分布的序列标记。广泛使用的训练方法，如最大似然法和最大标签精度法，在高度不平衡的数据上效果不佳。为了解决这个问题，我们为DeepCNF提出了一种新的训练算法，称为maximum-AUC。也就是说，我们通过直接最大化经验ROC曲线下面积（AUC）来训练DeepCNF，这是对不平衡数据的无偏测量。为了实现这一点，我们在成对排序框架中制定AUC，通过多项式函数近似它，然后应用基于梯度的程序来优化它。然后，我们在三个非常不同的蛋白质序列标记任务上测试AUC最大化的DeepCNF：溶剂可及性预测，8状态二级结构预测和无序预测。我们的实验结果证实，最大AUC大大优于其他两种训练方法的8状态二级结构预测和无序预测，因为他们的标签分布是高度不平衡的，也有类似的性能，其他两种训练方法的溶剂可及性预测问题，其中有三个均匀分布的标签。此外，我们的实验结果还表明，我们的AUC训练的DeepCNF模型大大优于这三个任务的现有流行预测器。

2015-11-19cs.LGstat.ML

EmbNum：使用深度度量学习对数值进行语义标记

EmbNum: Semantic labeling for numerical values with deep metric learning

SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）

数值的语义标注是指为未知的数值属性分配语义标签的任务。语义标签可以是本体中的数值属性、知识库中的实例或由领域专家手动注释的标记数据。在本文中，我们将语义标记作为一种检索设置，其中未知属性的标签由标记数据中最相关属性的标签分配。最大的挑战之一是未知属性很少与标记数据中的相似属性具有相同的值集。为了克服这个问题，考虑到价值分布的统计解释。然而，现有的研究假设了一种特定的分布形式。在事先不了解数据的情况下，特别不宜采用开放数据。为了解决这些问题，我们提出了一个神经数字嵌入模型（Embodiment）来学习有用的表示向量的数值属性，而无需事先假设的数据分布。然后，“语义相似性”的属性之间的测量这些表示向量的欧氏距离。我们对城市数据和开放数据的实证实验表明，Embodiment显着优于国家的最先进的方法的任务的数值属性语义标记的有效性和效率。

2018-08-16cs.DBcs.LGstat.ML

用APPLE理解卷积网络：用于解释的自动补丁模式标记

Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation

Carnegie Mellon University（卡内基梅隆大学）

随着深度学习的成功，最近的努力集中在分析学习网络如何进行分类。我们感兴趣的是基于网络结构和通过网络层的信息流来分析网络输出。我们贡献了一种算法，用于1）分析深度网络以找到在网络分类结果方面“重要”的神经元，以及2）自动标记激活这些重要神经元的输入图像的补丁。我们提出了几个衡量神经元重要性的指标，并证明了我们的技术可以用来深入了解和解释网络如何分解图像以进行最终分类。

2018-02-11cs.CYcs.LGstat.ML