Attract me to Buy: Advertisement Copywriting Generation with Multimodal Multi-structured Information
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；University of Adelaide（阿德莱德大学）
近年来，网上购物逐渐成为世界各地人们的一种普遍购物方式。精彩的商品广告往往能吸引更多的人购买。这些广告恰当地整合了商品的多模态多结构信息，如视觉空间信息和细粒度结构信息。然而，传统的多模态文本生成侧重于对存在和发生的事情的常规描述，这与现实世界中广告文案的需求不匹配。因为广告文案语言风格鲜明，对忠实性的要求更高。不幸的是，缺乏可重复使用的评价框架和数据集。因此，我们提出了一个数据集，E-MMAD（电子商务多模态多结构化广告文案），它需要，并支持更详细的信息，在文本生成。值得注意的是，它是该领域最大的视频描述数据集之一。基于此，本文提出了一种基于结构化信息推理能力的基线方法和可信度评价指标，以解决现实中对该数据集的需求。它在所有指标上都大大超过了以前的方法。数据集和方法即将在\url{https://e-mmad.github.io/e-mmad.net/index.html}上发布。
2022-05-07 cs.CL cs.CV cs.MM
AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
Peking University（北京大学）
针对产品中心广告视频生成缺乏大规模数据和评估框架的问题，提出AdSpark数据集与基准，含30万三元组和六维评估，验证了数据集有效性并揭示关键挑战。
2026-10-08 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
本文提出AutoCut框架，通过多模态离散化和可控生成实现广告视频编辑，提升一致性和可控性，降低生产成本和迭代时间。
2026-03-30 cs.CV
Story Understanding in Video Advertisements
University of Pittsburgh（匹兹堡大学）
为了引起观众的共鸣，许多视频广告探索了创造性的叙事技巧，如“弗赖塔格金字塔”，故事从阐述开始，然后是上升的行动，然后是高潮，最后是结局。特别是在广告的戏剧性结构中，高潮取决于情绪的变化。我们的研究致力于自动理解视频广告的动态结构。为了实现这一目标，我们首先从视频广告数据集中的1，149个视频中众包高潮注释，该数据集已经提供了情感注释。然后，我们使用无监督和监督的方法来预测高潮。基于预测的峰值，低级别的视觉和音频线索，以及语义上有意义的上下文特征，我们建立了一个情感预测模型，该模型比当前最先进的视频广告情感预测模型的性能高出25%。在我们的消融研究中，我们表明使用我们的上下文特征和使用LSTM建模动态都是提高性能的关键因素。
2018-07-29 cs.CV
Tracking Based Semi-Automatic Annotation for Scene Text Videos
Shanghai University（上海大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）
近年来，视频场景文本检测因其广泛的应用而受到越来越多的关注。然而，缺乏带注释的场景文本视频数据集已成为阻碍视频场景文本检测发展的重要问题之一。现有的场景文本视频数据集由于人工标注成本昂贵，规模不大。此外，这些数据集中的文本实例太清楚了，不构成挑战。针对上述问题，本文提出了一种基于跟踪的场景文本视频半自动标注策略。通过对第一帧进行人工标注，对后续帧进行自动跟踪，实现了半自动的场景文本标注，避免了人工标注的巨大开销。此外，提出了一个成对的低质量场景文本视频数据集，名为Text-RBL，由原始视频，模糊视频，低分辨率视频，所提出的方便的半自动标记策略标记。通过对原始视频的平均操作和双三次下采样操作，我们可以有效地获得与原始视频配对的模糊视频和低分辨率视频。为了验证Text-RBL的有效性，我们提出了一个基线模型结合文本检测器和跟踪器的视频场景文本检测。此外，故障检测方案的设计，以减轻基线模型的漂移问题所造成的复杂场景。大量的实验表明，Text-RBL与配对的低质量视频标记的半自动方法可以显着提高低质量场景中的文本检测器的性能。
2021-03-29 cs.CV
Ad-Net: Audio-Visual Convolutional Neural Network for Advertisement Detection In Videos
New York University（纽约大学）；Samsung Research America（三星美国研究院）
个性化广告是许多在线企业和视频广播公司的关键任务。许多今天的广播公司使用相同的商业为所有客户，但可以想象不同的观众有不同的兴趣，它似乎合理的定制商业为不同的人群，选择基于他们的人口特征，和历史.在这个项目中，我们提出了一个框架，该框架获取广播视频，分析它们，检测商业广告并将其替换为更合适的商业广告。提出了一种双流音视频卷积神经网络，一个分支分析视频信息，另一个分支分析音频信息，然后将音频和视频嵌入融合在一起，用于商业广告检测和内容分类。我们表明，使用视频的视觉和音频内容显着提高了视频分析的模型性能。该网络在超过5万个常规视频和商业镜头的数据集上进行了训练，与基于手工制作特征的模型相比，该网络的性能要好得多。
2018-06-22 cs.CV
Multi-modal Representation Learning for Video Advertisement Content Structuring
Sun Yat-sen University（中山大学）
视频广告内容结构化的目的是对给定的视频广告进行分段，并在各个维度上对每个分段进行标记，例如呈现形式、场景和风格。与现实生活中的视频不同，视频广告包含了足够的和有用的多模态内容，如字幕和语音，这提供了关键的视频语义，并将增强结构化过程。在本文中，我们提出了一个多模态编码器学习多模态表示的视频广告之间的视频音频和文本的交互。基于多模态表示，我们然后应用边界匹配网络生成时间建议。为了使提案更准确，我们通过场景引导对齐和重新排名来改进生成的提案。最后，我们将建议定位嵌入到引入的多模态编码器中，以捕获每个建议的局部特征与整个视频的全局特征之间的时间关系，以进行分类。实验结果表明，该方法在ACM Multimedia 2021 Grand Challenge多模态广告视频理解任务中，与多个基线和Rank 1相比，取得了显著的提高。消融研究进一步表明，利用多模态内容，如字幕和语音在视频广告显着提高性能。
2021-09-04 cs.CV cs.MM
Can we predict the Most Replayed data of video streaming platforms?
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
本研究构建了包含500个YouTube视频的YTMR500数据集，评估多种深度学习模型预测最常回放数据的能力，发现模型优于随机预测且超越人类准确率，表明该任务困难但可通过深度学习辅助提升。
2023-09-12 cs.CV
Markerless Augmented Advertising for Sports Videos
Williams College（威廉姆斯学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Universidad de Guanaquatro（瓜纳夸特罗大学）；Imperial College London（伦敦帝国学院）；GumGum Inc.（GumGum公司）
无标记增强现实可能是一项具有挑战性的计算机视觉任务，特别是在直播设置中以及在缺乏与视频捕获相关的信息（诸如固有相机参数）的情况下。这通常需要熟练的艺术家的帮助，以及在后期制作环境中使用高级视频编辑工具。我们提出了一个自动化的视频增强管道，识别感兴趣的纹理，并覆盖在这些地区的广告。我们限制广告以美学和自然的方式放置。其目的是扩大现场，使不再需要商业休息。为了实现广告与原始视频的无缝集成，我们构建场景的3D表示，将广告放置在3D中，然后将其投影回图像平面上。在单个帧中成功放置后，我们使用基于单应性的形状保持跟踪，使得广告在视频剪辑的持续时间内呈现正确的视角。跟踪器旨在处理平滑的相机运动和镜头边界。
2019-07-22 cs.CV
ACAV100M: Automatic Curation of Large-Scale Datasets for Audio-Visual Video Representation Learning
Seoul National University（首尔大学）；NVIDIA Research（英伟达研究院）；Microsoft Research（微软研究院）
视觉观察与其对应的声音之间的自然关联为学习视频表示提供了强大的自我监督信号，这使得不断增长的在线视频数量成为有吸引力的训练数据来源。然而，由于编辑/配音音频，大部分在线视频包含不相关的视听信号，并且在这种未经策划的视频上训练的模型已经显示出学习次优表示。因此，现有的方法几乎完全依赖于具有预定分类的语义概念的数据集，其中存在很高的视听对应的机会。不幸的是，构建这样的数据集需要劳动密集型的手动注释和/或验证，这严重限制了在线视频用于大规模学习的实用性。在这项工作中，我们提出了一个自动数据集策展方法的基础上子集优化的目标是最大限度地提高视频中的音频和视觉通道之间的互信息。我们证明了我们的方法可以找到具有高视听对应性的视频，并表明与在现有手动管理的数据集上训练的模型相比，在我们的数据上训练的自监督模型具有竞争力的性能。我们的方法最重要的好处是可扩展性：我们发布的ACAV 100 M包含1亿个具有高视听对应性的视频，非常适合自监督视频表示学习。
2021-08-17 cs.CV
A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos
Universidad de los Andes, Chile（智利洛斯安第斯大学）
本文提出评估开源视频大语言模型在自动新闻视频字幕生成中的方法，使用两个基准数据集评估八种最新模型，发现传统指标在新闻视频字幕生成中表现有限，提出新的主题和实体忠实度指标，结果显示Gemma~3在两个数据集和多数评估维度上表现最佳。
2026-03-29 cs.CV
Generating Animated Layouts as Structured Text Representations
Seoul National University（首尔国立大学）；SK telecom（SK电信）
针对视频广告中文本与动画图形控制难的问题，提出动画布局生成方法及结构化文本表示，并构建 VAKER 管道实现动态布局轨迹自动化，显著优于现有方法。
2025-05-02 cs.CV
Looking Beyond a Clever Narrative: Visual Context and Attention are Primary Drivers of Affect in Video Advertisements
Indian Institute of Science（印度科学学院）；National University of Singapore（新加坡国立大学）；Advanced Digital Sciences Center, University of Illinois（伊利诺伊大学先进数字科学中心）
广告所唤起的情感在影响品牌回忆和最终消费者选择方面起着关键作用。自动广告效果识别具有若干有用的应用。然而，基于内容的特征表示的使用并不能深入了解广告场景设置、显著对象属性及其相互作用等方面如何调节影响。这些方法也没有告诉我们人类如何优先考虑视觉信息来理解广告。我们的工作通过将视频内容分解为检测到的对象、粗糙的场景结构、对象统计和通过眼睛凝视识别的主动参与对象来解决这些缺陷。我们通过系统地将相关信息纳入广告影响预测模型来衡量这些信息渠道的重要性。相反，流行的观念，广告的影响取决于叙事和语言和社会线索的巧妙使用，我们发现，积极参加的对象和粗糙的场景结构更好地编码情感信息相比，个别场景对象或显着的背景元素。
2018-08-14 cs.CV
Localizing Adverts in Outdoor Scenes
Trinity College Dublin（都柏林圣三一学院）；The ADAPT SFI Research Centre（ADAPT SFI研究中心）；Huawei Ireland Research Center（华为爱尔兰研究中心）
在线视频在过去十年中经历了前所未有的增长，这是由于广泛的内容创作。这为广告和营销机构提供了大量的有针对性的广告机会。这样的技术涉及用新广告替换视频帧中的现有广告。然而，在线视频的这种后处理大多由视频编辑器手动完成。这既麻烦又耗时。在本文中，我们提出了DeepAds --一种基于简单编码器-解码器架构的深度神经网络，可以准确定位广告在视频帧中的位置。我们使用神经网络在户外场景中定位广告牌的方法，是同类中的第一个，并取得了最好的性能。我们基准我们提出的方法与其他语义分割算法，在一个公共数据集的户外场景与手动注释的广告牌二进制地图。
2019-05-06 cs.CV
AdsQA: Towards Advertisement Video Understanding
Tsinghua University（清华大学）；Peking University（北京大学）；CASIA（中国科学院自动化所）；Harvard University（哈佛大学）；Shanghai Artificial Intelligence Lab（上海人工智能实验室）
本文提出AdsQA基准，利用广告视频评估大语言模型，并设计ReAd-R强化学习模型，在14个顶级模型中取得最优性能。
2025-09-10 cs.CV
VCEval: Rethinking What is a Good Educational Video and How to Automatically Evaluate It
Fudan University（复旦大学）
针对在线教育视频内容质量不一的问题，本文构建视频课程与教材数据集，提出三项评估原则，并基于多项选择题问答与语言模型评估器设计 VCEval 框架，可有效区分课程质量并给出可解释结果。
2025-01-06 cs.CV cs.MM
VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
VidMuse通过长短期建模融合局部与全局视觉线索，基于36万视频-音乐对数据集，实现了在音频质量、多样性和音画对齐方面优于现有模型的视频到音乐生成。
2025-05-07 cs.CV cs.LG cs.MM
VideoAds for Fast-Paced Video Understanding
Northwestern University（西北大学）；Boston University（波士顿大学）
本文提出首个专为评估多模态大语言模型在广告视频上性能的基准数据集VideoAds，包含手动标注的视觉查找、视频摘要和视觉推理任务，实验表明开源模型Qwen2.5-VL-72B优于GPT-4o等专有模型，强调了提升时间建模能力的必要性。
2025-10-13 cs.CV
Automatic Dance Video Segmentation for Understanding Choreography
The University of Tokyo（东京大学）；Ochanomizu University（御茶水女子大学）；Waseda University（早稻田大学）
本文提出一种结合舞者关键点视觉特征与音乐Mel频谱图音频特征，并利用TCN网络自动将舞蹈视频分割为短动作片段的方法，以高精度估计分割点，并开发了辅助舞者练习的应用。
2024-05-30 cs.CV cs.HC
Driver Behavior Extraction from Videos in Naturalistic Driving Datasets with 3D ConvNets
University of Michigan（密歇根大学）
自然驾驶数据（NDD）是了解碰撞原因和人为因素以及进一步制定防撞对策的重要信息来源。在驾驶时记录的视频通常包括在这样的数据集中。虽然NDD中通常有大量的视频数据，但只有一小部分可以由人类编码人员注释并用于研究，这使得所有视频数据都没有得到充分利用。本文探索了一种计算机视觉方法来自动提取视频中的信息。更具体地说，我们开发了一种3D ConvNet算法，可以从视频中自动提取与手机相关的行为。实验表明，我们的方法可以从视频中提取块，其中大部分（约79%）包含自动标记的手机行为。结合对提取的块的人工审查，这种方法可以比简单地查看视频更有效地找到与手机相关的驾驶员行为。
2020-11-30 cs.AI cs.CV
SummaryNet: A Multi-Stage Deep Learning Model for Automatic Video Summarisation
University of the Witwatersrand（金山大学）；School of Computer Science and Applied Mathematics（计算机科学与应用数学系）
视频摘要可以作为提取视频的重要部分的任务，以便创建视频中发生的内容的信息摘要。在本文中，我们引入SummaryNet作为自动视频摘要的监督学习框架。SummaryNet采用双流卷积网络来学习空间（外观）和时间（运动）表示。它利用编码器-解码器模型从学习的视频表示中提取最显著的特征。最后，它使用具有双向长短期记忆单元的S形回归网络来预测帧是摘要帧的概率。基准数据集上的实验结果表明，该方法实现了可比的或显着更好的结果比国家的最先进的视频摘要方法。
2020-02-19 cs.CV cs.LG stat.ML
Automatic Generation of Descriptive Titles for Video Clips Using Deep Learning
University of Georgia（佐治亚大学）
在过去的十年中，深度学习在许多应用中的使用产生了与人类专家表现相当甚至在某些情况下超过人类专家表现的结果。应用领域包括疾病诊断、金融、农业、搜索引擎、机器人视觉等。在本文中，我们提出了一个架构，利用图像/视频描述的方法和自然语言处理系统生成一个标题和一个简洁的视频摘要。这种系统可以潜在地用于许多应用领域，包括电影业、视频搜索引擎、安全监视、视频数据库/仓库、数据中心等。所提出的系统的功能和操作如下：它读取视频;代表性的图像帧被识别和选择;图像帧被加标题; NLP被应用于所有生成的标题以及文本摘要;最后，为视频生成标题和摘要。所有功能都是自动执行的。本文使用公开的数据集提供了初步结果。本文不关心系统在执行时的效率。我们希望能够在后续出版物中解决执行效率问题。
2021-04-07 cs.AI cs.CV cs.LG
Multimodal Feature Fusion for Video Advertisements Tagging Via Stacking Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Hebei University（河北大学）；Alibaba Group（阿里巴巴集团）；National University of Defense Technology（国防科技大学）
视频广告的自动标注一直是一个关键而又具有挑战性的问题，近年来由于其在许多领域的应用越来越明显，它引起了越来越多的关注。尽管已经做出了持续的努力，标记任务仍然受到一些挑战，例如，有效的特征融合方法是可取的，但在以前的研究中探索不足。在本文中，我们在2021年腾讯广告算法大赛中展示了我们的多模式视频广告标记方法。具体来说，我们提出了一种新的多模态特征融合框架，其目标是将来自多个模态的互补信息相结合。该框架引入了基于堆叠的集成方法，以减少不同程度的噪声和不同模态之间的冲突的影响。因此，与以前的方法相比，我们的框架可以提高标记任务的性能。为了实证研究所提出的框架的有效性和鲁棒性，我们对挑战数据集进行了广泛的实验。所获得的结果表明，我们的框架可以显着优于相关方法，我们的方法在最终排行榜上排名第一，全球平均精度（GAP）为82.63%。为了更好地推动这一领域的研究，我们将在最终版本中发布我们的代码。
2021-08-02 cs.CV cs.MM
Predicting Online Video Advertising Effects with Multimodal Deep Learning
The University of Tokyo（东京大学）；Septeni Co., Ltd.（Septeni株式会社）
随着视频广告市场的不断扩大，对视频广告效果的预测研究越来越受到重视。虽然图像广告的效果预测已经有了很多探索，但视频广告的效果预测仍然是一个挑战，研究很少。在本研究中，我们提出一种预测视频广告点击率的方法，并分析影响点击率的因素。在本文中，我们展示了一个优化的框架，准确地预测的效果，利用多模态的在线视频广告，包括视频，文本和元数据的功能。特别是，两种类型的元数据，即，分类的和连续的，被适当地分离和规范化。为了避免过拟合，这在我们的任务中至关重要，因为训练数据不是很丰富，插入了额外的正则化层。实验结果表明，我们的方法可以实现高达0.695的相关系数，比基线（0.487）有显着提高。
2020-12-22 cs.CV
SoccerHigh: A Benchmark Dataset for Automatic Soccer Video Summarization
Universitat Pompeu Fabra（庞培法布拉大学）
针对体育视频摘要领域公开数据集不足的问题，本文提出了名为SoccerHigh的足球视频摘要基准数据集，配套设计了专用基线模型并取得0.3956的F1分数，还提出了受摘要长度约束的新评估指标。
2025-09-01 cs.AI cs.CV cs.MM
A Multimodal Framework for Video Ads Understanding
Fudan University（复旦大学）
在社交平台上投放视频广告进行在线营销的趋势越来越明显，这需要自动方法来有效地理解广告内容。以2021年TAAC大赛为契机，我们开发了多模态系统，提升广告视频内容的结构化分析能力。在我们的框架中，我们将视频结构化分析问题分解为两个任务，即，场景分割和多模态标记。在场景分割中，我们建立在一个时间卷积模块的时间建模，以预测相邻帧是否属于同一场景。在多模态标记中，我们首先通过使用NeXt-SoftDBoF聚合帧级特征来计算剪辑级视觉特征。视觉特征进一步补充了文本特征，这些文本特征使用全局-局部注意力机制从OCR（光学字符识别）和ASR（音频语音识别）输出中提取有用的信息。我们的解决方案在考虑定位和预测准确性的情况下获得了0.2470的分数，在2021年TAAC最终排行榜中排名第四。
2021-08-29 cs.CV
Free Energy-Based Modeling of Emotional Dynamics in Video Advertisements
Hakuhodo DY Holdings Inc.（三井冈田DY控股公司）；Hakuhodo Technologies Inc.（三井冈田技术公司）；Graduate School of Engineering, The University of Tokyo（东京大学工学系研究生院）
本文提出基于自由能原理的视频广告情感动态建模方法，通过场景级表达特征量化愉悦性、惊讶和习惯化，验证了方法的鲁棒性和泛化能力。
2025-12-22 cs.AI cs.CV
Pop-Up Distractions Reveal Bag-of-Events Behavior in Video Large Language Models
Texas A&M University（德克萨斯A&M大学）；National Taiwan University（台湾国立大学）；Stanford University（斯坦福大学）；VinUniversity（文大学）
通过插入无关广告片段，发现视频大语言模型常将不同片段的事件错误关联，表现出将视频视为事件集合而非时间序列的“事件袋”行为。
2026-08-13 cs.CL cs.CV
Comparative Analysis of Image, Video, and Audio Classifiers for Automated News Video Segmentation
University of Malta（马耳他大学）
本文比较图像、视频和音频分类器在新闻视频分割中的性能，发现基于图像的ResNet以84.34%准确率超越复杂时序模型且计算资源更少，为媒体内容自动化组织提供实用方案。
2025-03-27 cs.AI cs.CV
Video Ads Content Structuring by Combining Scene Confidence Prediction and Tagging
CyberAgent, Inc.（CyberAgent公司）
由于两个主要原因，视频广告分割和标记是一项具有挑战性的任务：（1）视频场景结构复杂，以及（2）它包括多个模态（例如，视觉、音频、文本）。虽然以前的工作主要集中在活动视频（例如“烹饪”，“体育”），但尚不清楚如何利用它们来解决视频广告内容结构化的任务。在本文中，我们提出了一个两阶段的方法，首先提供的场景的边界，然后结合每个分割的场景和预测的标签类的置信度得分的场景。我们提供了广泛的实验结果的网络架构和模式用于所提出的方法。我们的组合方法在具有挑战性的“腾讯广告视频”数据集上改进了先前的基线。
2021-08-20 cs.CV
From Long Videos to Engaging Clips: A Human-Inspired Video Editing Framework with Multimodal Narrative Understanding
University of Science and Technology of China（中国科学技术大学）；ByteDance China（字节跳动中国）
针对现有自动视频编辑依赖文本线索、忽略视觉上下文导致输出不连贯的问题，提出融合多模态叙事理解的HIVE框架，通过场景分割拆分编辑子任务，还构建了DramaAD数据集，实验显示其性能优于基线，缩小了与人工编辑的质量差距。
2025-10-03 cs.CL cs.CV
Automatic detection of moving objects in video surveillance
University of Batna 2（巴特纳第二大学）
这项工作是在视频监控领域，包括运动检测。在视频监控系统中，视频监控是自动视频分析的关键技术之一。我们的工作的目的是提出解决方案的自动检测运动物体的实时的与监控摄像头。检测到的对象是具有某种几何形状（圆形、椭圆形、正方形和矩形）的对象。
2016-08-11 cs.CV
Automatic cinematography for 360 video
JOANNEUM RESEARCH - DIGITAL（约阿内姆研究数字研究所）
我们描述了我们的方法自动生成的视觉上有趣的相机路径（自动摄影）从360视频。基于场景对象的信息，对不同的镜头类型构造多个镜头假设，并绘制出最佳镜头假设。
2020-09-02 cs.CV
Benchmarking Vision-Language Models on Optical Character Recognition in Dynamic Video Environments
VideoDB
本文提出动态视频环境OCR任务的开源基准，含1477个多领域标注帧，对比3个先进VLMs与传统OCR系统，分析其优劣势并公开资源以推动相关研究。
2025-02-10 cs.CV
Automatic Non-Linear Video Editing Transfer
Google Research（谷歌研究院）
我们提出了一种自动的方法，提取源视频中的编辑风格，并将编辑应用到匹配的视频素材中。我们基于计算机视觉的技术考虑了每个输入视频片段的帧、内容类型、回放速度和照明。通过应用这些功能的组合，我们展示了一种有效的方法，自动传输的视觉和时间风格从专业编辑的视频看不见的原始素材。我们使用真实世界的视频评估了我们的方法，这些视频总共包含3872个各种编辑风格的视频镜头，包括不同的主题、相机运动和灯光。我们报告了来自调查参与者的反馈，他们审查了我们的一组结果。
2021-05-14 cs.CV
Classifying Video based on Automatic Content Detection Overview
University of Alberta（阿尔伯塔大学）
视频分类与分析一直是计算机视觉研究的热点和难点。它不仅仅是简单的图像分类，由于后续帧的语义内容的相关性给视频分析带来了困难。在这篇文献综述中，我们总结了一些国家的最先进的多标签视频分类方法。我们的目标是首先实验研究目前广泛使用的架构，然后开发一种方法来处理帧的序列数据，并执行多标签分类的视频内容自动检测的基础上。
2021-03-29 cs.CV
NLP Driven Ensemble Based Automatic Subtitle Generation and Semantic Video Summarization Technique
Indian Institute Of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
本文提出了一种自动字幕生成和语义视频摘要技术。自动视频摘要的重要性在当今大数据时代是巨大的。视频摘要有助于高效存储和快速浏览大量视频，而不会丢失重要的视频。视频的摘要是在字幕的帮助下完成的，字幕是使用几种文本摘要算法获得的。该技术使用语音识别为有/无字幕的视频生成字幕，然后对字幕应用基于NLP的文本摘要算法。采用交集法和基于权值的学习法两种方法，通过包围法提高了字幕生成和视频摘要的性能。实验结果表明，该方法具有良好的性能
2019-04-22 cs.CV
Fully Automatic Video Colorization with Self-Regularization and Diversity
HKUST（香港科技大学）
我们提出了一个全自动的方法，视频彩色化与自我正则化和多样性。我们的模型包含一个彩色化网络的视频帧彩色化和细化网络的时空颜色细化。在没有任何标记数据的情况下，这两个网络都可以使用双边和时间空间中定义的自正则化损失进行训练。双边损失强制执行双边空间中的相邻像素之间的颜色一致性，并且时间损失强制执行两个附近帧中的对应像素之间的约束。虽然视频彩色化是一个多模态问题，我们的方法使用了多样性的感知损失来区分解决方案空间中的各种模式。感知实验表明，我们的方法优于国家的最先进的方法，全自动视频彩色化。结果显示在补充视频https://youtu.be/Y15uv2jnK-4
2019-08-04 cs.CV
Automatic Portrait Video Matting via Context Motion Network
Intel（英特尔）
自动人像视频抠图是一个欠约束问题。大多数最先进的方法只利用语义信息，并单独处理每个帧。由于帧之间缺乏时间信息，它们的性能受到损害。为了解决这个问题，我们提出了上下文运动网络，利用语义信息和运动信息。为了捕捉运动信息，我们估计光流和设计一个上下文运动更新算子，以整合帧间的特征循环。我们的实验表明，我们的网络在Video240K SD数据集上的表现明显优于最先进的抠图方法。
2021-09-13 cs.CV
Deep3D: Fully Automatic 2D-to-3D Video Conversion with Deep Convolutional Neural Networks
University of Washington（华盛顿大学）
随着3D电影观看成为主流和虚拟现实（VR）市场的出现，对3D内容的需求正在迅速增长。然而，制作3D视频仍然具有挑战性。在本文中，我们提出使用深度神经网络自动将2D视频和图像转换为立体3D格式。与以前的自动2D到3D转换算法相比，这些算法具有单独的阶段并且需要地面真实深度图作为监督，我们的方法直接在从3D电影中提取的立体声对上进行端到端训练。这种新颖的训练方案可以利用数量级更多的数据，并显着提高性能。事实上，Deep3D在定量和人类受试者评估方面都优于基线。
2016-04-13 cs.CV
Automatic Real-time Background Cut for Portrait Videos
The Chinese University of Hong Kong（香港中文大学）
本文解决了720p人像视频的高质量自动实时的【形】背景裁剪问题。首先，我们提出了一个全局背景衰减模型来处理语义分割中的背景模糊问题。一个时空细化网络的开发，以进一步细化在每帧中的分割错误，并确保在分割图的时间一致性。我们形成了一个端到端的培训和测试网络。每个模块的设计都考虑了效率和准确性。我们构建了一个肖像数据集，其中包括8，000张带有高质量标记地图的图像，用于训练和测试。为了进一步提高性能，我们构建了一个包含50个序列的肖像视频数据集来微调视频分割。我们的框架有利于许多视频处理应用程序。
2017-04-28 cs.CV
Automatic video scene segmentation based on spatial-temporal clues and rhythm
Ecole Centrale de Lyon（里昂中央理工学院）；CNRS（法国国家科学研究中心）
随着计算能力和数据存储容量的不断提高，大型数字视频库的潜力正在迅速增长，但视频的不透明性限制了其大规模使用。实际上，必须顺序地处理和检索的用户需要太多的时间来找出视频内的感兴趣的片段。因此，提供一个方便和有效的环境，视频存储和检索，特别是基于内容的搜索，因为这存在于传统的基于文本的数据库系统，一直是最近的重点和重要的努力，一个大型的研究社区。在本文中，我们提出了一种新的自动视频场景分割方法，探讨两个主要的视频功能，这些是时空关系和节奏的镜头。从80分钟的视频中获得的实验证据表明，我们的原型提供了非常高的准确率的视频分割。
2014-12-15 cs.CV
Pano2Vid: Automatic Cinematography for Watching 360$^{\circ}$ Videos
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了全景360 $^{\circ}$视频的Pano2Vid $-$自动电影摄影的新任务。给定360度$^{\circ}$视频，目标是引导虚拟相机虚拟地捕获看起来自然的正常视场（NFOV）视频。通过在每个时间步长选择全景图中的“看哪里”，Pano2Vid旨在将摄像师和最终观众从确定观看内容的任务中解放出来。为了实现这一目标，我们首先编译了从网络上下载的360个$^{\circ}$视频的数据集，以及人工编辑的NFOV摄像机轨迹，以便于评估。接下来，我们提出了AutoCam，一种数据驱动的方法来解决Pano2Vid任务。AutoCam利用NFOV网络视频在每个时刻有区别地识别感兴趣的时空“一瞥”，然后使用动态规划来选择最佳的类人摄像机轨迹。通过对多个新定义的Pano2Vid性能指标进行实验评估，我们证明了我们的方法成功地产生了可以想象的人类摄像师捕获的信息丰富的视频。
2016-12-07 cs.CV
Automatic Handgun Detection Alarm in Videos Using Deep Learning
University of Granada（格拉纳达大学）
目前的监视和控制系统仍然需要人的监督和干预。这项工作提出了一种新的自动手枪检测系统的视频适合，监视和控制的目的。我们将这个检测问题重新表述为最小化误报的问题，并通过构建由深度卷积神经网络（CNN）分类器的结果指导的关键训练数据集来解决它，然后在两种方法下评估最佳分类模型，滑动窗口方法和区域建议方法。最有希望的结果是通过在我们的新数据库上训练的基于Faster R-CNN的模型获得的。最好的检测器即使在低质量的youtube视频中也显示出很高的潜力，并作为自动报警系统提供了令人满意的结果。在30个场景中，它在27个场景中在不到0.2秒的时间内连续五次真阳性后成功激活警报。我们还定义了一个新的指标，报警激活每间隔（AApI），以评估性能的检测模型作为一个自动检测系统的视频。
2017-02-16 cs.CV
SliTraNet: Automatic Detection of Slide Transitions in Lecture Videos using Convolutional Neural Networks
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
随着网络中在线学习材料数量的增加，搜索讲座视频中的特定内容可能是耗时的。因此，从讲座视频中自动提取幻灯片有助于简要概述主要内容并支持学生的学习。为此，我们提出了一种深度学习方法来检测讲座视频中的幻灯片过渡。我们首先使用2-D卷积神经网络来预测过渡候选者，通过基于神经网络的方法来处理视频的每一帧。然后，我们通过采用两个3-D卷积神经网络来细化过渡候选，从而增加了复杂度。评估结果表明，我们的方法在寻找幻灯片过渡的有效性。
2022-02-07 cs.CV
ControlCol: Controllability in Automatic Speaker Video Colorization
SFI Centre for Research Training in Artificial Intelligence（SFI人工智能研究培训中心）；Data Science Institute（数据科学研究所）；University of Galway（戈尔韦大学）；School of Engineering（工程学院）
提出ControlCol自动说话人视频着色系统，在保持高质量的同时提供用户可控性，在Grid和Lombard Grid数据集上比DeOldify提升3.5%，90%的对比中更受用户青睐。
2024-08-21 cs.CV
Clear Skies Ahead: Towards Real-Time Automatic Sky Replacement in Video
Lightricks（莱特瑞克斯）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
诸如由智能手机捕获的数字视频的数字视频通常表现出曝光不一致、曝光不佳的天空，或者仅仅遭受无趣或看起来普通的天空。专业人士可以使用大多数用户无法使用的高级和耗时的工具编辑这些视频，以更富有表现力或想象力的天空替换天空。在这项工作中，我们提出了一种算法，自动替换的天空区域在视频中与不同的天空，提供非专业用户一个简单而有效的工具来无缝地替换天空。该方法是快速的，在移动设备上实现接近实时的【形】性能，并且用户的参与可以保持与简单地选择替换天空一样有限。
2019-03-06 cs.CV
Automatic Action Annotation in Weakly Labeled Videos
University of Central Florida（中佛罗里达大学）
人工时空注释视频中的人类动作是费力的，需要几个注释器，并包含人的偏见。在本文中，我们提出了一个弱监督的方法来自动获得时空注释的动作视频中的演员。我们首先在每个视频中获得大量的行动建议。为了在每个视频中捕获一些最具代表性的动作建议并避免处理数千个动作建议，我们在基于3D-MRF的框架中使用光流和显著性对它们进行排名，并使用基于MAP的建议子集选择方法选择一些建议。我们证明，这种排名保留了高质量的行动建议。针对相同动作的每个视频生成若干这样的提议。我们的下一个挑战是迭代地从每个视频中选择一个建议，以便所有建议都是全局一致的。我们将其表述为广义最大团图问题，使用视频中提案的形状，全局和细粒度相似性。我们的方法的输出是每个视频中最具行动代表性的建议。我们的方法还可以注释视频中同一动作的多个实例。我们已经在三个具有挑战性的动作数据集上验证了我们的方法：UCF Sport，sub-JHMDB和THUMOS'13，并且与几种基线方法相比，已经获得了有希望的结果。此外，在UCF Sports上，我们证明了在这些自动获得的时空注释上训练的动作分类器与在地面实况注释上训练的分类器具有相当的性能。
2016-05-26 cs.CV
FusionSeg: Learning to combine motion and appearance for fully automatic segmention of generic objects in videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个端到端的学习框架，用于分割视频中的通用对象。我们的方法学习结合外观和运动信息，为视频中的所有突出对象生成像素级分割掩模。我们制定了这个任务作为一个结构化的预测问题，并设计了一个双流完全卷积神经网络融合在一起的运动和外观在一个统一的框架。由于具有像素级分割的大规模视频数据集是有问题的，因此我们展示了如何将弱注释视频与现有的图像识别数据集一起引导进行训练。通过对三个具有挑战性的视频分割基准的实验，我们的方法大大提高了分割通用（看不见的）对象的最新技术水平。代码和预训练模型可在项目网站上获得。
2017-04-12 cs.CV
MobileVidFactory: Automatic Diffusion-Based Social Media Video Generation for Mobile Devices from Text
University of Electronic Science and Technology of China（电子科技大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）；National Taiwan University（国立台湾大学）
提出MobileVidFactory系统，利用预训练图像扩散模型生成移动端竖屏视频，支持文本到视频、背景音检索匹配及屏幕文本与语音定制。
2023-07-31 cs.CV
A-MAL: Automatic Movement Assessment Learning from Properly Performed Movements in 3D Skeleton Videos
The University of Haifa（海法大学）
评估运动质量的任务最近在各种领域中获得了很高的需求。自动评估由诸如Kinect摄像机等经济实惠的设备捕获的视频中的受试者运动的能力对于监测临床康复过程、改善运动技能和运动学习任务至关重要。在精确跟踪运动阶段的同时需要注意低层次的细节，这使得这项任务非常具有挑战性。在这项工作中，我们介绍了A-MAL，一个自动的，强大的运动评估学习算法，只学习从正确执行的运动视频没有进一步的注释，由偏差时间分割算法，参数相关性检测算法，一种新的时间扭曲算法，是基于自动检测的共同时间点的兴趣和文本反馈生成机制。我们从Fugl-Meyer评估（FMA）测试中展示了我们的方法，该测试通常由职业治疗师进行，以监测中风后患者的恢复过程。
2020-07-15 cs.CV
Sync-DRAW: Automatic Video Generation using Deep Recurrent Attentive Architectures
IIT Hyderabad（印度理工学院海得拉巴分校）
本文介绍了一种新的方法，用于生成视频称为同步深度递归注意作家（Sync-DRAW）。Sync-DRAW还可以执行文本到视频的生成，据我们所知，这使其成为同类方法中的第一种。它以一种新颖的方式将变分自编码器~（VAE）与循环注意力机制相结合，以创建随时间逐渐形成的时间依赖的帧序列。Sync-DRAW中的周期性注意力机制关注同步中的视频的每个单独帧，而VAE在全局级别上学习整个视频的潜在分布。我们对Bouncing MNIST，KTH和UCF-101的实验表明，Sync-DRAW在学习视频的空间和时间信息方面是有效的，并生成具有高度结构完整性的帧，并且可以从这些数据集上的简单字幕生成视频。（作为口头论文在ACM-Multimedia 2017中被接受）
2017-10-21 cs.CV
Automatic Streaming Segmentation of Stereo Video Using Bilateral Space
Beihang University（北京航空航天大学）
本文利用双目摄像机的特点，提出了一种基于半监督分割算法的无监督分割算法，有效地提取了前景部分。我们创造性地将深度信息嵌入到图割模型的双边网格中，在没有用户输入的情况下，获得了相当的分割精度。实验结果表明，该算法具有较高的精度和时间效率，并能适应复杂的自然场景，具有一定的实际应用价值。
2017-11-28 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
