Context-Oriented Web Video Tag Recommendation
标签推荐是丰富多媒体内容文本注释的常用方法。然而，现有技术的推荐方法是建立在配对标签相关性上的，其几乎不能捕获web视频的上下文，即，谁在哪里做什么。在本文中，我们提出了面向上下文的标签推荐（CtextR）的方法，它扩展了标签的上下文一致的约束下的Web视频。给定一个Web视频，CtextR首先收集与视频描述相同事件的多种形式的WWW资源，这些资源产生信息丰富且一致的上下文，然后基于所获得的上下文进行标签推荐。在80,031个网络视频集合上的实验表明，CtextR为网络视频推荐了各种相关标签。此外，丰富的标签提高了Web视频分类的性能。
2010-03-24 cs.MM
Video Source Characterization Using Encoding and Encapsulation Characteristics
提出一种结合视频编码与媒体数据封装特征的双层分层分类方法用于相机型号识别，在119个视频类别中达到91%的平衡准确率，并在元数据缺失场景下通过估计编码参数实现57%的识别准确率。
2022-08-28 cs.CR cs.MM
Will It Go Viral? Grounding Micro-Video Popularity Prediction on the Open Web
Yonsei University（延世大学）
本文提出了一种基于开放网络的微视频流行度预测方法，通过引入实时开放网络上下文来提升预测准确性，展示了WEBSHORTS数据集和SHORTS-CAST框架在预测微视频流行度方面的有效性。
2026-05-18 cs.MM
Real-time Video Processing in Web Applications
OpenGL ES标准通过WebGL API在现代桌面和移动浏览器中实现。本文探讨了在标准HTML5应用程序中使用OpenGL ES硬件加速进行实时的视频处理的可能性。它分析了不同设备类型的WebGL性能，并将其与标准JavaScript和canvas性能进行了比较。
2017-12-06 cs.MM
Web Video Categorization based on Wikipedia Categories and Content-Duplicated Open Resources
本文提出了一种新的网络视频分类方法，利用维基百科类别（WikiCs）和描述与视频相同内容的开放资源，即，内容重复的开放资源（CDORs）。请注意，目前的方法只收集一种或几种媒体形式中的CDOR，而忽略了其他形式的CDOR。我们利用维基百科和商业搜索引擎探索所有这些资源。给定一个网络视频，其歧视性的维基百科的概念，首先确定和分类。然后构造一个文本查询，并从中收集CDOR。基于这些CDORs，我们建议在WikiCs而不是原始标签所跨越的空间中对网络视频进行分类。实验结果表明，所提出的CDOR集合方法和WikiC投票分类算法都是有效的.此外，基于WikiCs和CDORs构建的分类模型与仅基于其中之一以及最先进的方法构建的模型相比，具有更好的性能。
2010-08-04 cs.MM
Strategies for Searching Video Content with Text Queries or Video Examples
Carnegie Mellon University（卡内基梅隆大学）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）；The University of Queensland（昆士兰大学）
每天有大量的用户生成的视频上传到互联网上，这导致了许多商业视频搜索引擎，它们主要依赖于文本元数据进行搜索。然而，用户生成的视频往往缺乏元数据，因此这些视频是无法通过当前的搜索引擎搜索。因此，基于内容的视频检索（CBVR）通过直接分析每个视频的视觉和音频流来解决这个元数据稀缺的问题。CBVR包含多个研究主题，包括低层特征设计，特征融合，语义检测器训练和视频搜索/重新排名。我们在这些主题中提出了新的策略，以提高CBVR在不同的查询输入下的准确性和速度，包括纯文本查询和视频查询的例子。我们提出的策略已被纳入我们提交的TRECVID 2014多媒体事件检测评估，其中我们的系统在文本查询和视频示例查询方面都优于其他提交，从而证明了我们提出的方法的有效性。
2016-06-17 cs.CV cs.IR cs.MM
Multimodal Co-Training for Selecting Good Examples from Webly Labeled Video
我们解决了从网络视频中学习概念分类器的问题，而不使用手动标记的数据。虽然附加到视频的元数据（例如，视频标题、描述）可以帮助收集目标概念的训练数据，但是所收集的数据通常是非常嘈杂的。因此，主要的挑战是如何从嘈杂的训练数据中选择好的例子。以前的方法首先学习不太可能是噪声的简单示例，然后逐渐学习更复杂的示例。然而，那些与简单的例子大不相同的难的例子是永远学不到的。在本文中，我们提出了一种称为多模态协同训练（MMCo）的方法，用于从嘈杂的训练数据中选择好的例子。MMCo联合学习多种模态的分类器，这些模态相互补充，以选择好的示例。由于MMCo通过多模态分类器的一致性来选择示例，因此通过利用其他模态的能力，一种模态的硬示例仍然可以用作训练样本。该算法非常简单，易于实现，但在FCVID和YouTube8M基准测试中，示例选择和分类性能得到了一致和显著的提升。
2018-04-17 cs.MM
Lightweight Call Signaling and Peer-to-Peer Control of WebRTC Video Conferencing
Intencity Cloud Technologies（Intencity云技术）
本研究提出了一种基于WebRTC的轻量级视频会议系统，通过点对点网络实现无需媒体服务器的多方视频通话功能。
2026-02-09 cs.MM cs.NI
Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images
University of Southern California（南加州大学）；Google, Inc.（谷歌公司）
我们解决的问题，细粒度的动作定位从时间上未修剪的网络视频。我们假设只有弱视频级注释可用于训练。我们的目标是使用这些弱标签来识别与动作相对应的时间段，并学习推广到无约束网络视频的模型。我们发现，通过动作名称查询的网络图像可以作为许多动作的本地化突出显示，但标签很吵。为了解决这个问题，我们提出了一种简单而有效的方法，以弱视频标签和嘈杂的图像标签作为输入，并生成本地化的动作帧作为输出。这是通过使用预先训练的深度卷积神经网络在视频帧和网络图像之间进行跨域传输来实现的。然后，我们使用本地化的动作框架训练动作识别模型与长短期记忆网络。我们收集了超过130，000个YouTube视频的细粒度体育动作数据集FGA-240。它在85项体育活动下有240个精细动作。FGA-240数据集和THUMOS 2014本地化数据集以及未经修剪的训练视频显示了令人信服的结果。
2015-08-04 cs.CV cs.MM
SIP APIs for Voice and Video Communications on the Web
用于web和因特网电话的现有标准协议不能从web浏览器内递送实时交互式通信。特别地，基于可靠TCP的客户端-服务器web协议并不总是适合于交互式语音和视频通信所需的端到端低延迟媒体路径。为了解决这个问题，我们比较了可用的平台选项使用现有的技术，如修改Web程序设计语言和协议，使用现有的Web浏览器插件，和一个单独的主机驻留的应用程序，Web浏览器可以交谈。我们认为，使用一个单独的应用程序作为适配器是一个有前途的短期以及长期的战略，在网络上的语音和视频通信。我们的项目旨在开发基于Web的实时语音和视频通信应用的开放技术和示例实现。我们描述了我们的项目的架构，包括（1）一个基于HTTP的REST风格的Web通信API，（2）一组用于会话描述的Web友好元数据，以及（3）一个基于UDP的端到端媒体路径。所有其他电话功能都驻留在Web应用程序本身和/或Web功能服务器中。适配器方法使我们能够轻松添加新的语音和视频编解码器以及NAT穿越技术，如主机身份协议。我们希望让数以百万计的Web开发人员能够访问基于Web的通信，最大限度地提高最终用户体验和安全性，并保留SIP系统的巨大全球投资和经验，同时尽可能地遵守Web标准和开发工具。我们已经创建了一个开源原型，允许您通过将浏览器定向到会议URL来自由使用会议应用程序。
2011-06-30 cs.MM cs.NI
User-based key frame detection in social web video
网站上的视频搜索结果和建议视频用视频缩略图表示，视频缩略图由视频上传器在三个随机生成的缩略图中手动选择（例如，YouTube）。相比之下，我们提出了一个接地的基于用户的方法，通过聚合用户的重放与视频播放器的交互，自动检测视频中有趣的关键帧。以前的研究主要集中在基于内容的系统上，这些系统可以在没有用户交互的情况下分析视频，但它们是单一的，因为无论用户的偏好如何，生成的视频缩略图都是相同的。我们构建了一个基于聚合视频回放的用户兴趣函数，并分析了数百个用户交互。我们发现，局部最大值的重播活动代表的语义信息丰富的视频，如讲座，和如何。基于用户的关键帧检测的概念可以应用于网络上的任何视频，以便在搜索结果中生成基于用户的动态视频缩略图。
2012-04-09 cs.HC cs.IR cs.MM
Efficient Video Indexing on the Web: A System that Leverages User Interactions with a Video Player
在本文中，我们提出了一个基于用户的视频索引方法，自动生成缩略图的最重要的场景的在线视频流，通过分析用户的交互与Web视频播放器。作为验证我们想法的测试平台，我们将YouTube视频播放器扩展到VideoSkip系统中。此外，VideoSkip使用网络数据库（Google应用程序引擎）来记录一些重要参数，例如基本用户操作（播放，暂停，跳过）的时间。此外，我们实现了一个算法，选择代表性的缩略图。最后，我们用来自九个用户的实验数据填充系统。我们发现VideoSkip系统通过利用隐式用户交互（例如暂停和30秒跳过）来索引视频内容。我们的早期发现指向网络视频播放器及其缩略图生成技术的改进。VideSkip系统可以补充基于内容的算法，以便在困难的视频中实现有效的视频索引，例如讲座或体育。
2012-04-27 cs.DL cs.HC cs.IR
Flash-based Audio and Video Communication in the Cloud
互联网电话和多媒体通信协议在过去十五年中已经成熟。最近，网络正在发展成为我们在互联网上所做的一切的流行平台，包括电子邮件，文本聊天，语音通话，讨论，企业应用程序和多方协作。不幸的是，网络和传统的互联网电话协议之间存在脱节，因为它们忽略了彼此的约束和要求。因此，Flash Player被许多开发人员用作基于Web的语音和视频呼叫的Web浏览器插件。我们描述了使用Web浏览器的视频通信的挑战，提出了一个简单的API使用Flash Player应用程序，显示它如何支持各种各样的Web通信方案在云中，并描述它如何可以与会话发起协议（SIP）的系统进行互操作。我们描述了基于Flash Player的通信应用程序的优点和挑战。所提出的API可以指导未来与通信相关的Web协议扩展的工作。
2011-06-30 cs.MM cs.NI
Attention Transfer from Web Images for Video Recognition
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
训练用于动作识别的基于深度学习的视频分类器需要大量标记的视频。标签过程是劳动密集型和耗时的。另一方面，大量的弱标记图像被用户上传到互联网上。为了利用丰富且高度多样化的Web图像集，一种可扩展的方法是抓取这些图像以训练基于深度学习的分类器，例如卷积神经网络（CNN）。然而，由于域转移问题，Web图像训练的深度分类器的性能在直接部署到视频时往往会下降。解决这个问题的一种方法是对视频的训练模型进行微调，但仍然需要足够数量的注释视频。在这项工作中，我们提出了一种新的方法来转移知识从图像域到视频域。所提出的方法可以适应目标域（即视频数据）与有限数量的训练数据。我们的方法将视频帧映射到一个低维特征空间，使用CNN的分类判别空间注意力图。我们设计了一种新的Siamese EnergyNet结构，通过联合优化两个损失函数来学习注意力地图上的能量函数，使得与地面真实概念相对应的注意力地图具有更高的能量。我们对两个具有挑战性的视频识别数据集（即TVHI和UCF101）进行了广泛的实验，并证明了我们所提出的方法的有效性。
2017-08-03 cs.CV cs.MM
VisAug: Facilitating Speech-Rich Web Video Navigation and Engagement with Auto-Generated Visual Augmentations
VisAug是一种交互式系统，通过自动生成视觉增强来改善语音密集型视频的导航与参与，提升信息消费体验。
2025-08-05 cs.HC cs.MM
Prediction of Video Popularity in the Absence of Reliable Data from Video Hosting Services: Utility of Traces Left by Users on the Web
随着用户生成内容的增长，我们观察到搜索引擎、内容聚合器等公司的数量不断上升，因此，为了定位最重要的内容并将其推广给用户，他们面临着估计当前和预测未来内容流行度的需要。在本文中，我们的方法的视频流行度预测的问题，而不是从一个视频托管服务的一面，在所有以前的研究中所做的，但从一个运营公司，它提供了一个流行的视频搜索服务，从不同的视频托管网站聚合的内容。我们调查视频流行度预测的基础上提供了一个典型的运营公司的三个主要来源的功能：第一，内容托管提供商可以通过其API提供其数据，第二，运营公司利用自己的搜索和浏览日志，第三，该公司抓取信息嵌入的视频和链接到一个视频页面从公开的资源在Web上。我们表明，视频流行度预测的基础上的嵌入和链接数据加上内部搜索和浏览数据显着提高视频流行度预测的基础上提供的数据的视频托管，甚至可以充分取代API数据的情况下，当它是部分或完全不可用。
2016-11-28 cs.HC cs.IR cs.MM
Catalogue-Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints
University of Surrey（萨里大学）
本文提出一种目录引导的多模态归因方法，用于博物馆视频内容的自动化元数据生成，以提高档案馆发现性并满足资源和监管要求。
2026-10-27 cs.CV cs.LG cs.MM
VEMOCLAP: A video emotion classification web application
INESC TEC；ISEP（波尔图理工学院工程学院）；Polytechnic of Porto（波尔图理工学院）
本研究推出开源视频情绪分类网络应用VEMOCLAP，通过改进基于视频帧、音频预训练模型与多头交叉注意力特征融合的方法，将Ekman-6数据集上的SOTA分类准确率提升4.3%，并提供可处理本地及YouTube视频的在线试用服务。
2024-10-22 cs.AI cs.CV cs.LG
A Data-Driven Approach for Tag Refinement and Localization in Web Videos
Università degli Studi di Firenze（佛罗伦萨大学）；Stanford University（斯坦福大学）；Università degli Studi di Modena e Reggio Emilia（摩德纳-雷焦艾米利亚大学）
随着基于web的服务和社交网络在其用户中普及了标记功能，视觉内容的标记正变得越来越普遍。这些用户生成的标签用于简化媒体集的浏览和探索，例如使用标签云，或检索多媒体内容。然而，并非所有媒体都被用户标记。使用当前的系统很容易标记一张照片，甚至标记照片的一部分，比如一张脸，在Flickr和Facebook这样的网站上也很常见。另一方面，标记视频序列更复杂且耗时，使得用户仅标记视频的整体内容。在本文中，我们提出了一种自动视频注释的方法，增加了原来由用户提供的标签的数量，并将它们暂时定位，将标签与关键帧相关联。我们的方法利用了嵌入在用户生成的标签和网络资源中的集体知识，以及上传到YouTube和Flickr等社交网站的关键帧和图像的视觉相似性，以及Google和Bing等网络资源。给定一个关键帧，我们的方法能够从这些视觉源中动态选择与该测试样本最相关的训练样本，并继续在类似图像中传输标签。与现有的视频标记方法，需要训练分类器为每个标签相比，我们的系统具有很少的参数，易于实现，可以处理一个开放的词汇场景。我们在DUT-WEBV（一个大型的网络视频数据集）上展示了标签细化和本地化的方法，并展示了最先进的结果。
2015-05-28 cs.CV cs.IR cs.MM
VDCook:DIY video data cook your MLLMs
BAAI（北京人工智能研究院）
VDCook是一种可配置的视频数据构建平台，通过自然语言查询和参数调节生成具有完整元数据的领域数据包，支持动态更新和领域扩展。
2026-05-08 cs.AI cs.IR cs.LG
VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；ByteDance Inc.（字节跳动公司）
该研究提出VMAS视频转音乐生成框架，利用大规模网络音乐视频，结合语义与节拍对齐机制及新型时序编码器，在自建220万样本的DISCO-MV等数据集上性能超越现有方法。
2024-09-11 cs.CV cs.MM cs.SD
