Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images
University of Southern California（南加州大学）；Google, Inc.（谷歌公司）
我们解决的问题，细粒度的动作定位从时间上未修剪的网络视频。我们假设只有弱视频级注释可用于训练。我们的目标是使用这些弱标签来识别与动作相对应的时间段，并学习推广到无约束网络视频的模型。我们发现，通过动作名称查询的网络图像可以作为许多动作的本地化突出显示，但标签很吵。为了解决这个问题，我们提出了一种简单而有效的方法，以弱视频标签和嘈杂的图像标签作为输入，并生成本地化的动作帧作为输出。这是通过使用预先训练的深度卷积神经网络在视频帧和网络图像之间进行跨域传输来实现的。然后，我们使用本地化的动作框架训练动作识别模型与长短期记忆网络。我们收集了超过130，000个YouTube视频的细粒度体育动作数据集FGA-240。它在85项体育活动下有240个精细动作。FGA-240数据集和THUMOS 2014本地化数据集以及未经修剪的训练视频显示了令人信服的结果。
2015-08-04 cs.CV cs.MM
SIP APIs for Voice and Video Communications on the Web
用于web和因特网电话的现有标准协议不能从web浏览器内递送实时交互式通信。特别地，基于可靠TCP的客户端-服务器web协议并不总是适合于交互式语音和视频通信所需的端到端低延迟媒体路径。为了解决这个问题，我们比较了可用的平台选项使用现有的技术，如修改Web程序设计语言和协议，使用现有的Web浏览器插件，和一个单独的主机驻留的应用程序，Web浏览器可以交谈。我们认为，使用一个单独的应用程序作为适配器是一个有前途的短期以及长期的战略，在网络上的语音和视频通信。我们的项目旨在开发基于Web的实时语音和视频通信应用的开放技术和示例实现。我们描述了我们的项目的架构，包括（1）一个基于HTTP的REST风格的Web通信API，（2）一组用于会话描述的Web友好元数据，以及（3）一个基于UDP的端到端媒体路径。所有其他电话功能都驻留在Web应用程序本身和/或Web功能服务器中。适配器方法使我们能够轻松添加新的语音和视频编解码器以及NAT穿越技术，如主机身份协议。我们希望让数以百万计的Web开发人员能够访问基于Web的通信，最大限度地提高最终用户体验和安全性，并保留SIP系统的巨大全球投资和经验，同时尽可能地遵守Web标准和开发工具。我们已经创建了一个开源原型，允许您通过将浏览器定向到会议URL来自由使用会议应用程序。
2011-06-30 cs.MM cs.NI
User-based key frame detection in social web video
网站上的视频搜索结果和建议视频用视频缩略图表示，视频缩略图由视频上传器在三个随机生成的缩略图中手动选择（例如，YouTube）。相比之下，我们提出了一个接地的基于用户的方法，通过聚合用户的重放与视频播放器的交互，自动检测视频中有趣的关键帧。以前的研究主要集中在基于内容的系统上，这些系统可以在没有用户交互的情况下分析视频，但它们是单一的，因为无论用户的偏好如何，生成的视频缩略图都是相同的。我们构建了一个基于聚合视频回放的用户兴趣函数，并分析了数百个用户交互。我们发现，局部最大值的重播活动代表的语义信息丰富的视频，如讲座，和如何。基于用户的关键帧检测的概念可以应用于网络上的任何视频，以便在搜索结果中生成基于用户的动态视频缩略图。
2012-04-09 cs.HC cs.IR cs.MM
Video Processing on the Edge for Multimedia IoT Systems
在本文中，我们首先调查了三种典型场景下多媒体物联网（M-IoT）系统边缘视频处理的现状，即，智能城市、卫星网络和车联网。通过总结边缘视频处理的一般模型，强调了开发边缘计算平台的重要性。在此基础上，提出了一种基于轻量级虚拟化技术的边缘计算平台上协同视频处理的实现方法。进行了性能评估，并获得了一些有见地的观察结果。此外，我们总结了实现M-IoT系统有效边缘视频处理的挑战和机遇。
2018-05-13 cs.MM
Efficient Video Indexing on the Web: A System that Leverages User Interactions with a Video Player
在本文中，我们提出了一个基于用户的视频索引方法，自动生成缩略图的最重要的场景的在线视频流，通过分析用户的交互与Web视频播放器。作为验证我们想法的测试平台，我们将YouTube视频播放器扩展到VideoSkip系统中。此外，VideoSkip使用网络数据库（Google应用程序引擎）来记录一些重要参数，例如基本用户操作（播放，暂停，跳过）的时间。此外，我们实现了一个算法，选择代表性的缩略图。最后，我们用来自九个用户的实验数据填充系统。我们发现VideoSkip系统通过利用隐式用户交互（例如暂停和30秒跳过）来索引视频内容。我们的早期发现指向网络视频播放器及其缩略图生成技术的改进。VideSkip系统可以补充基于内容的算法，以便在困难的视频中实现有效的视频索引，例如讲座或体育。
2012-04-27 cs.DL cs.HC cs.IR
Flash-based Audio and Video Communication in the Cloud
互联网电话和多媒体通信协议在过去十五年中已经成熟。最近，网络正在发展成为我们在互联网上所做的一切的流行平台，包括电子邮件，文本聊天，语音通话，讨论，企业应用程序和多方协作。不幸的是，网络和传统的互联网电话协议之间存在脱节，因为它们忽略了彼此的约束和要求。因此，Flash Player被许多开发人员用作基于Web的语音和视频呼叫的Web浏览器插件。我们描述了使用Web浏览器的视频通信的挑战，提出了一个简单的API使用Flash Player应用程序，显示它如何支持各种各样的Web通信方案在云中，并描述它如何可以与会话发起协议（SIP）的系统进行互操作。我们描述了基于Flash Player的通信应用程序的优点和挑战。所提出的API可以指导未来与通信相关的Web协议扩展的工作。
2011-06-30 cs.MM cs.NI
Attention Transfer from Web Images for Video Recognition
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
训练用于动作识别的基于深度学习的视频分类器需要大量标记的视频。标签过程是劳动密集型和耗时的。另一方面，大量的弱标记图像被用户上传到互联网上。为了利用丰富且高度多样化的Web图像集，一种可扩展的方法是抓取这些图像以训练基于深度学习的分类器，例如卷积神经网络（CNN）。然而，由于域转移问题，Web图像训练的深度分类器的性能在直接部署到视频时往往会下降。解决这个问题的一种方法是对视频的训练模型进行微调，但仍然需要足够数量的注释视频。在这项工作中，我们提出了一种新的方法来转移知识从图像域到视频域。所提出的方法可以适应目标域（即视频数据）与有限数量的训练数据。我们的方法将视频帧映射到一个低维特征空间，使用CNN的分类判别空间注意力图。我们设计了一种新的Siamese EnergyNet结构，通过联合优化两个损失函数来学习注意力地图上的能量函数，使得与地面真实概念相对应的注意力地图具有更高的能量。我们对两个具有挑战性的视频识别数据集（即TVHI和UCF101）进行了广泛的实验，并证明了我们所提出的方法的有效性。
2017-08-03 cs.CV cs.MM
Prediction of Video Popularity in the Absence of Reliable Data from Video Hosting Services: Utility of Traces Left by Users on the Web
随着用户生成内容的增长，我们观察到搜索引擎、内容聚合器等公司的数量不断上升，因此，为了定位最重要的内容并将其推广给用户，他们面临着估计当前和预测未来内容流行度的需要。在本文中，我们的方法的视频流行度预测的问题，而不是从一个视频托管服务的一面，在所有以前的研究中所做的，但从一个运营公司，它提供了一个流行的视频搜索服务，从不同的视频托管网站聚合的内容。我们调查视频流行度预测的基础上提供了一个典型的运营公司的三个主要来源的功能：第一，内容托管提供商可以通过其API提供其数据，第二，运营公司利用自己的搜索和浏览日志，第三，该公司抓取信息嵌入的视频和链接到一个视频页面从公开的资源在Web上。我们表明，视频流行度预测的基础上的嵌入和链接数据加上内部搜索和浏览数据显着提高视频流行度预测的基础上提供的数据的视频托管，甚至可以充分取代API数据的情况下，当它是部分或完全不可用。
2016-11-28 cs.HC cs.IR cs.MM
VisAug: Facilitating Speech-Rich Web Video Navigation and Engagement with Auto-Generated Visual Augmentations
VisAug是一种交互式系统，通过自动生成视觉增强来改善语音密集型视频的导航与参与，提升信息消费体验。
2025-08-05 cs.HC cs.MM
Mamba: Bringing Multi-Dimensional ABR to WebRTC
针对WebRTC中网络码率决策与编码控制不协调导致QoE下降的问题，本文提出基于多智能体强化学习和课程学习的多维ABR算法Mamba，协同调整QP、分辨率和帧率，并在实验与真实环境中验证其有效性。
2023-08-07 cs.MM
VEMOCLAP: A video emotion classification web application
INESC TEC；ISEP（波尔图理工学院工程学院）；Polytechnic of Porto（波尔图理工学院）
本研究推出开源视频情绪分类网络应用VEMOCLAP，通过改进基于视频帧、音频预训练模型与多头交叉注意力特征融合的方法，将Ekman-6数据集上的SOTA分类准确率提升4.3%，并提供可处理本地及YouTube视频的在线试用服务。
2024-10-22 cs.AI cs.CV cs.LG
A Data-Driven Approach for Tag Refinement and Localization in Web Videos
Università degli Studi di Firenze（佛罗伦萨大学）；Stanford University（斯坦福大学）；Università degli Studi di Modena e Reggio Emilia（摩德纳-雷焦艾米利亚大学）
随着基于web的服务和社交网络在其用户中普及了标记功能，视觉内容的标记正变得越来越普遍。这些用户生成的标签用于简化媒体集的浏览和探索，例如使用标签云，或检索多媒体内容。然而，并非所有媒体都被用户标记。使用当前的系统很容易标记一张照片，甚至标记照片的一部分，比如一张脸，在Flickr和Facebook这样的网站上也很常见。另一方面，标记视频序列更复杂且耗时，使得用户仅标记视频的整体内容。在本文中，我们提出了一种自动视频注释的方法，增加了原来由用户提供的标签的数量，并将它们暂时定位，将标签与关键帧相关联。我们的方法利用了嵌入在用户生成的标签和网络资源中的集体知识，以及上传到YouTube和Flickr等社交网站的关键帧和图像的视觉相似性，以及Google和Bing等网络资源。给定一个关键帧，我们的方法能够从这些视觉源中动态选择与该测试样本最相关的训练样本，并继续在类似图像中传输标签。与现有的视频标记方法，需要训练分类器为每个标签相比，我们的系统具有很少的参数，易于实现，可以处理一个开放的词汇场景。我们在DUT-WEBV（一个大型的网络视频数据集）上展示了标签细化和本地化的方法，并展示了最先进的结果。
2015-05-28 cs.CV cs.IR cs.MM
VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；ByteDance Inc.（字节跳动公司）
该研究提出VMAS视频转音乐生成框架，利用大规模网络音乐视频，结合语义与节拍对齐机制及新型时序编码器，在自建220万样本的DISCO-MV等数据集上性能超越现有方法。
2024-09-11 cs.CV cs.MM cs.SD
State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression
如今，360°视频/图像越来越受欢迎并引起了极大的关注。360°视频/图像的球形可视范围所占的数据量巨大，这对360°视频/图像处理在解决存储、传输等瓶颈方面提出了挑战。因此，近年来360°视频/图像处理的研究工作呈爆炸式增长。本文从感知、评价和压缩三个方面对360°视频/图像处理的研究现状进行了综述。首先，本文回顾了360°视频/图像的数据集和视觉注意力建模方法。其次，我们综述了360°视频/图像的主观和客观视觉质量评价（VQA）的相关工作。第三，我们概述了360°视频/图像的压缩方法，无论是利用球形特性或视觉注意力模型。最后，对全文进行了总结，并对360°视频/图像处理的未来研究方向进行了展望。
2019-10-28 cs.MM eess.IV
Bi-Calibration Networks for Weakly-Supervised Video Representation Learning
JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；University of Rochester（罗切斯特大学）
利用与搜索的查询或周围文本配对的大量网络视频（例如，标题）提供了对监督视频表示学习的经济且可扩展的替代方案。然而，由于查询多义性（即，查询的许多可能含义）和文本同构（即，不同文本的相同句法结构）。在本文中，我们引入了一种新的设计，查询和文本之间的相互校准，以促进弱监督视频表示学习。具体来说，我们提出了双校准网络（BCN），新颖地耦合两个校准学习文本查询的修正案，反之亦然。从技术上讲，BCN对同一查询搜索到的所有视频标题进行聚类，并将每个聚类的质心作为文本原型。查询词汇表直接建立在查询词上。然后，在文本原型/查询词汇表上的视频到文本/视频到查询投影开始文本到查询或查询到文本校准，以估计对查询或文本的修改。我们还设计了一个选择方案来平衡这两个校正。新收集了两个大规模网络视频数据集，每个视频都有查询和标题，分别命名为YOVO-3 M和YOVO-10 M，用于弱监督视频表示学习。在3 M网络视频上学习的BCN视频特征在下游任务的线性模型协议下获得了更好的结果。更值得注意的是，BCN在更大的1000万个网络视频集上进行了进一步的微调，在Kinetics-400和Something-Something V2数据集上的前1准确率分别提高了1.6%和1.8%，超过了最先进的TDN和带有ImageNet预训练的ACTION-Net方法。源代码和数据集可在\url{https://github.com…
2022-06-21 cs.CV cs.MM
A Generic Web Component for WebRTC Pub-Sub
Intencity Cloud Technologies（Intencity云科技有限公司）
video-io为WebRTC应用提供通用网络组件，通过命名流抽象实现跨不同服务器和服务的灵活部署，促进端点创新。
2026-02-25 cs.MM cs.NI
Reduction of Field Loss by a Video Processing System
每秒60个去隔行扫描场的流传输具有720x480分辨率的数字未压缩视频而不丢失视频场是生物力学科学家所期望的技术之一。如果可以在没有丢弃视频字段的情况下流式传输数字未压缩视频，则可以对经由IEEE 1394a连接传输的视频进行复杂的计算机分析。当通过将数字未压缩视频流传输到计算机然后使用特定软件（如Arial性能分析系统）分析运动员的表现时，这种过程用于生物力学。
2014-04-09 cs.MM cs.NI
The VIP Gallery for Video Processing Education
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Laboratory for Image and Video Engineering（图像与视频工程实验室）
数字视频渗透到日常生活中。移动视频、数字电视和数字电影现在无处不在，因此，数字视频处理（DVP）领域经历了巨大的增长。数字视频系统还渗透到科学和工程学科，包括但不限于天文学、通信、监视、娱乐、视频编码、计算机视觉和视觉研究。因此，残疾人自愿方案的教育工具必须满足大量不同的学生的需要。为了加强DVP教育，我们创建了一个精心构建的教育工具库，旨在通过提供真实世界内容的DVP示例来补充全面的在线讲座语料库，以及用户友好的界面，该界面组织了许多关键的DVP主题，从模拟视频到人类视觉处理，再到现代视频编解码器，该演示画廊目前正在奥斯汀得克萨斯大学的研究生班“数字视频”中得到有效使用。学生通过从高度可视化的讲座中学习理论和观看画廊中的具体示例来增强对概念的访问，这些示例捕捉了现代视频处理的基本原理之美。为了更好地了解这些工具的教育价值，我们进行了一对基于问卷的调查，以评估学生的背景，期望和结果。调查结果支持这一新的教学视频工具集的教学效果。
2020-12-29 cs.CV cs.MM
Vignette: Perceptual Compression for Video Storage and Processing Systems
压缩视频占互联网流量的70%，视频上传增长率远远超过计算和存储改进趋势。过去在利用感知线索如显着性方面的工作，即，观看者集中其感知注意力的区域减小了压缩视频大小，同时保持感知质量，但是需要对视频编解码器进行显著改变，并且忽略了该感知信息的数据管理。在本文中，我们提出了Vignette，压缩技术和存储管理器的感知为基础的视频压缩。Vignette补充了现成的压缩软件和硬件编解码器实现。Vignette的压缩技术使用神经网络来预测在转码期间使用的显著性信息，并且其存储管理器将感知信息集成到视频存储系统中以支持感知压缩反馈回路。Vignette基于显著性的优化可在最小质量损失的情况下减少高达95%的存储，Vignette视频可在视频播放期间节省50%的手机电量。我们的研究结果表明，嵌入到视频存储系统的架构的人类视觉系统的信息的好处。
2019-02-04 cs.DB cs.MM
From Videos to URLs: A Multi-Browser Guide To Extract User's Behavior with Optical Character Recognition
University of Virginia（弗吉尼亚大学）；University of California, Riverside（加州大学河滨分校）
跟踪用户在万维网（WWW）上的活动，使研究人员能够分析每个用户的互联网行为，随着时间的推移，并为在特定域上花费的时间量。这种分析可以用于研究设计，因为研究人员可以在浏览网页时访问他们的参与者的行为。网络搜索行为已经成为人们感兴趣的主题，因为它在市场营销，数字广告和在线识别潜在威胁方面的实际应用。在本文中，我们提出了一种基于图像处理的方法来提取域访问的参与者在多个浏览器在实验室会话。这种方法可以提供另一种方式来收集用户在在线会话期间的活动，假定会话记录器收集数据。该方法还可以用于收集个人访问的网页的文本内容，以供以后分析
2020-05-20 cs.AI cs.CV cs.MM
VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
National University of Ireland Galway（爱尔兰国立高威大学）
视频数据是高度表达性的，传统上机器很难解释。由于视频流的非结构化表示，从视频流中查询事件模式具有挑战性。诸如复杂事件处理（CEP）之类的中间件系统从数据流中挖掘模式，并及时向用户发送通知。当前CEP系统由于其非结构化数据模型和缺乏表达性查询语言而对查询视频流具有固有的限制。在这项工作中，我们专注于CEP框架，用户可以定义高层次的表达查询视频检测的时空事件模式的范围。在此背景下，我们提出：i）VidCEP，一种用于视频流的内存中、动态、近实时复杂事件匹配框架。该系统使用基于图形的事件表示的视频流，这使得能够使用级联的深度神经网络模型从视频中检测高级语义概念，ii）视频事件查询语言（VEQL），以表达CEP中的视频流的高级用户查询，iii）复杂的事件匹配器，以通过在视频数据上匹配表达性用户查询来检测时空视频事件模式。所提出的方法检测时空视频事件模式的F分数范围从0.66到0.89。VidCEP保持接近实时的性能，平均吞吐量为每秒70帧，5个并行视频，匹配延迟为亚秒级。
2020-07-15 cs.CV cs.DB cs.MM
Towards Transparent Application of Machine Learning in Video Processing
BBC（英国广播公司）；Dublin City University（都柏林城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
由于深度学习的突破，用于更有效的视频压缩和视频增强的机器学习技术已经开发出来。新技术被认为是人工智能（AI）的高级形式，带来了以前无法预见的能力。然而，它们通常以资源饥渴的黑盒子的形式出现（过于复杂，内部工作几乎不透明）。因此，它们的应用可能是不可预测的，并且对于大规模使用（例如在现场直播中）通常是不可靠的。这项工作的目的是理解和优化视频处理应用程序中的学习模型，以便以更值得信赖的方式使用包含它们的系统。在这种情况下，所提出的工作介绍了简化学习模型的原则，旨在提高视频制作和分发应用程序的机器学习的透明度。这些原则在视频压缩示例中得到了演示，展示了如何通过简化相关的深度学习模型来实现比特率节省和复杂性降低。
2021-05-27 cs.CV cs.LG cs.MM
VineetVC: Adaptive Video Conferencing Under Severe Bandwidth Constraints Using Audio-Driven Talking-Head Reconstruction
Homi Bhabha National Institute（霍米·巴巴国家研究所）；Variable Energy Cyclotron Centre（可变能量回旋加速器中心）；Gargi Memorial Institute of Technology（加吉纪念技术学院）；Jadavpur University（贾达普大学）
VineetVC通过音频驱动的说话头重建和带宽模式切换策略，在低带宽环境下实现自适应视频会议
2026-02-13 cs.AI cs.CV cs.MM
Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳）；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）；Data Quality Team, Wechat Group, Tencent Inc.（腾讯公司微信团队数据质量组）；Wechat Group, Tencent Inc.（腾讯公司微信团队）；Tencent Inc.（腾讯公司）；Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
随着最近基于视频的社交平台的蓬勃发展（例如，YouTube和TikTok），使用句子查询的视频检索已经成为一个重要的需求，并吸引了越来越多的研究关注。尽管有不错的性能，视觉和语言社区现有的文本视频检索模型是不切实际的大规模的Web搜索，因为他们采用基于高维嵌入的蛮力搜索。为了提高效率，Web搜索引擎广泛地应用向量压缩库（例如，FAISS）对学习到的嵌入进行后处理。不幸的是，从特征编码分离压缩降低了表示的鲁棒性并引起性能衰减。为了在性能和效率之间取得更好的平衡，本文提出了第一种量化的表示学习方法，即混合对比量化（HCQ）。具体来说，HCQ使用Transformers学习粗粒度和细粒度量化，这为文本和视频提供了互补的理解，并保留了全面的语义信息。通过跨视图执行AAC-Quantized对比学习（AQ-CL），HCQ在粗粒度和多个细粒度级别上对齐文本和视频。这种混合粒度的学习策略对跨视角视频量化模型起到了强有力的监督作用，不同层次的对比学习可以相互促进。在三个Web视频基准数据集上进行的大量实验表明，HCQ在存储和计算效率方面具有很高的性能，与最先进的非压缩检索方法相比具有很强的竞争力。代码和配置可在https://github.com/gimpong/WWW22-HCQ上获得。
2022-02-10 cs.CV cs.IR cs.LG
