Vignette: Perceptual Compression for Video Storage and Processing Systems
压缩视频占互联网流量的70%,视频上传增长率远远超过计算和存储改进趋势。过去在利用感知线索如显着性方面的工作,即,观看者集中其感知注意力的区域减小了压缩视频大小,同时保持感知质量,但是需要对视频编解码器进行显著改变,并且忽略了该感知信息的数据管理。在本文中,我们提出了Vignette,压缩技术和存储管理器的感知为基础的视频压缩。Vignette补充了现成的压缩软件和硬件编解码器实现。Vignette的压缩技术使用神经网络来预测在转码期间使用的显著性信息,并且其存储管理器将感知信息集成到视频存储系统中以支持感知压缩反馈回路。Vignette基于显著性的优化可在最小质量损失的情况下减少高达95%的存储,Vignette视频可在视频播放期间节省50%的手机电量。我们的研究结果表明,嵌入到视频存储系统的架构的人类视觉系统的信息的好处。
2019-02-04 cs.DB cs.MM
VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
National University of Ireland Galway(爱尔兰国立高威大学)
视频数据是高度表达性的,传统上机器很难解释。由于视频流的非结构化表示,从视频流中查询事件模式具有挑战性。诸如复杂事件处理(CEP)之类的中间件系统从数据流中挖掘模式,并及时向用户发送通知。当前CEP系统由于其非结构化数据模型和缺乏表达性查询语言而对查询视频流具有固有的限制。在这项工作中,我们专注于CEP框架,用户可以定义高层次的表达查询视频检测的时空事件模式的范围。在此背景下,我们提出:i)VidCEP,一种用于视频流的内存中、动态、近实时复杂事件匹配框架。该系统使用基于图形的事件表示的视频流,这使得能够使用级联的深度神经网络模型从视频中检测高级语义概念,ii)视频事件查询语言(VEQL),以表达CEP中的视频流的高级用户查询,iii)复杂的事件匹配器,以通过在视频数据上匹配表达性用户查询来检测时空视频事件模式。所提出的方法检测时空视频事件模式的F分数范围从0.66到0.89。VidCEP保持接近实时的性能,平均吞吐量为每秒70帧,5个并行视频,匹配延迟为亚秒级。
2020-07-15 cs.CV cs.DB cs.MM
Towards Transparent Application of Machine Learning in Video Processing
BBC(英国广播公司);Dublin City University(都柏林城市大学);Queen Mary University of London(伦敦玛丽女王大学)
由于深度学习的突破,用于更有效的视频压缩和视频增强的机器学习技术已经开发出来。新技术被认为是人工智能(AI)的高级形式,带来了以前无法预见的能力。然而,它们通常以资源饥渴的黑盒子的形式出现(过于复杂,内部工作几乎不透明)。因此,它们的应用可能是不可预测的,并且对于大规模使用(例如在现场直播中)通常是不可靠的。这项工作的目的是理解和优化视频处理应用程序中的学习模型,以便以更值得信赖的方式使用包含它们的系统。在这种情况下,所提出的工作介绍了简化学习模型的原则,旨在提高视频制作和分发应用程序的机器学习的透明度。这些原则在视频压缩示例中得到了演示,展示了如何通过简化相关的深度学习模型来实现比特率节省和复杂性降低。
2021-05-27 cs.CV cs.LG cs.MM
Implementing a Test Strategy for an Advanced Video Acquisition and Processing Architecture
Technical University Cluj-Napoca(克卢日-纳波卡技术大学);Mediamira Publishing(梅迪亚米拉出版社)
介绍了一种用于远程IP监控的先进视频系统的测试过程。该系统基于Pentium兼容架构,采用工业标准PC 104+。首先介绍了系统的总体结构,包括硬件和软件两个方面。文中还简要介绍了一种特殊的非标准结构的采集板。本研究的主要目的是设置一套连贯的程序,以测试视频采集板的各个方面。为了实现这一点,有必要分两步设置程序:独立视频板测试(功能测试)和系统内测试程序,以验证与操作系统Linux和Windows的兼容性。本文还介绍了使用此程序获得的结果。
2008-02-22 cs.CV cs.MM
A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding
有损图像和视频压缩算法产生视觉上令人讨厌的伪像,包括块、模糊和振铃,特别是在低比特率时。为了减少这些伪影,后处理技术已经被广泛研究。近年来,受卷积神经网络(CNN)在计算机视觉领域取得巨大成功的启发,人们对CNN在图像后处理中的应用进行了研究,主要是针对JPEG压缩图像。在本文中,我们提出了一种基于CNN的高效率视频编码(HEVC),最先进的视频编码标准的后处理算法。我们重新设计了一个可变滤波器大小的残差学习CNN(VRCNN CNN),以提高性能,加快网络的训练。实验结果表明,使用我们的VRCNN作为后处理,与HEVC基线相比,平均降低了4.6%的比特率。VRCNN在实现更高的比特率降低、更低的内存成本和成倍的计算加速方面优于先前研究的网络。
2016-10-29 cs.MM
B-DRRN: A Block Information Constrained Deep Recursive Residual Network for Video Compression Artifacts Reduction
Hosei University(法政大学);JST, PRESTO(日本科学技术振兴机构,PRESTO)
虽然现今的视频压缩比变得越来越高,但是诸如H.264/AVC、H.265/HEVC、H.266/VVC的视频编码器总是遭受视频伪影。在本文中,我们设计了一个神经网络,通过利用块信息来提高压缩帧的质量,称为B-DRRN(带块信息的深度递归残差网络)。首先,额外的网络分支被设计用于利用编码单元(CU)的块信息。此外,为了避免网络规模的大幅增加,递归残差结构和共享权技术的应用。我们还进行了一个新的大规模数据集,包含209,152个训练样本。实验结果表明,提出的B-DRRN可以减少6.16%的BD率相比,HEVC标准。在有效地增加一个额外的网络分支后,这项工作可以在不增加任何存储内存的情况下提高主网络的性能。
2021-01-30 cs.CV cs.MM eess.IV
Knowledge Graph Driven Approach to Represent Video Streams for Spatiotemporal Event Pattern Matching in Complex Event Processing
Lero-Irish Software Research Institute(Lero爱尔兰软件研究所);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);Insight Centre for Data Analytics(数据分析洞察中心)
复杂事件处理(CEP)是一种事件处理范式,用于对流数据执行实时分析并匹配高级事件模式。目前,CEP仅限于处理结构化数据流。视频流由于其非结构化的数据模型而复杂,并且限制CEP系统对它们执行匹配。这项工作介绍了一个基于图的结构,连续不断发展的视频流,这使得CEP系统查询复杂的视频事件模式。我们提出了视频事件知识图谱(VEKG),一个图形驱动的视频数据表示。VEKG将视频对象建模为节点,将它们的关系交互建模为时间和空间上的边。它创建视频数据的语义知识表示,该视频数据是使用深度学习模型的集合从视频中检测高级语义概念而得到的。在VEKG表示的基础上,提出了一种基于CEP的状态优化--VEKG-时间聚合图(VEKG-TAG),以实现更快的事件检测。VEKG-TAG是一种时空图聚合方法,可提供给定时间长度内VEKG图的汇总视图。我们为两个域(活动识别和流量管理)定义了一组九个事件模式规则,这些规则作为查询并应用于VEKG图以发现复杂的事件模式。为了证明我们方法的有效性,我们在10个数据集的801个视频片段上进行了广泛的实验。所提出的VEKG方法与其他最先进的方法进行了比较,并且能够检测F分数范围从0.44到0.90的视频上的复杂事件模式。在给定的实验中,优化的VEKG-TAG能够分别减少99%和93%的VEKG节点和边,搜索时间加快5.19倍,实现了4-20毫秒的亚秒级中值延迟。
2020-07-13 cs.AI cs.CV cs.DB
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法,其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估,使用视频测试序列在一个实际的设置,包括一个简单的,实时的降噪技术和高效率的视频编解码器(HEVC)。实验结果表明,与传统的视频编码方法相比,该方法可以使重构视频的主观质量提高约1.8个MOS(Mean Opinion Scope)点(11点尺度)。此外,本工作证实了在以前的作品中获得的结果,即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
FrameHopper: Selective Processing of Video Frames in Detection-driven Real-Time Video Analytics
University of Missouri-Kansas City(密苏里大学堪萨斯城分校)
检测驱动的实时的【形】视频分析需要使用深度学习模型(如YOLOV3,EfficientDet)连续检测视频帧中包含的对象。然而,在资源受限的边缘设备中的每一帧上运行这些检测器是计算密集型的。通过考虑连续视频帧之间的时间相关性,我们注意到,检测输出往往在连续帧中重叠。消除类似的连续帧将导致性能的可忽略不计的下降,同时通过降低总体计算和通信成本来提供显著的性能优势。因此,关键的技术问题是(a)如何识别哪些帧要由对象检测器处理,以及(b)一旦选择要处理的帧,可以跳过多少连续帧(称为跳过长度)。该过程的总体目标是使由于跳帧而引起的误差尽可能小。我们引入了一个新的错误与处理速率优化问题的目标检测任务,平衡之间的出错率和帧过滤的分数。随后,我们提出了一个离线的强化学习(RL)为基础的算法来确定这些跳过长度作为一个状态动作策略的RL代理从录制的视频,然后部署代理在线直播视频流。为此,我们开发了一个边缘云协作视频分析框架FrameHopper,它在摄像机上运行一个轻量级的经过训练的RL代理,并将过滤后的帧传递到服务器,在服务器上运行一组应用程序的目标检测模型。我们已经在一些从现实生活场景中捕获的实时视频上测试了我们的方法,并表明FrameHopper只处理少数帧,但产生的检测结果更接近oracle解决方案,并且在大多数情况下优于最近的最先进的解决方案。
2022-03-22 cs.CV cs.MM eess.IV
AdaReTaKe: Adaptive Redundancy Reduction to Perceive Longer for Video-language Understanding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Co., Ltd.(华为技术有限公司);Shandong University(山东大学)
针对长视频中视觉冗余随时间和模型层变化的问题,本文提出无需训练的 AdaReTaKe,自适应分配压缩率,将 MLLM 处理能力提升至 2048 帧并取得显著性能增益。
2025-06-08 cs.CL cs.CV cs.MM
ECO: Efficient Convolutional Network for Online Video Understanding
University of Freiburg(弗莱堡大学)
视频理解的现有技术存在两个问题:(1)推理的主要部分在视频中本地执行,因此,它错过了跨越几秒的动作内的重要关系。(2)虽然存在具有快速每帧处理的局部方法,但是对整个视频的处理效率不高,并且阻碍了快速视频检索或长期活动的在线分类。在本文中,我们介绍了一种网络架构,该架构将长期内容考虑在内,并同时实现快速的逐视频处理。该架构是基于合并长期的内容已经在网络中,而不是在一个事后的融合。与利用相邻帧在很大程度上是冗余的采样策略一起,这产生了高达每秒230个视频的高质量动作分类和视频描述,其中每个视频可以由几百帧组成。该方法在所有数据集上都具有竞争力的性能,同时比最先进的方法快10倍到80倍。
2018-05-07 cs.AI cs.CV cs.IR
Cloud Rendering-based Volumetric Video Streaming System for Mixed Reality Services
立体视频是一种用于沉浸式表示3D空间的新兴技术,它使用多个摄像机从各个方向捕获对象并创建场景的动态3D模型。然而,处理体积内容需要大量的处理能力,并且对于当今的移动设备来说仍然是非常苛刻的任务。为了缓解这一问题,我们提出了一种体积视频流系统,该系统将渲染卸载到功能强大的云/边缘服务器,并且仅将渲染的2D视图发送到客户端,而不是完整的体积内容。我们使用6DoF头部运动预测技术,WebRTC协议和硬件视频编码来确保处理链不同部分的低延迟。我们使用基于浏览器的客户端和Microsoft HoloLens客户端来演示我们的系统。我们的应用程序包含通用接口,允许使用相同的服务器实现轻松部署各种增强/混合现实客户端。
2020-07-16 cs.MM eess.IV
Fully automatic extraction of salient objects from videos in near real-time
自动视频分割在计算机视觉和图像处理的广泛应用中起着重要的作用。最近,已经为此目的提出了各种方法。问题是,这些方法中的大多数是远离实时的【形】处理,即使是低分辨率的视频,由于复杂的过程。为此,我们提出了一种新的和相当快速的自动视频分割方法的帮助下,1)有效的优化马尔可夫随机场与多项式时间的像素数,通过引入图形切割,2)自动,计算效率高,但稳定的推导分割先验使用视觉显着性和顺序更新机制,3)基于流处理原理的图形处理器(GPU)实现策略。测试结果表明,我们的方法提取适当的区域,从视频精确和更快地比以前的半自动方法,即使没有任何监督。
2010-08-13 cs.CV cs.GR cs.MM
Semantic Communication Enabled Holographic Video Processing and Transmission
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);State Key Laboratory of Space Network and Communications(空间网络与通信国家重点实验室);State Key Laboratory of Mobile Network and Mobile Multimedia Technology(移动网络与移动多媒体技术国家重点实验室);ZTE Corporation(中兴通讯);Department of Electrical and Computer Engineering, University of Houston(休斯顿大学电气与计算机工程系);Department of Computer Science and Engineering, Kyung Hee University(庆熙大学计算机科学与工程系);Institute for Communication Systems (ICS), 5G/6G Innovation Centre, University of Surrey(Surrey 大学通信系统研究所(ICS)、5G/6G 创新中心);Faculty of Mathematics and Computer Science, Weizmann Institute of Science(魏兹曼科学研究院数学与计算机科学学院)
本文提出语义通信赋能的全息视频通信系统架构,设计语义采样、联合语义信道编码与语义感知传输等关键技术,并通过用例展示性能增益,为未来研究指明方向。
2025-10-15 cs.AI cs.IT cs.MM
Macroblock Classification Method for Video Applications Involving Motions
Shanghai Jiao Tong University(上海交通大学);University of Louisville(路易斯维尔大学);Nanyang Technological University(南洋理工大学)
在本文中,宏块分类方法提出了各种视频处理应用涉及运动。在分析压缩视频中运动矢量场的基础上,提出将视频帧中的宏块划分为不同的类,并利用这些类信息来描述视频帧的内容。我们证明了这种低计算复杂度的方法可以有效地捕捉帧的特征。基于所提出的宏块分类,我们进一步提出了不同的视频处理应用程序,包括镜头变化检测,运动不连续性检测,全局运动估计和离群拒绝算法。实验结果表明,基于该方法的方法可以有效地工作在这些应用程序。
2015-02-28 cs.CV cs.MM
Photoshop Batch Rendering Using Actions for Stylistic Video Editing
本项目提出一种基于 Adobe Photoshop Actions 和 Batch Processing System 的批量渲染工作流,通过系统化自动化实现图像序列视觉编辑的简单一致应用,从而优化生产力并确保结果统一。
2025-05-02 cs.GR cs.HC cs.MM
Hacking VMAF and VMAF NEG: vulnerability to different preprocessing methods
视频质量测量在视频处理应用的开发中起着至关重要的作用。在本文中,我们展示了视频预处理如何人为地增加流行的质量度量VMAF及其抗调谐版本VMAF NEG。我们提出了一个调整处理算法参数的管道,以将VMAF提高218.8%。主观比较显示,对于大多数预处理方法,视频的视觉质量下降或保持不变。我们还表明,一些预处理方法可以提高VMAF NEG分数高达23.6%。
2021-08-16 cs.CV cs.GR cs.MM
LazyVLM: Neuro-Symbolic Approach to Video Analytics
University of Waterloo(滑铁卢大学)
LazyVLM是一个神经符号视频分析系统,通过将多帧视频查询分解为细粒度操作并卸载至关系查询和向量相似性搜索,兼顾了VLM的易用性与高效可扩展性。
2025-05-27 cs.AI cs.CV cs.DB