Deep Video Codec Control for Vision Models
NEC Laboratories America, Inc.（NEC美国实验室公司）；TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
针对标准有损视频编码会大幅降低深度视觉模型性能的问题，本文提出首个端到端可学习的深度视频编解码器控制方案，在遵循现有标准、兼顾带宽约束的同时，能更好地保留下游深度视觉性能。
2024-04-16 cs.CV cs.LG cs.MM
Comparison of cinepak, intel, microsoft video and indeo codec for video compression
文件大小和图片质量是通过网络流式传输、存储和传输视频时需要考虑的因素。这项工作比较Cinepak，英特尔，微软视频和Indeo编解码器的视频压缩。峰值信噪比用于比较使用AVI编解码器压缩的此类视频的质量。视频处理系统的开发者最广泛使用的客观测量是峰值信噪比（PSNR）。峰值信噪比是在对数尺度上测量的，取决于原始图像和受损图像或视频之间的均方误差（MSE），相对于（2n-1）2。以往对视频质量的评价主要采用主观评价的方法，目前还没有一种标准的客观评价方法。虽然人们认为，随着存储和传输能力的提高，压缩在未来可能并不重要，但在低带宽下，压缩使通信成为可能。
2016-01-07 cs.MM
Fundamental Limits of Video Coding: A Closed-form Characterization of Rate Distortion Region from First Principles
经典的运动补偿视频编码方法多年来已经由MPEG标准化，并且视频编解码器已经成为媒体娱乐应用的组成部分。尽管普遍使用的视频编码技术，它是有趣的注意到，一个封闭的形式率失真表征的视频编码是不可用的文献。在本文中，我们开发了一个简单的，但在视频编码中的率失真区域的基本特征信息理论的第一性原则的基础上。利用条件运动估计的概念，在不失一般性的前提下，推导出率失真域的闭合表达式。条件运动估计提供了一个优雅的手段来分析率失真的权衡，并证明了实现的界限推导的可行性。该概念涉及基于运动活动量将图像区域分类为活动和非活动。通过对活动区域和非活动区域对应的残差进行适当建模，根据视频内容中普遍存在的运动活动性和时空相关性，推导出率失真函数的闭合形式表达式。通过对H.264编解码器的实际视频片段的实验，验证了该方法的实用性和有效性。
2014-02-27 cs.IT cs.MM math.IT
Subjective evaluation of UHD video coded using VVC with LCEVC and ML-VVC
School of Computing, Engineering and Physical Sciences（计算、工程与物理科学学院）
本文通过主观评估比较了使用VVC与LCEVC和ML-VVC编码的UHD视频质量，分析了不同比特率操作点下的感知质量差异。
2026-01-15 cs.CV cs.MM
A Point-to-Distribution Joint Geometry and Color Metric for Point Cloud Quality Assessment
点云（PC）是许多新兴应用领域（特别是虚拟和增强现实以及自动驾驶车辆）的强大3D视觉表示范例。然而，高度沉浸式和逼真的体验所需的大量PC数据要求提供高效的有损PC编码解决方案至关重要。最近，已经开发了两个MPEG PC编码标准来解决相关的应用需求，并且期望在未来得到进一步的发展。在这种情况下，PC质量的评估，特别是解码的PC，是至关重要的，并要求有效的客观PC质量指标的设计。本文提出了一种新的点到分布的度量，同时考虑几何和纹理的PC质量评估。这种新的质量度量利用马氏距离的尺度不变性属性来首先评估几何和颜色点到分布失真，其在融合之后获得联合几何和颜色质量度量。建议的质量指标显着优于最好的PC质量评估指标在文献中。
2021-07-30 cs.MM eess.IV
Deep Video Precoding
iSIZE Ltd.（iSIZE有限公司）
目前有几个研究小组正在研究深度学习如何推动图像和视频编码的发展。一个悬而未决的问题是如何使深度神经网络与现有的（和即将推出的）视频编解码器（如MPEG AVC，HEVC，VVC，Google VP 9和AOM AV 1）以及现有的容器和传输格式结合使用，而不对客户端进行任何更改。在实际部署方面，这种兼容性是一个至关重要的方面，特别是由于视频内容行业和硬件制造商预计将在可预见的未来继续致力于这些标准。我们建议使用深度神经网络作为当前和未来视频编解码器和自适应视频流系统的预编码器。在我们当前的设计中，核心预编码组件包括在传输之前在视频编码期间操作的降尺度神经网络的级联结构。这与用于每个可独立解码的流段的预编码模式选择算法相耦合，该预编码模式选择算法根据场景特性、所利用的编码器以及期望的比特率和编码配置来调整缩减因子。我们的框架与所有当前和未来的编解码器和传输标准兼容，因为我们的深度预编码网络结构是结合线性升尺度滤波器（例如，双线性过滤器），所有网络视频播放器都支持。FHD和UHD内容以及广泛使用的AVC、HEVC和VP 9编码器的结果表明，将这些标准与所提出的深度视频预编码相结合，在适合于视频点播自适应流传输系统的编码配置和比特率下，允许15%至45%的速率降低。使用预编码还可以降低编码复杂度，这对于H.265/HEVC和VP 9等复杂编码器的成本效益云部署至关重要。
2019-12-13 cs.LG cs.MM eess.IV
Rate-Perception Optimized Preprocessing for Video Coding
Bilibili Inc.（哔哩哔哩公司）
在过去的几十年里，视频压缩领域取得了很大的进展，包括传统的视频编解码器和基于学习的视频编解码器。然而，很少有研究集中在使用预处理技术来提高率失真性能。在本文中，我们提出了一种率感知优化预处理（RPP）方法。我们首先介绍了一个自适应的离散余弦变换损失函数，它可以节省比特率，并保持必要的高频成分以及。此外，我们还结合了一些国家的最先进的技术，从低层次的视觉领域到我们的方法，如高阶退化模型，高效的轻量级网络设计，图像质量评估模型。通过联合使用这些强大的技术，我们的RPP方法可以在多个质量指标下使用不同的视频编码器（如AVC，HEVC和VVC）平均节省16.27%的比特率。在部署阶段，我们的RPP方法非常简单高效，不需要对视频编码、流媒体和解码的设置进行任何更改。每个输入帧在发送到视频编码器之前只需要通过RPP一次。此外，在我们的主观视觉质量测试中，87%的用户认为使用RPP的视频优于或等于仅使用编解码器压缩的视频，而这些使用RPP的视频平均节省约12%的比特率。我们的RPP框架已集成到我们的视频转码服务的生产环境中，每天为数百万用户提供服务。
2023-01-25 cs.CV cs.MM eess.IV
GS-PQM: A Parameter-Domain Quality Metric for Compressed Gaussian Splatting
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）
GS-PQM是一种直接在参数域评估压缩高斯泼溅质量的全参考度量，利用支持向量回归从失真误差估计感知质量，优于25种现有度量，且计算高效。
2026-10-02 cs.CV cs.GR cs.MM
A Camera-Native Talking-Head Video Dataset for Various Computer Vision Tasks
University of California, Berkeley（加州大学伯克利分校）
本文提出一个包含847个谈话头视频的数据集，用于评估视频压缩、超分辨率和质量评估等任务，展示了其在实时通信中的应用价值。
2026-08-18 cs.CV cs.MM eess.IV
Evaluation of Sampling Algorithms for a Pairwise Subjective Assessment Methodology
本文提出一种评估程序，用于比较成对主观评估中的采样算法，结果表明适当选择配对可在减少比较次数时保持高可靠性。
2023-11-10 cs.MM
RBFIM: Perceptual Quality Assessment for Compressed Point Clouds Using Radial Basis Function Interpolation
School of Electronics and Information, Northwestern Polytechnical University（电子与信息学院，西北工业大学）；School of Engineering, Royal Melbourne Institute of Technology（工程学院，皇家墨尔本理工学院）；Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学）；School of Telecommunication Engineering, Xidian University（电信工程学院，西安电子科技大学）
RBFIM通过径向基函数插值提升压缩点云的感知质量评估，有效解决点云对应问题，为PCC优化提供支持。
2025-03-18 cs.CV cs.MM eess.IV
AIM 2024 Challenge on Compressed Video Quality Assessment: Methods and Results
本文报告了AIM 2024压缩视频质量评估挑战赛的结果，基于459个视频和14种编解码器评估VQA方法性能，并公开数据集与基准。
2024-10-22 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库，并提出FAVOR质量评估指标，系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
Objective Assessment of Spatial Audio Quality using Directional Loudness Maps
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
这项工作介绍了从立体声/双耳音频信号中提取的特征，旨在表示在处理的空间听觉场景中感知质量下降的度量。特征提取技术是基于一个简化的立体声信号模型，考虑听觉事件定位朝向一个给定的方向，在立体声领域使用幅度平移（AP）技术。我们在短时傅里叶变换域中针对给定AP值将立体声信号分解成一组定向信号，并计算它们的总体响度以形成定向响度表示或映射。然后，我们比较了参考信号和恶化版本的方向性响度图，以获得失真测量，旨在描述相关的听力测试中报告的感知退化分数。然后，在广泛的收听测试数据库上测试该措施，其中立体声信号由最先进的感知音频编解码器使用非波形保持技术（例如带宽扩展和联合立体声编码）处理，已知对现有质量预测器提出挑战。结果表明，衍生的失真测量可以被纳入作为现有的自动感知质量评估算法的扩展，以提高空间编码的音频信号的预测。
2022-12-02 cs.MM cs.SD eess.AS
Subjective assessment of the impact of a content adaptive optimiser for compressing 4K HDR content with AV1
本文通过42名受试者的主观质量评估，研究内容自适应优化器对4K HDR/AV1压缩的影响，分析主观评分与客观指标的相关性，并就HDR研究中专家与非专家的使用及胶片颗粒的主观影响提出建议。
2023-06-26 cs.HC cs.MM eess.IV
Preparing VVC for Streaming: A Fast Multi-Rate Encoding Approach
针对VVC多码率流媒体编码计算成本高的问题，提出以最低码率版本为参考、复用其划分结构加速其余版本编码的方法，在VVenC上实现编码时间平均缩短40%，VMAF质量仅降0.43。
2023-12-13 cs.CC cs.MM
