SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound
University of Surrey（萨里大学）；Shanghai Jiao Tong University（上海交通大学）
针对传统音频编解码器高比特率、窄域及缺乏语义线索的问题，提出具有双编码器架构的SemantiCodec，可在超低比特率下压缩多类型音频且语义信息更丰富，重建质量优于现有技术。
2024-11-28 cs.AI cs.MM cs.SD
EV-NVC: Efficient Variable bitrate Neural Video Compression
本文提出高效可变比特率神经视频编解码器EV-NVC，通过引入分段线性采样器和长短期特征融合模块，结合混合精度训练优化性能，在低延迟模式下较HM-16.25将BD-rate降低30.56%。
2025-11-03 cs.MM
Neural Audio Codec for Robust Audio Deepfake Detection
Yonsei University（延世大学）；MAAP Lab（MAAP实验室）；The University of Tokyo（东京大学）；University of Michigan（密歇根大学）
针对低比特率编码导致音频深度伪造检测性能下降的问题，提出保留取证信息的神经音频编解码器FP-NAC，通过检测器引导微调在ASVspoof 2019 LA上将EER最多降低49.8个百分点，并提升多个检测器性能。
2026-10-01 cs.MM cs.SD
Codec Compression Efficiency Evaluation of MPEG-5 part 2 (LCEVC) using Objective and Subjective Quality Assessment
随着诸如HEVC、AV 1和VVC等较新的编解码器实现的视频压缩效率的不断提高，以及智能编码策略，以及带宽可用性的提高，诸如Netflix、Twitch等较新的服务已经得到了扩散和接受。然而，这种更高的压缩效率是以更高的复杂度和编码延迟为代价来实现的，而许多应用是延迟敏感的。因此，需要更快、更有效的编解码器来实现更高的编码效率，而在复杂度和速度方面没有显著的折衷。在这项工作中，我们提出了最新的MPEG-5第2部分低复杂度增强视频编码（LCEVC）的实时游戏视频流应用的评估。结果提出的比特率节省使用主观和客观的质量措施，以及编码速度的比较。我们的结果表明，对于本工作中使用的编码设置，LCEVC在使用VMAF的比特率节省方面优于x264和x265编解码器，分别约为42%和38%。使用主观结果，发现LCEVC优于相应的基本编解码器，特别是对于低比特率。这种效果对于x264比对于x265更明显，即，对于后者，质量分数的绝对改善较小。客观和主观结果以及示例视频序列作为开放数据集LCEVC-LiveGaming的一部分在https://github.com/NabajeetBarman/LCEVC-LiveGaming上提供。
2022-04-12 cs.MM
UniSRCodec: Unified and Low-Bitrate Single Codebook Codec with Sub-Band Reconstruction
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院）；ModelBest Inc., Beijing, China（ModelBest公司）
UniSRCodec是一种低比特率单码本编解码器，通过子带重建技术实现高保真度压缩，优于现有单码本方法。
2026-01-06 cs.AI cs.MM cs.SD
IP Video Conferencing: A Tutorial
视频会议是一个成熟的通信领域，已经研究了几十年。最近，由于局域网和广域网带宽的显著增加、低价视频设备的出现和基于网络的媒体技术的发展，这一领域受到了新的推动。本文介绍了现代基于IP的视频会议服务背后的主要技术，特别关注编解码器，网络协议，体系结构和标准化工作。安全性和拓扑结构的问题也得到了解决。提供了典型视频会议场景的描述，演示了负责不同会议方面的技术如何协同工作。传统的工业处置以及现代创新的方法都得到了解决。当前的行业趋势突出显示了教程中描述的主题。传统的模拟/数字技术以及传统和IP视频会议系统之间的网关未被考虑。
2017-11-09 cs.MM cs.NI
Sandwiched Compression: Repurposing Standard Codecs with Neural Network Wrappers
该研究提出将标准编解码器夹在前后处理神经网络间的夹层压缩架构，通过可微代理联合训练优化率失真，在多类不匹配场景下实现显著性能提升，并确立了其最优性与应用潜力。
2025-02-20 cs.MM eess.IV
CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
The Hong Kong Polytechnic University（香港理工大学）
近年来，互联网视频流量急剧增长，其中视频比特流通常被压缩并以低质量传送以适应流媒体的上行链路带宽。为了缓解质量下降，神经增强视频流（NVS）的兴起，它通过在媒体服务器上主要部署神经超分辨率（SR）来恢复低质量视频，显示出巨大的前景。尽管它的好处，我们发现，目前的主流作品与SR增强没有实现所需的率失真之间的比特率节省和质量恢复的权衡，由于：（1）过分强调解码器侧的增强而忽略编码器的协同设计，（2）恢复高保真感知细节的生成能力有限，以及（3）仅从分辨率角度优化压缩和恢复流水线，而不考虑颜色位深度。为了克服这些限制，我们首先进行编码器-解码器（即，编解码器）协同作用。具体来说，我们提出了编解码器感知的扩散建模（CaDM），一种新的NVS范式，以显着降低流传输比特率，同时保持相当高的恢复能力比现有的方法。首先，CaDM通过同时降低视频帧的分辨率和颜色比特深度来提高编码器的压缩效率。其次，CaDM通过使去噪扩散恢复知道编码器的分辨率-颜色条件来赋予解码器高质量的增强。使用OpenMMLab基准测试对公共云服务进行的评估表明，CaDM有效地节省了基于常见视频标准的高达5.12 - 21.44倍的比特率，并实现了更好的恢复质量（例如，FID为0.61）优于最先进的神经增强方法。
2023-03-08 cs.CV cs.LG cs.MM
Txt2Vid: Ultra-Low Bitrate Compression of Talking-Head Videos via Text
视频代表了当今互联网流量的大部分，推动了更高质量内容的生成，更大文件大小的传输和网络基础设施的发展之间的持续竞争。此外，最近的COVID-19疫情推动视频会议工具的使用激增。由于视频占用相当大的带宽（约100 Kbps到几Mbps），因此改进的视频压缩可以对实时和预录制内容的网络性能产生重大影响，从而提供对全球多媒体内容的更广泛访问。我们提出了一种新的视频压缩管道，称为Txt 2 Vid，它大大降低了数据传输率通过压缩网络摄像头视频（“说话头视频”）的文本转录。使用基于深度学习的语音克隆和唇同步模型的最新进展，将文本传输并解码为原始视频的真实重建。我们的生成流水线实现了两到三个数量级的比特率降低相比，标准的音频-视频编解码器（编码器-解码器），同时保持相当的体验质量的基础上的主观评价的用户（n = 242）在一项在线研究。Txt 2 Vid框架开辟了创建新应用的潜力，例如在互联网连接不良期间或在带宽有限的偏远地区实现音频-视像通信。这个工作的代码可以在https://github.com/tpulkit/txt2vid.git上找到。
2022-04-03 cs.MM eess.IV
Subjective Evaluation of Frame Rate in Bitrate-Constrained Live Streaming
City University of Hong Kong（香港城市大学）；Netflix Inc.（网飞）
本文提出HFR-LS数据集，通过系统调整压缩强度和帧率，研究比特率受限直播中帧率对感知质量的影响，揭示帧率与比特率、源内容的交互作用。
2026-01-27 cs.MM
CVC: The Contourlet Video Compression algorithm for real-time applications
如今，通过视频会议应用程序在互联网上进行实时的【形】视频通信已经成为每个人的职业和个人生活中的宝贵工具。这种趋势强调了对视频编码算法的需求，该视频编码算法在低比特率下提供可接受的质量，并且可以支持同一流内的各种分辨率，以便应对计算资源和网络带宽的限制。提出了一种基于Contourlet变换的可伸缩视频编码算法。该算法利用有损和无损的方法，以实现压缩。其最显著的特点之一是，由于使用的变换，它不会受到许多广泛采用的压缩算法出现的块效应的影响。该算法充分利用了现代GPU的强大计算能力，以较低的成本实现了实时的【形】性能和令人满意的编解码时间，适用于视频会议等应用。实验结果表明，该算法在压缩比和速度方面表现令人满意，而在较低比特率下的感知质量方面优于标准方法。
2015-10-02 cs.MM
SCALED : Surrogate-gradient for Codec-Aware Learning of Downsampling in ABR Streaming
MediaKind；INRIA（法国国家信息与自动化研究所）
SCALED通过使用真实非可微编解码器的代理梯度实现端到端训练，提升ABR流媒体的压缩感知学习性能。
2026-01-30 cs.AI cs.MM eess.IV
Rate-Perception Optimized Preprocessing for Video Coding
Bilibili Inc.（哔哩哔哩公司）
在过去的几十年里，视频压缩领域取得了很大的进展，包括传统的视频编解码器和基于学习的视频编解码器。然而，很少有研究集中在使用预处理技术来提高率失真性能。在本文中，我们提出了一种率感知优化预处理（RPP）方法。我们首先介绍了一个自适应的离散余弦变换损失函数，它可以节省比特率，并保持必要的高频成分以及。此外，我们还结合了一些国家的最先进的技术，从低层次的视觉领域到我们的方法，如高阶退化模型，高效的轻量级网络设计，图像质量评估模型。通过联合使用这些强大的技术，我们的RPP方法可以在多个质量指标下使用不同的视频编码器（如AVC，HEVC和VVC）平均节省16.27%的比特率。在部署阶段，我们的RPP方法非常简单高效，不需要对视频编码、流媒体和解码的设置进行任何更改。每个输入帧在发送到视频编码器之前只需要通过RPP一次。此外，在我们的主观视觉质量测试中，87%的用户认为使用RPP的视频优于或等于仅使用编解码器压缩的视频，而这些使用RPP的视频平均节省约12%的比特率。我们的RPP框架已集成到我们的视频转码服务的生产环境中，每天为数百万用户提供服务。
2023-01-25 cs.CV cs.MM eess.IV
DiV-INR: Extreme Low-Bitrate Diffusion Video Compression with INR Conditioning
ETH Zürich（苏黎世联邦理工学院）；Disney Entertainment and ESPN Product & Technology（迪士尼娱乐和ESPN产品与技术）；DisneyResearch|Studios（迪士尼研究工作室）
本文提出一种结合隐式神经表示与预训练视频扩散模型的视频压缩框架，旨在解决极低比特率下的压缩问题，通过INR条件引导扩散过程，提升感知质量。
2026-04-09 cs.MM eess.IV
Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
深度图是各种图形渲染和处理操作所需要的。当在分布式系统中执行这样的操作时，深度图流式传输通常是必要的，并且在大多数情况下，它需要快速执行压缩，这就是为什么经常使用视频编解码器。标准视频编解码器的硬件实现即使在资源受限的设备上也能够实现相对高的分辨率和帧速率组合，但不幸的是，这些实现目前不支持RGB+深度扩展。然而，它们可以通过首先将深度图打包到RGB或YUV帧中来用于深度压缩。我们调查深度图压缩使用深度图包装的组合，然后用标准的视频编解码器编码。我们表明，深度图被包装的精度有一个大的和不平凡的影响，所产生的错误所造成的组合的包装方案和有损压缩时，比特率受到约束。因此，我们提出了一个可变精度的包装方案的神经网络模型，预测每个深度图的最佳精度给定的比特率约束。我们证明，该模型产生接近最佳的预测，它可以集成到一个游戏引擎，使用现代硬件的开销非常低。
2022-06-30 cs.GR cs.LG cs.MM
Dynamic Switching of GOP configurations in High Efficiency Video Coding (HEVC) using Relational Databases for Multi-objective Optimization
我们当前的技术时代充斥着智能设备，这些设备提供了需要最佳视频通信解决方案的重要计算资源。视频比特率、质量和能源需求的优化和动态管理需要考虑它们之间的相互依赖性。随着提供更高带宽速率的新兴网络代的出现，还存在对以最佳质量传送视频的日益增长的需求，所述最佳质量受制于诸如计算能力和可用带宽之类的资源的可用性。类似地，为了容纳多个用户，需要最小化比特率要求，同时在合理的编码时间内维持视频质量。本论文的重点在于提供一种基于切换GOP配置的HEVC编解码器的最优解的有效机制。该方法为功率、视频质量、比特率等约束条件下的多目标优化提供了一个基本体系。这是通过利用HEVC/H.265编解码器中的称为时变图像约束的动态可重构架构（DRASTIC）的最近引入的框架来实现的，该框架具有六种不同的GOP配置，以支持用于最小比特率、最大质量和最小计算时间（恒定功率配置中的最小能量）操作模式的优化模式。在实现这些DRASTIC模式时使用了Pareto最优GOP。
2022-09-14 cs.MM cs.NI
Mamba: Bringing Multi-Dimensional ABR to WebRTC
针对WebRTC中网络码率决策与编码控制不协调导致QoE下降的问题，本文提出基于多智能体强化学习和课程学习的多维ABR算法Mamba，协同调整QP、分辨率和帧率，并在实验与真实环境中验证其有效性。
2023-08-07 cs.MM
Neural Video Compression with Diverse Contexts
Microsoft Research Asia（微软亚洲研究院）
对于任何视频编解码器，编码效率高度依赖于待编码的当前信号是否可以从先前重构的信号中找到相关上下文。传统的编解码器已经证实更多的上下文带来了可观的编码增益，但以一种耗时的方式。然而，对于新兴的神经视频编解码器（NVC），其上下文仍然是有限的，导致低压缩比。为了提高NVC，本文提出在时间和空间维度上增加上下文多样性。首先，我们引导模型学习跨帧的分层质量模式，这丰富了长期且高质量的时间上下文。此外，为了挖掘基于光流的编码框架的潜力，我们引入了基于组的偏移多样性，其中提出了跨组交互以更好地挖掘上下文。此外，本文还采用了基于四叉树的分区，以增加空间上下文的多样性时，并行编码的潜在表示。实验表明，我们的编码器获得了23.5%的比特率节省比以前的SOTA NVC。更好的是，我们的编解码器已经超过了正在开发的下一代传统编解码器/ECM在RGB和YUV 420色彩空间，在PSNR方面。代码在https://github.com/microsoft/DCVC上。
2023-03-14 cs.CV cs.MM eess.IV
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research（高通人工智能研究院）
在视频压缩中，通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余：1）一阶：像素空间中的冗余，即，跨相邻帧的像素值的相似性，这是使用运动和残差补偿有效地捕获的，2）二阶：由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余，我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测，学习从以前解码的数据外推。这些预测器是轻量级的，可以与大多数神经视频编解码器一起使用，以提高其率失真性能。此外，虽然RGB是神经视频编码文献中的主要色彩空间，但我们介绍了神经视频编解码器的一般修改，以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明，使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Multi-Reference Generative Face Video Compression with Contrastive Learning
本文提出多参考深度动画编解码器MRDAC，通过多参考动画和对比学习缓解生成式人脸视频压缩中的重建漂移问题，以更少参考帧实现更长序列压缩和更高重建精度。
2024-09-02 cs.MM
Effectiveness of Crypto-Transcoding for H.264/AVC and HEVC Video Bit-streams
为了避免因需要在代码转换之前解密视频然后在之后重新加密而产生的延迟，本文评估了一种选择性加密（SE）内容保护方案。该方案适用于最近的标准化编解码器，即H. 264/高级视频编码（AVC）和高效视频编码（HEVC）。具体而言，本文概述了一个联合密码转码方案的安全视频码流的transrating。也就是说，它生成新的视频比特率，可能作为HTTP自适应流（HAS）内容分发网络的一部分。该方案将比特率降低到一个或多个较低的期望比特率，而不会在加密/解密过程中消耗时间，这将是使用完全加密时的情况。此外，解密密钥不再需要暴露在中间设备处，包括当在云数据中心中执行速率转换时。该方案的有效性进行了不同的评估：通过检查SE产生的视觉失真;通过计算和比特率开销的程度;以及通过选择加密时的比特流内的选定元素的密码。结果表明，仍然存在：一个内容;量化水平（transrating的加密视频后）;和编解码器类型依赖于任何失真介绍。另一个建议是，高级加密标准（AES）是首选的SE轻量级XOR加密，尽管它在其他地方作为一种实时加密方法。
2019-02-19 cs.MM
Compression of 3D Gaussian Splatting with Optimized Feature Planes and Standard Video Codecs
Fraunhofer Heinrich-Hertz-Institute (HHI)（弗劳恩霍夫海因茨·赫兹研究所）
针对 3D Gaussian Splatting 存储开销大的问题，提出结合渐进式三平面、频域熵建模和通道比特分配的压缩框架，利用标准视频编解码器提升率失真性能。
2025-01-06 cs.CV cs.MM
