Parametric context adaptive Laplace distribution for multimedia compression
数据压缩通常减去预测并对差异（残差）进行编码，例如假设拉普拉斯分布，例如用于图像、视频、音频或数值数据。它的性能很大程度上取决于这种参数分布的宽度（尺度参数）的适当选择，如果基于局部情况（如上下文）对其进行优化，则可以得到改善。例如，在流行的LOCO-1 \cite{loco}（JPEG-LS）无损图像压缩器中，使用量化为365个独立处理的离散可能性的三维上下文。本文讨论了廉价的方法，利用它们的依赖性与自回归ARCH类上下文相关模型的参数分布的残差参数，也随着时间的推移，自适应的情况下。例如，所测试的这种4或11参数模型对于48个所测试的图像提供了与365参数LOCO-I模型类似的性能。除了更小的报头之外，参数数量的这种减少可以导致更好的泛化。与上下文量化方法相比，参数化模型还允许直接使用更高维度的上下文，例如使用来自所有3个颜色通道、另外的像素、一些附加区域分类器或来自交织多尺度扫描的信息-为此提出了Haar高档扫描，其将Haar小波的优点与利用局部上下文进行扫描的可能性相结合。
2019-10-14 cs.MM eess.IV
Compact Visual Data Representation for Green Multimedia -- A Human Visual System Perspective
本文从人类视觉系统视角综述了面向绿色多媒体的紧凑视觉数据表示方法，重点探讨了以知识提取而非信号重建为最终任务的高效视觉数据处理技术及未来发展方向。
2024-12-26 cs.MM eess.IV
Training CNNs in Presence of JPEG Compression: Multimedia Forensics vs Computer Vision
Politecnico di Milano（米兰理工大学）
卷积神经网络（CNN）已经证明在过去需要视觉检查的多个计算机视觉图像分类任务中非常准确（例如，对象识别、面部检测等）。受这些惊人结果的激励，研究人员也开始使用CNN来处理图像取证问题（例如，照相机模型识别、篡改检测等）。然而，在计算机视觉中，图像分类方法通常依赖于人眼容易检测到的视觉线索。相反，法医解决方案依赖于几乎不可见的痕迹，这些痕迹通常非常微妙，存在于分析图像的细节中。出于这个原因，训练CNN来解决取证任务需要一些特殊的注意，因为常见的处理操作（例如，压缩等）会严重阻碍法医的痕迹在这项工作中，我们专注于JPEG对CNN训练的影响，考虑到不同的计算机视觉和法医图像分类问题。具体来说，我们考虑的问题，从JPEG压缩和未对齐的JPEG网格。我们表明，有必要考虑这些影响时，生成一个训练数据集，以正确的训练法医检测器不失去泛化能力，而它几乎可以忽略这些影响的计算机视觉任务。
2020-09-25 cs.CV cs.LG cs.MM
Privacy-Preserving Multimedia Mobile Cloud Computing Using Protective Perturbation
本文提出隐私保护多媒体移动云计算框架 $PMC^2$，通过在云端安全部署扰动生成器和训练专用神经压缩器，解决移动设备资源受限和带宽消耗问题，同时保持多媒体服务准确性。
2024-09-03 cs.MM
An Efficient Transport Protocol for delivery of Multimedia An Efficient Transport Protocol for delivery of Multimedia Content in Wireless Grids
网格计算系统是为了有效地解决复杂的科学和商业问题而设计的，而移动计算是一种传统的分布式系统，具有移动计算能力，采用无线通信方式。媒体和娱乐领域可以通过在游戏应用程序和多媒体数据管理中应用其用法来利用这两种范例。多媒体数据必须以高效和有效的方式存储和检索才能投入使用。本文提出了一种在无线网格中传输多媒体数据的应用层协议，即多媒体网格协议（MMGP）。为了使流式传输更有效，设计了一种称为dWave的新的视频压缩算法，并将其嵌入到所提出的协议中。该协议将在无线网格环境中提供更快、更可靠的访问，并在传输多媒体时提供不可感知的QoS，并解决了具有挑战性的问题，如i）间歇性连接，ii）设备异构性，iii）弱安全性和iv）设备移动性。
2013-08-11 cs.MM cs.NI
LSCD: A Large-Scale Screen Content Dataset for Video Compression
Lenovo Research（联想研究院）
针对屏幕内容视频压缩缺乏大规模数据集的问题，本文构建含714个源序列的LSCD，并分析其特征、提供传统与学习方法基准。
2023-08-18 cs.CV cs.MM
C Implementation & comparison of companding & silence audio compression techniques
几乎所有最新的客厅音频视频电子产品和PC多媒体产品正在设计的今天将纳入某种形式的压缩数字化音频处理能力。音频压缩降低了表示模拟音频信号所需的比特率，同时保持了感知的音频质量。丢弃听不见的数据降低了处理高质量音频文件的存储、传输和计算要求。介绍了波形音频文件的格式、静音压缩法和压扩法压缩波形音频文件的算法。并对两种方法的计算结果进行了比较。
2010-04-19 cs.MM
FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis
Department of Informatics \& Telecommunications National；Kapodistrian University of Athens Athens, Greece
提出一种基于最优停止理论和基础模型（如ViT和SAM）的语义感知运动估计框架，通过融合语义注意力分数与失真度量实现自适应停止，在降低计算量的同时保持精度和语义覆盖。
2026-05-22 cs.CV cs.MM
An Efficient Authorship Protection Scheme for Shared Multimedia Content
如今，许多电子内容提供方（如Flickr和Google）向用户提供空间，以便在其云基础设施中发布其电子媒体（例如照片和视频），从而可以公开访问这些电子媒体。现有的提供商已经提供了包括其他信息（如关键字或所有者信息）的功能。尽管这些基础设施为用户提供了有用的功能，但发布内容的作者身份并没有受到诸如压缩等各种攻击的保护。在本文中，我们提出了一个强大的计划，使用数字不可见水印和散列保护数字内容的作者，并提供抵抗恶意操纵的多媒体内容。该计划是增强的算法称为MMBEC，这是一个扩展的既定计划MBEC，向更高的电阻。
2013-09-29 cs.DL cs.MM
The Helmholtz Method: Using Perceptual Compression to Reduce Machine Learning Complexity
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一个基本的答案，在多媒体计算和机器学习的一个经常被问到的问题：从感知压缩的文物有助于错误的机器学习过程中，如果是这样，有多少？我们解决这个问题的方法是重新解释物理学中的亥姆霍兹自由能公式，以解释使用传感器（如摄像机或麦克风）捕获多媒体数据时内容和噪声之间的关系。重新解释允许通过将分类器与诸如JPEG或MP3的感知压缩相结合来对图像、音频和视频中包含的噪声进行比特测量。我们在CIFAR-10和Fraunhofer的IDMT-SMT-Audio-Effects数据集上的实验表明，在正确的质量水平下，感知压缩实际上是无害的，但有助于显著降低机器学习过程的复杂性。也就是说，我们的噪声量化方法可用于显著加快深度学习分类器的训练，同时保持甚至有时提高整体分类精度。此外，我们的研究结果为深度学习的成功原因提供了见解。
2018-07-10 cs.CV cs.LG cs.MM
Structured Image-based Coding for Efficient Gaussian Splatting Compression
Instituto de Telecomunicações, Instituto Superior Técnico, University of Lisbon（葡萄牙里斯本大学高等技术学院，电信研究所）
本文提出GSICO，通过结构化图像编码实现高效高斯溅射压缩，达到20.2x压缩率且视觉质量损失小。
2026-02-26 cs.MM
Image and video compression of fluid flow data
我们研究了利用多媒体压缩技术对流体流动数据的时空特征进行压缩。空间压缩技术，包括JPEG和JPEG2000（JP 2），和时空视频压缩技术，即H.264，H.265，和AV1，在限制压缩伪影的引入和保留底层的流动物理的功效被认为是层流周期性唤醒周围的圆柱体，二维湍流，和湍流通道流。这些压缩技术显著地压缩了流数据，同时以可忽略的误差保持主要的流特征。AV1和H.265压缩在各种规范流状态下表现出最佳性能，并且在某些情况下优于传统技术，例如适当的正交分解。这些图像和视频压缩算法是灵活的，可扩展的，并具有广泛的应用潜力，在流体动力学的数据存储和传输的上下文中。
2023-02-01 cs.MM physics.flu-dyn
Perceptual Visual Quality Assessment: Principles, Methods, and Future Directions
Cardiff University（卡迪夫大学）；University of Klagenfurt（克拉根福大学）；Shanghai Jiao Tong University（上海交通大学）；University of Nantes（南特大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文综述了感知视觉质量评估（PVQA）的原理与方法，涵盖主观与客观评估技术，介绍了图像、视频、沉浸式多媒体及生成式AI内容的质量预测器，并探讨了未来研究方向。
2025-03-01 cs.CV cs.GR cs.MM
Image compression overview
压缩在数据存储和传输中起着重要的作用。如果我们谈论一般的数据压缩，它必须是无损的。这意味着，我们能够从压缩文件中恢复原始数据1：1。多媒体数据（图像、视频、声音.），是一个特例。在这方面，我们可以使用一种称为有损压缩的方法。我们的主要目标不是恢复数据1：1，而只是保持它们在视觉上相似。这篇文章是关于图像压缩的，所以我们只对图像压缩感兴趣。对于人眼来说，如果我们用值[150，140，138]而不是原始的[151，140，137]恢复RGB颜色，这并不是一个巨大的差异。差值的大小决定了压缩的损失率。较大的差异通常意味着较小的文件，但也意味着较低的图像质量和与原始图像的差异。我们想主要介绍过去十年的压缩技术。它们中的许多是现有的变化，只有其中一些使用新的原则。
2014-09-14 cs.GR cs.MM
A New Scheme for Image Compression and Encryption Using ECIES, Henon Map, and AEGAN
在图像和其他多媒体数据的传输中提供安全性已经成为最重要的科学和实际问题之一。本文提出了一种图像压缩加密方法，可以在低带宽的数据传输信道中安全地传输图像。首先，使用自动编码生成对抗网络（AEGAN）模型，将图像映射到低维潜空间中的向量。在下一步骤中，使用公钥加密方法对所获得的矢量进行加密。该方法利用Henon混沌映射进行置乱，使信息传输更加安全。为了评估所提出的方案的结果，三个标准SSIM，PSNR和执行时间已被使用。
2022-08-24 cs.MM eess.IV
A review on Machine Learning based User-Centric Multimedia Streaming Techniques
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；INRIA（法国国家信息与自动化研究院）
本文综述了基于机器学习的以用户为中心的多媒体流传输技术，重点涵盖整体与连续时变QoE建模、传统及360°视频的自适应流传输策略、相关数据集以及当前不足与开放挑战。
2024-11-24 cs.AI cs.LG cs.MM
Distributed Video Coding: Codec Architecture and Implementation
分布式视频编码（Distributed Video Coding，DVC）是一种新的视频压缩编码模式，它是基于Slepian- Wolf（lossless coding）和Wyner-Ziv（lossless coding）信息理论的结果。DVC可用于新兴应用，例如无线视频摄像机、无线低功率监视网络和用于医疗应用的一次性视频摄像机等。DVC的主要目标是低复杂度视频编码，其中大量计算被转移到解码器，而不是低-264和MPEG等传统视频压缩标准中的DVC结构和实现方法。斯坦福大学[2][3]在2002年，伯克利大学PRISM（功率有效，鲁棒，高压缩，基于症状的多媒体编码）[4][5]在2002年和欧洲项目DISCOVER（分布式编码视频服务）[6]在2007年。主要有两种类型的DVC技术，即基于像素域和基于变换域。变换域设计将具有更好的率失真（RD）性能，因为它利用相邻样本之间的空间相关性，并将块能量压缩到尽可能少的变换系数中（也称为能量压缩）。在本文中，我们的变换域DVC的结构，实现细节和“C”模型的结果。
2011-03-24 cs.MM
Improvement of ISOM by using filter
Sciences and Technologies of Image and Telecommunications High Institute of Biotechnology Sfax（斯法克斯生物技术高等研究所图像与电信科学技术学院）
图像压缩有助于通过减少其冗余以熟练的方式存储传输的数据。这种技术有助于通过互联网传输更多的数字或多媒体数据，因为它增加了存储空间。即使压缩到一定程度，保持图像质量也很重要。据此将图像压缩分为有损和无损两大类。有许多有损数字图像压缩技术存在。其中增量自组织映射是一个熟悉的。采用图像去噪技术进行压缩，可以得到较好的图像质量，同时也提供了较好的压缩比。图像去噪是许多图像分析和计算机视觉系统的重要预处理步骤。它指的是从退化的观测中恢复真实图像的良好估计而不改变图像中的有用结构（例如不连续性和边缘）的任务。为了有效地去除噪声，同时尽可能地保留原始图像的细节和特征，已经提出了许多方法。本文提出了一种使用增量自组织映射（ISOM）与离散小波变换（DWT）的图像压缩技术，通过应用滤波技术，在提高重建图像的质量起着至关重要的作用。实验结果表明，该技术获得了更好的压缩比值。
2012-07-10 cs.CV cs.MM
CPIPS: Learning to Preserve Perceptual Distances in End-to-End Image Compression
National Taiwan University（台湾大学）
针对机器视觉处理视觉内容增多的需求，提出CPIPS方法，从神经编解码器低代价推导，在保留感知距离时优先语义相关性，计算速度快于LPIPS等DNN类感知指标。
2023-10-01 cs.CV cs.MM eess.IV
NU-Class Net: A Novel Approach for Video Quality Enhancement
University of Tehran（塔里班大学）；College of Engineering, University of Tehran（塔里班大学工程学院）；QCRI / HBKU
本文提出NU-Class Net模型，通过深度学习减少视频压缩伪影，提升低比特率视频的可感知质量，有效降低计算和带宽需求。
2024-06-03 cs.CV cs.MM
DeepStream: Prototyping Deep Joint Source-Channel Coding for Real-Time Multimedia Transmissions
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Xidian University（西安电子科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；China Academy of Information and Communications Technology（中国信息通信研究院）
DeepStream是基于OFDM开发的DeepJSCC原型，通过特征映射、跨子载波预编码与渐进式编码策略实现实时多媒体传输，在SNR 10 dB时性能显著优于标准方案。
2026-08-04 cs.MM eess.SP
FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings
本文提出 FrameCorr，一种基于自编码器和深度学习的自适应视频压缩方法，可在带宽与时序受限的 IoT 网络中利用已接收数据补全缺失片段并重建视频帧。
2024-09-10 cs.CV cs.ET cs.MM
SwinIQA: Learned Swin Distance for Compressed Image Quality Assessment
University of Science and Technology of China（中国科学技术大学）
图像压缩由于其在多媒体存储和传输中的重要作用，近年来引起了人们的广泛关注。同时，对压缩图像进行可靠的图像质量评估（IQA），不仅有助于验证各种压缩算法的性能，而且有助于指导压缩优化。在本文中，我们设计了一个完整的参考图像质量评估度量SwinIQA来衡量压缩图像在学习Swin距离空间的感知质量。已知压缩伪影通常以不同的失真类型和程度非均匀地分布。为了在保持复杂失真信息的同时将压缩图像变形到共享表示空间，我们从Swin Transformer的每个阶段提取分层特征表示。此外，我们利用交叉注意操作映射到学习Swin距离空间提取的特征表示。在CLIC数据集上的实验结果表明，与传统方法和基于学习的方法相比，该方法与人类的感知判断具有更高的一致性。
2022-05-09 cs.CV cs.MM eess.IV
Learned Compression of Point Cloud Geometry and Attributes in a Single Model through Multimodal Rate-Control
University of Duisburg-Essen（杜伊斯堡-埃森大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）
本文提出用单一自适应自编码器联合压缩点云几何与属性，通过逐点多模态质量条件化替代模型集成，在保持与最先进方法相当性能的同时降低复杂度。
2024-08-01 cs.CV cs.MM eess.IV
Txt2Vid: Ultra-Low Bitrate Compression of Talking-Head Videos via Text
视频代表了当今互联网流量的大部分，推动了更高质量内容的生成，更大文件大小的传输和网络基础设施的发展之间的持续竞争。此外，最近的COVID-19疫情推动视频会议工具的使用激增。由于视频占用相当大的带宽（约100 Kbps到几Mbps），因此改进的视频压缩可以对实时和预录制内容的网络性能产生重大影响，从而提供对全球多媒体内容的更广泛访问。我们提出了一种新的视频压缩管道，称为Txt 2 Vid，它大大降低了数据传输率通过压缩网络摄像头视频（“说话头视频”）的文本转录。使用基于深度学习的语音克隆和唇同步模型的最新进展，将文本传输并解码为原始视频的真实重建。我们的生成流水线实现了两到三个数量级的比特率降低相比，标准的音频-视频编解码器（编码器-解码器），同时保持相当的体验质量的基础上的主观评价的用户（n = 242）在一项在线研究。Txt 2 Vid框架开辟了创建新应用的潜力，例如在互联网连接不良期间或在带宽有限的偏远地区实现音频-视像通信。这个工作的代码可以在https://github.com/tpulkit/txt2vid.git上找到。
2022-04-03 cs.MM eess.IV
Critical Data Compression
一种新的数据压缩方法被开发并应用于多媒体内容。该方法将消息分离成适合无损编码和“有损”或统计编码技术的分量，通过分别编码信号和噪声来压缩复杂对象。这通过精确压缩数据的最高有效位来证明，因为它们通常是冗余的和可压缩的，并且将最大可能的噪声函数拟合到残余位或使用有损方法压缩它们。在解压缩时，有效位被解码并被添加到噪声函数，无论是从噪声模型采样还是从有损代码解压缩。这导致压缩后的数据与原始数据相似。对于许多测试图像，使用JPEG2000进行有损编码和PAQ81进行无损编码的两部分图像代码产生比相等长度的JPEG2000更小的均方误差。计算机生成的图像通常使用这种方法比直接有损编码压缩得更好，许多黑白照片和大多数彩色照片在足够高的质量水平下也是如此。应用该方法的音频和视频编码的例子也被证明。由于两部分码对于周期性和混沌数据都是有效的，因此可以有效地对大致相似的对象的级联进行编码，这导致改进的推断。人工智能的应用程序进行了演示，表明使用经济的无损代码的信号具有临界水平的冗余，从而导致更好的基于推理的信号编码的数据不足或太多的细节。
2011-12-23 cs.AI cs.IT cs.MM
Improved 8-point Approximate DCT for Image and Video Compression Requiring Only 14 Additions
The University of Akron（阿克伦大学）；Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universidade Federal de Santa Maria（圣玛丽亚联邦大学）
本文提出一种仅需14次加法的8点DCT近似方法，具有低计算复杂度，相比现有方法在算法复杂度和信噪比上表现更优，适用于HEVC等可重构视频标准。
2015-01-13 cs.CV cs.MM cs.NA
