Generative AI for Multimedia Communication: Recent Advances, An Information-Theoretic Framework, and Future Opportunities
本文针对传统信息理论框架无法解决语义保真度的问题，提出适配多媒体应用的语义信息理论框架，结合生成式AI进展指明系统构建路径，为多媒体通信研究提供新范式。
2025-08-23 cs.MM eess.IV
Component based platform for multimedia applications
我们提出了一个平台，分布式多媒体应用程序，简化了开发过程，并在同一时间，确保应用程序的可移植性，灵活性和性能。该平台是使用Netscape Portable SDK（NSPR）和跨平台组件对象模型（XPCOM）实现的。
2009-08-21 cs.MM cs.NI
Kalinahia: Considering Quality of Service to Design and Execute Distributed Multimedia Applications
信息系统目前面临的挑战之一是在分布式和普适环境中保证半结构化数据传输，如多媒体数据。信息系统必须保证用户的服务质量，确保数据的可访问性，无论硬件和网络条件如何。它们还必须保证信息的一致性，特别是要求服务个性化的可理解性。在此框架内，我们提出了一种设计方法的基础上的原始模型的多媒体应用和服务质量。我们还使用以用户为中心的启发式定义了一个监督平台Kalinahia，允许我们在任何时候定义软件组件的配置构成了用户在服务方面的愿望的最佳答案。
2008-12-13 cs.MM
Multimedia Communication Quality Assessment Testbeds
我们在流媒体服务和实时通信的感知质量估计建模研究中大量使用多媒体框架。在我们的初步工作中，我们已经使用VLC VOD软件来生成具有不同程度的编码和网络降级的参考视听文件。我们已经成功地在使用这些文件生成的主观质量数据集上构建了基于机器学习的模型。然而，我们使用的多媒体框架引入的数据集的不完善性阻止了我们实现这些模型的全部潜力。为了开发更好的模型，我们使用GStreamer框架重新创建了端到端的多媒体管道，用于音频和视频流。基于GStreamer的管道被证明比VLC VOD框架对网络降级更鲁棒，并且允许我们以高达5%的数据包丢失率传输视频流。GStreamer还使我们能够收集相关的RTCP统计数据，这些数据被证明比网络推导的信息更准确。该数据集对公众免费。统计数据的准确性最终帮助我们生成性能更好的感知质量估计模型。在本文中，我们提出了这些VLC和GStreamer为基础的多媒体通信质量评估测试平台的实现与参考他们公开的代码库。
2016-09-21 cs.MM
Dynamic Multimedia Content Retrieval System in Distributed Environment
WiCoM支持远程管理Web资源。我们的应用程序移动记者是针对记者，谁将能够捕捉实时使用他们的手机和更新他们的Web服务器上的最新事件的事件。WiCoM在客户端使用J2ME技术，在服务器端使用PHP开发。客户端和服务器之间的通信是通过GPRS建立的。移动记者将能够上传，编辑和删除服务器中的文本和多媒体内容。
2009-09-01 cs.IR cs.MM
A New Approach to Manage QoS in Distributed Multimedia Systems
处理网络拥塞是用于提高分布式多媒体系统中的服务质量（QoS）的标准。针对网络拥塞问题的现有解决方案忽略了可扩展性考虑，因为它们为每个视频流保持单独的分类。在本文中，我们提出了一种新的方法，允许控制QoS提供给客户端根据网络拥塞，丢弃一些帧时，需要的。提出的技术，称为（m，k）-帧，是可扩展的应用程序的性能几乎没有下降。（m，k）-框架方法是从（m，k）-固定实时约束的概念出发提出的，即在一个任务的k次调用中，m次调用必须满足其截止期。我们的模拟研究表明，（m，k）帧的方法，以适应QoS的真实条件下，在多媒体应用程序中，根据当前的系统负载的有用性。值得注意的是，当活动客户端1的数量变化时，即客户端的动态到达时，系统必须调整提供给活动客户端1的QoS。
2009-06-26 cs.MM cs.PF
Cross-Layer Protocols for Multimedia Communications over Wireless Networks
在过去的几年里，互联网的吞吐量，使用率和可靠性几乎呈指数级增长。宽带无线移动自组织网络（MANDON）和蜂窝网络的引入以及增加的计算能力已经为待创建的新种类的应用（即，实时多媒体应用）打开了大门。在复杂的网络（如Internet）上传输实时多媒体流量是一项特别具有挑战性的任务，因为这些应用对带宽、延迟和延迟抖动有严格的服务质量（QoS）要求。传统的基于IP的尽力而为服务已经不能满足这些严格的要求。无线信道的时变性质和资源受限的无线设备使得该问题更加困难。为了提高终端用户在无线互联网上感知的媒体质量，QoS支持可以在不同的层中解决，包括应用层、传输层和链路层。跨层设计是实现这种适应的一种众所周知的方法。在跨层设计中，考虑到来自物理无线介质的挑战和来自应用的QoS需求，使得在物理（PHY）层的速率、功率和编码可以适应于满足给定当前信道和网络条件的应用的要求。文献中存在许多跨层设计的提议。在本章中，我们对这些结合了应用层、传输层和链路层控制的跨层体系结构进行了广泛的回顾。特别是，像信道估计技术，自适应控制在应用层和链路层的能源效率，基于优先级的调度，传输层的传输速率控制，自适应自动重传请求（ARQ）的问题进行了详细讨论。
2012-06-19 cs.MM cs.NI
Analysis, Design and Simulation of a New System for Internet Multimedia Transmission Guarantee
QoS是多媒体通信系统中的一个重要问题。本文提出了一种新的多媒体传输系统，该系统在多媒体传输过程中重新设置QoS要素（RSVP、路由协议、发送方和接收方）之间的关系，从而在原有多媒体路径失效的情况下创建替代路径。最后，利用OPNET 11.5仿真软件对该系统进行了仿真。仿真结果表明，我们提出的系统优于旧的QoS参数，如数据包丢失和延迟抖动。
2009-10-01 cs.MM cs.NI
A Deep Learning Scheme for Efficient Multimedia IoT Data Compression
考虑到多媒体感测数据的大量性质，多媒体物联网（MIoT）设备和网络将在功率和通信开销方面存在若干限制。应对大尺寸数据挑战的一种传统解决方案是使用有损压缩。然而，当前的有损压缩方案需要低压缩率来保证可接受的感知图像质量，这导致传送的数据大小的低减少，并且因此导致能量和带宽消耗的低减少。因此，需要有效的压缩解决方案来在数据大小（以及因此通信开销）和视觉降级之间取得良好的平衡。在本文中，深度学习（DL）超分辨率模型被应用于恢复高质量图像（在应用服务器端），作为具有高压缩比（在发送端）的输入退化图像。实验分析表明，该方法在提高压缩图像的视觉质量方面是有效的。因此，所提出的解决方案减少了有限MIoT设备的总体通信开销和功耗。
2021-04-03 cs.MM
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近，已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而，这些服务带来了新的挑战，因为必须对大量数据进行索引/搜索，而且需要尽量缩短最终用户观察到的响应时间。此外，这些用户与系统动态交互，导致查询请求率波动，需要搜索算法进行调整，以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战，我们引入hypercurves，一个灵活的框架，回答近似k-最近邻（kNN）查询非常大的多媒体数据库，针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行，并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间，它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比，其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比，动态工作分区机制将观察到的查询响应时间减少了约50%。此外，Hypercurves在分布式（多节点）执行中实现了超线性可扩展性，同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明，这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Resource Efficient LDPC Decoders for Multimedia Communication
在越来越多的无线多媒体应用中，实现高图像质量是一个重要方面。这些应用需要资源高效的纠错硬件来检测和纠正由通信信道引入的错误。本文提出了一种创新的灵活的架构，用于纠错使用低密度奇偶校验（LDPC）码。所提出的部分并行解码器架构采用了一种新的代码构造技术的基础上，多层次的准循环（HQC）矩阵与创新分层的随机子矩阵。高级MATLAB模型的仿真结果表明，所提出的HQC矩阵的比特出错率（BER）性能接近于非结构化随机矩阵。该解码器已在FPGA上实现。与迄今为止报道的其他解码器相比，它是非常资源有效的，并且提供非常高的吞吐量。解码器的性能评估已经通过在AWGN信道上传输JPEG图像并将重构图像的质量与来自其他解码器的图像的质量进行比较来进行。
2013-08-01 cs.IT cs.MM math.IT
Compression of Video Tracking and Bandwidth Balancing Routing in Wireless Multimedia Sensor Networks
无线网络上的多媒体应用已经有了巨大的增长。无线多媒体传感器网络（WMSNs）已成为许多研究团体和工业界的首选。许多最先进的应用，如监控，交通监控和远程医疗保健，本质上是WMSNs中的视频跟踪和传输。针对视频数据量大、固定路由路径下带宽分配固定等问题，提出了一种基于CamShift的视频跟踪压缩算法。然后，我们提出了一个带宽平衡策略，其中每个传感器节点能够动态地选择节点的下一跳具有最高的潜在带宽容量恢复通信。该策略的关键是每个节点只需维护两个包含其历史带宽变化趋势的参数，然后预测其近期的带宽容量。然后，转发节点选择具有最高潜在带宽容量的下一跳。仿真结果表明，该方法在无线多媒体传感器网络环境中，显著提高了汇聚节点接收的数据量，降低了视频传输的延迟。
2014-12-20 cs.MM cs.NI
Erasure Coding and Congestion Control for Interactive Real-Time Communication
在Internet上使用实时的【形】应用是一个具有挑战性的问题，QoS时代试图通过提出DiffServ架构来解决。今天，互联网提供的唯一服务仍然是尽力而为。因此，多媒体应用通常在提供可变发送速率的传输层之上执行。显然，这种可变发送速率对于具有强延迟约束的这些应用是一个问题。在不能使用重传来确保可靠性的实时的【形】上下文中，视频质量受到任何分组丢失的影响。在这份立场文件中，我们讨论了这个问题，并激发为什么我们要在多媒体拥塞控制协议（如TFRC）中提出某类纠删编码方案。
2012-07-12 cs.MM cs.NI
Immersive Multimedia Communication: State-of-the-Art on eXtended Reality Streaming
University of Ottawa（渥太华大学）；University of Ottawa and Huawei Canada（渥太华大学和华为加拿大）；Huawei Canada（华为加拿大）
本综述梳理扩展现实（XR）流媒体前沿研究，从定义与设备、流量特征、体验质量影响因素、视觉注意力优化方法及应用挑战多维度展开，为XR发展提供研究参考。
2025-03-27 cs.AI cs.ET cs.MM
Guided Masked Self-Distillation Modeling for Distributed Multimedia Sensor Event Analysis
NTT Corporation（NTT公司）；Tokyo Metropolitan University（东京都立大学）
针对分布式多媒体传感器观测信息碎片化、缺乏有效联合表征学习方法的问题，提出引导式掩码自蒸馏建模方法Guided-MELD，通过传感器间信息互补提炼事件信息，在新构建的两个数据集上提升了事件分析性能且鲁棒性更强。
2024-04-12 cs.CV cs.MM eess.AS
The Korrontea Data Modeling
多媒体系统的需求演变，由于其体系结构的演变，现在分布到异构的上下文中。一个关键问题在于它们处理、加工和传输多媒体数据。该数据集成了几个属性，这些属性应该被考虑，因为它拥有相当大的一部分语义，例如视频中的嘴唇同步。在本文中，我们专注于一个模型的定义作为一个基本的抽象描述和建模媒体在多媒体系统中，考虑到他们的属性。该模型将用于软件架构中，以便以有效的方式处理数据。所提供的模型是一个有趣的解决方案，将媒体集成到应用程序中，我们建议考虑和处理它们在一个统一的方式。该模型提出了同步策略，以确保媒体的同步传输。因此，我们使用它的组件模型，我们开发的分布式多媒体系统的设计和部署。
2008-12-16 cs.MM
Multimedia Capacity Analysis of the IEEE 802.11e Contention-based Infrastructure Basic Service Set
我们首先提出了一个简单的数学分析框架，最近批准的IEEE 802.11e标准的增强分布式信道接入（EDCA）功能。我们的分析认为，分布式随机接入系统表现出循环行为的事实。所提出的模型是有效的AC特定的仲裁帧间空间（AIFS）的值和竞争窗口（CW）的大小的任意分配，是第一个考虑任意分布的主动访问类别（AC）在车站。通过大量的模拟验证理论结果，我们表明，所提出的分析准确地捕捉EDCA饱和性能。接下来，我们提出了一个多媒体容量分析的EDCA功能的框架。我们计算一个准确的车站和AC特定的队列利用率适当加权的周期时间模型的服务时间预测不同数量的活跃站。基于计算出的队列利用率，我们设计了一个简单的基于模型的接纳控制方案。我们表明，所提出的呼叫准入控制算法保持满意的用户感知的质量共存的语音和视频连接在基础设施BSS，并不存在过或不足的准入问题，以前提出的模型在文献中。
2008-08-12 cs.IT cs.MM math.IT
Soft Delivery: Survey on A New Paradigm for Wireless and Mobile Multimedia Streaming
对视频流服务的日益增长的需求是现代无线和移动通信的关键驱动力。对于通过无线和移动网络可靠且高质量地交付视频内容，主要挑战是通过不稳定且多样化的信道环境向单个和多个用户发送图像和视频信号。为此，许多研究设计了基于数字的视频传输方案，其主要由一系列基于数字的编码和传输方案组成。虽然基于数字的方案在预先知道信道特性时表现良好，但是由于波动的信道特性，经常发生显著的质量劣化，称为悬崖效应（cliff effect）和水平效应（leveling effect）。为了防止悬崖和平整效应，而不管每个用户的信道特性，无线和移动视频流的新范例已经被提出。软传递方案跳过量化和熵以及信道编码的数字操作，而直接将功率分配的频域系数映射到传输符号上。这种修改是基于这样的事实，即由于通信噪声引起的像素失真与噪声的幅度成比例，导致适度的质量改善，其中质量根据无线信道质量逐渐改善，而没有任何悬崖和平整效应。在这里，我们提出了一个全面的总结软交付计划。
2021-11-16 cs.MM
Control of Multiple Remote Servers for Quality-Fair Delivery of Multimedia Contents
本文提出了一种控制方案的质量公平交付的几个编码视频流的移动用户共享一个共同的无线资源。视频质量公平性以及类似的传输延迟是流之间的目标。建议的控制器内实现的一些聚合器位于网络的瓶颈附近。基于聚合器中已经编码和缓冲的分组的质量来适配流之间的传输速率。编码速率目标由聚合器评估并反馈到每个远程视频服务器（完全集中式解决方案），或者由每个服务器以分布式方式直接评估（部分分布式解决方案）。基于聚合器中的对应缓冲器水平或缓冲延迟，针对每个流独立地调整每个编码速率目标。服务器和聚合器之间的通信延迟被考虑在内。传输和编码速率控制问题的控制理论的角度进行了研究。该系统描述了一个多输入多输出模型。比例积分（PI）控制器用于调整视频质量并控制聚合器缓冲器水平。研究了系统的平衡和稳定性。这为PI控制器参数的选择提供了指导。实验结果表明，所提出的控制系统的收敛性，并证明了改进的视频质量公平性相比，一个经典的传输速率公平的流媒体解决方案和实用程序的最大-最小公平的方法。
2014-01-24 cs.MM
Flash-based Audio and Video Communication in the Cloud
互联网电话和多媒体通信协议在过去十五年中已经成熟。最近，网络正在发展成为我们在互联网上所做的一切的流行平台，包括电子邮件，文本聊天，语音通话，讨论，企业应用程序和多方协作。不幸的是，网络和传统的互联网电话协议之间存在脱节，因为它们忽略了彼此的约束和要求。因此，Flash Player被许多开发人员用作基于Web的语音和视频呼叫的Web浏览器插件。我们描述了使用Web浏览器的视频通信的挑战，提出了一个简单的API使用Flash Player应用程序，显示它如何支持各种各样的Web通信方案在云中，并描述它如何可以与会话发起协议（SIP）的系统进行互操作。我们描述了基于Flash Player的通信应用程序的优点和挑战。所提出的API可以指导未来与通信相关的Web协议扩展的工作。
2011-06-30 cs.MM cs.NI
Comparative Studies of Unsupervised and Supervised Learning Methods based on Multimedia Applications
IEEE Computational Intelligence Society（IEEE计算智能学会）；Institute of Electrical and Electronics Engineers（电气和电子工程师协会）；Blekinge Institute of Technology（布莱金厄理工学院）
在移动通信领域，一些视频应用促进了对视频质量评估的鲁棒性方法的兴趣。在所有现有的方法中，我们首选，无参考视频质量评估是在参考视频的便捷性部分可用的情况下最需要的方法。我们的研究兴趣在于制定和融合有效的功能到一个模型的基础上，人类的可视化特性。我们的工作探讨了监督学习和无监督学习方法之间的比较研究。因此，我们实现了支持向量回归算法NR为基础的视频质量度量（VQM）的质量估计与简化的输入功能。我们的结论是，我们提出的模型表现出稀疏性，即使在降维后的SSIM质量指标的客观分数。
2023-03-04 cs.CV cs.MM
Large Language Model Based Multi-Agent System Augmented Complex Event Processing Pipeline for Internet of Multimedia Things
University of Oulu（奥卢大学）；University of Helsinki（赫尔辛基大学）
本文提出并评估了一种基于大语言模型的多智能体系统框架，结合Autogen与Kafka实现自主复杂事件处理流水线，用于视频查询处理，并通过实验揭示了智能体数量、视频复杂度与延迟及叙事一致性之间的权衡关系。
2025-01-03 cs.AI cs.MA cs.MM
Perceptual Visual Quality Assessment: Principles, Methods, and Future Directions
Cardiff University（卡迪夫大学）；University of Klagenfurt（克拉根福大学）；Shanghai Jiao Tong University（上海交通大学）；University of Nantes（南特大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文综述了感知视觉质量评估（PVQA）的原理与方法，涵盖主观与客观评估技术，介绍了图像、视频、沉浸式多媒体及生成式AI内容的质量预测器，并探讨了未来研究方向。
2025-03-01 cs.CV cs.GR cs.MM
