A Survey on Mobile Edge Computing for Video Streaming: Opportunities and Challenges
5G通信通过实现更高的吞吐量和更低的延迟，在提供给各种应用的服务质量方面带来了实质性的改进。然而，交互式多媒体应用（例如，超高清视频会议、3D和多视图视频流、众包视频流、云游戏、虚拟和增强现实）正变得越来越雄心勃勃，高容量和低延迟视频流对已经拥塞的网络提出了严格的要求。移动边缘计算（MEC）是将云计算能力扩展到网络边缘的新兴范例，即，在基站级别。为了满足延迟要求并避免与远程云数据中心的端到端通信，MEC允许存储和处理视频内容（例如，高速缓存、代码转换、预处理）。视频点播和直播视频流都可以利用MEC来改进现有服务并开发新的用例，例如视频分析和有针对性的广告。MEC有望通过提供超可靠和低延迟的流媒体（例如，在增强现实、虚拟现实和自主车辆中），普及计算（例如，在实时视频分析中），以及用于安全直播的区块链架构。本文对MEC支持的视频流的最新发展进行了全面调查，带来了前所未有的改进，以实现新的用例。详细回顾了最新的高速缓存方案、最佳计算卸载、协作高速缓存和卸载以及人工智能的使用（即，机器学习、深度学习和强化学习）。
2022-09-13 cs.MM cs.NI
Band Codes for Energy-Efficient Network Coding with Application to P2P Mobile Streaming
随机网络编码（NC）的一个关键问题在于与分组解码过程相关的复杂度和能量消耗，这阻碍了其在移动环境中的应用。控制和限制这些因素一直是一个重要但难以捉摸的研究目标，因为数据包的度分布，这是驱动复杂性的主要因素，是在一个非确定性的方式改变的随机重组在网络节点。在本文中，我们解决这个问题，提出带码（BC），一类新的网络代码专门设计，以保持数据包的程度分布在数据包编码，组合和解码。BC是GF（2）上的随机码，其表现出低解码复杂度，通过构造具有有限和受控的度分布，因此即使在能量受限的情况下也允许有效地应用NC。特别是，在本文中，我们激励和描述我们的新设计，并提供了一个彻底的分析其性能。我们提供了数值模拟的BC的性能，以验证分析和评估BC的开销相对于一个conventional NC计划。此外，对等媒体流实验与随机推送协议表明，BC降低了解码复杂度的一个因素，到一个点，基于NC的移动流到移动设备变得实际可行。
2013-09-02 cs.MM cs.NI
NEWCAST: Anticipating Resource Management and QoE Provisioning for Mobile Video Streaming
由于移动应用程序和服务以及智能手机传感器提供了丰富的上下文信息，了解移动网络中未来吞吐量变化的可能性越来越大。甚至可能的是，这样的上下文信息（可能包括业务、移动性和无线电条件）将导致尚未想到的新颖的敏捷资源管理。在本文中，我们提出了一个框架（称为NEWCAST），预计吞吐量的变化，提供视频流内容。我们开发了一个优化问题，实现了关键指标，影响用户的感知体验质量（QoE）和系统利用率的成本之间的基本权衡。从[1]中收集的模拟和真实世界吞吐量跟踪都被用来评估NEWCAST的性能。特别是，我们的数值结果表明，NEWCAST提供了新的5G架构在计算复杂性和鲁棒性方面所需的效率。我们还实现了一个原型系统的NEWCAST和评估它在一个真实的环境中与一个真实的播放器，以显示其效率和可扩展性相比，基线自适应比特率算法。
2018-01-25 cs.MM cs.NI
Performance Bound Analysis for Crowdsourced Mobile Video Streaming
自适应比特率（ABR）流使得视频用户能够根据实时网络条件来调整播放比特率，以实现期望的体验质量（QoE）。在这项工作中，我们提出了一种新的众包流框架多用户ABR视频流在无线网络上。该框架使附近的移动视频用户能够众包他们的无线电链路和资源，用于协作视频流。我们着重分析所提出的众包流媒体系统的社会福利性能界限。由于用户的异步操作，直接求解此界限具有挑战性。为此，我们引入了一个虚拟的时隙系统的同步操作，并制定了相关的社会福利优化问题作为一个线性规划。我们表明，虚拟系统的最佳社会福利性能提供了有效的上界和下界的最佳性能（界）的原始异步系统，因此，所提出的众包流媒体系统的可行性能区域的特点。所得的性能界限可作为未来在线算法设计和激励机制设计的基准。
2018-05-21 cs.GT cs.MM cs.NI
Behavioral Systel Level Power Consumption Modeling of Mobile Video Streaming applications
如今，移动应用和终端的使用面临着与能源约束相关的根本挑战。这是由于与不断增长的硬件演进相比，电池寿命有限。视频流是移动系统中最耗能的应用之一，因为其密集使用带宽、存储器和处理能力。在这项工作中，我们的目标是提出一种方法来构建和验证一个高层次的全球功耗模型，包括硬件和软件元素。我们的方法是基于利用独立系统的功耗子模型之间的相互作用的角度来建立更准确的全局模型。的互动研究的独家背景下的视频流应用程序，是最常用的移动应用程序之一。
2012-08-31 cs.MM
MSPlayer: Multi-Source and multi-Path LeverAged YoutubER
如今，通过移动设备的在线视频流已经变得非常流行。例如，YouTube报告称，在过去两年中，其流向移动设备的流量比例从6%飙升至40%以上。此外，人们不断寻求高质量的视频流以获得更好的体验，同时经常受到有限带宽的影响。得益于内容分发网络（CDN）的快速部署，流行的视频现在可以在不同的站点复制，用户可以以低延迟从附近的位置流式传输视频。由于移动设备如今配备有多个无线接口（例如，WiFi和3G/4G），聚合带宽用于高清视频流已经成为可能。我们提出了一个基于客户端的视频流解决方案，MSPlayer，它利用多个视频源以及通过不同接口的多个网络路径。MSPlayer减少启动延迟，并在移动场景中提供高质量的视频流和强大的数据传输。我们实验证明我们的解决方案在测试平台上，并通过YouTube视频服务。
2014-11-09 cs.MM cs.NI
Understanding Performance of Edge Content Caching for Mobile Video Streaming
如今的互联网见证了移动视频流的普及，预计到2019年将超过全球移动数据流量的3/4。为了满足大量的移动视频请求，视频服务提供商一直在将其内容交付基础设施推向边缘网络-从区域CDN服务器到对等CDN服务器（例如，用户家中的智能路由器）--缓存内容并为用户提供附近的存储和网络资源。在边缘网络内容缓存范例中，Wi-Fi接入点缓存和蜂窝基站缓存已经成为两种主流解决方案。因此，了解这些解决方案在大规模移动视频传输中的有效性和性能非常重要。然而，在实际的无线网络中，移动视频流的特性和请求模式并不清楚。在本文中，我们使用包含近200万用户的5000万个跟踪项的真实数据集，这些用户在中国的一个大城市使用移动设备观看了超过30万个独特的视频，时间超过2周，不仅要了解移动视频流中的请求模式和用户行为，还要评估基于Wi-Fi和蜂窝的边缘内容缓存解决方案的有效性。为了了解移动视频流的边缘内容缓存的性能，我们首先提出了时间和空间的视频请求模式，我们使用频域和熵分析方法分析其对缓存性能的影响。然后，我们研究了移动视频用户的行为，包括他们的移动性和地理迁移行为。使用跟踪驱动的实验，我们比较了边缘内容缓存的策略，包括LRU和LFU，在支持移动视频请求。此外，我们设计了一个有效的缓存策略的基础上的测量见解和实验评估其性能。
2017-02-24 cs.MM
A Novel Adaptation Method for HTTP Streaming of VBR Videos over Mobile Networks
最近，HTTP流已经变得非常流行，用于在互联网上传输视频。对于自适应性，提供者应该生成视频的多个版本以及相关的元数据。已经提出了各种自适应方法来支持流客户端应对强带宽变化。然而，大多数现有方法仅针对恒定比特率（CBR）视频。在本文中，我们提出了一种新的方法，在按需流的可变比特率（VBR）视频的质量自适应。为了应对VBR比特率的强烈变化，我们使用本地平均比特率作为版本的代表比特率。然后提出了一种基于缓冲区的算法，以保守地适应视频质量。通过实验，我们表明，我们的方法可以提供质量稳定性以及缓冲区的稳定性，即使在非常强烈的变化的带宽和视频比特率。
2015-11-09 cs.MM
Retracing the Flow of the Stream: Investigating Kodi Streaming Services
Kodi是世界上最大的用于观看视频内容的开源流媒体平台之一。轻松安装的Kodi附加组件通过方便用户搜索和查看具有基本技术知识水平的版权视频，方便用户访问在线盗版视频和流媒体内容。在一些国家，有一些有偿的儿童性虐待组织向国际付费客户发布/传播虐待儿童的材料。用于从互联网上观看视频的开源软件，如Kodi，正在被犯罪分子利用来进行活动。在本文中，我们描述了一种新的方法来快速定位科迪文物和收集信息，以成功起诉。我们还在不同的平台上评估我们的方法; Windows，Android和Linux。我们的实验显示了文件的位置，文物和历史的查看内容，包括他们的位置从互联网上。我们的方法将作为法医调查人员检查Kodi或类似流媒体平台的资源。
2020-12-02 cs.CR cs.MM
Traffic Profiling for Mobile Video Streaming
本文描述了一种新的系统，提供HTTP自适应流（HAS）会话的关键参数的协议栈的低层。提出了一种非侵入式流量分析解决方案，该解决方案观察基站、边缘路由器或网关的发送队列处的分组流。通过实时的分析IP流，该方案识别HAS会话的不同阶段，并估计重要的应用层参数，如回放缓冲区状态和视频编码速率。引入的估计器仅使用IP层信息，不需要标准化，甚至可以使用通过传输层安全性（TLS）加密的流量。一个流行的视频流服务的实验结果清楚地验证了所提出的解决方案的高精度。因此，流量分析为跨层信令和深度分组检测（DPI）提供了有价值的替代方案，以便为视频流执行有效的网络优化。
2017-05-24 cs.MM
Saving Energy in Mobile Devices for On-Demand Multimedia Streaming -- A Cross-Layer Approach
本文提出了一种新的节能多媒体传输系统EStream。首先，我们研究了在客户端的缓冲区大小，突发形状的TCP为基础的多媒体流量，和智能手机中的无线网络接口的能耗之间的关系。在此基础上，我们设计并实现了一个具有恒定比特率和自适应速率的EStreamer。EStreamer可以将电池寿命提高3倍，1.5倍和2倍，同时分别通过Wi-Fi，3G和4G进行流媒体传输。
2014-03-14 cs.IT cs.MM math.IT
Soft Delivery: Survey on A New Paradigm for Wireless and Mobile Multimedia Streaming
对视频流服务的日益增长的需求是现代无线和移动通信的关键驱动力。对于通过无线和移动网络可靠且高质量地交付视频内容，主要挑战是通过不稳定且多样化的信道环境向单个和多个用户发送图像和视频信号。为此，许多研究设计了基于数字的视频传输方案，其主要由一系列基于数字的编码和传输方案组成。虽然基于数字的方案在预先知道信道特性时表现良好，但是由于波动的信道特性，经常发生显著的质量劣化，称为悬崖效应（cliff effect）和水平效应（leveling effect）。为了防止悬崖和平整效应，而不管每个用户的信道特性，无线和移动视频流的新范例已经被提出。软传递方案跳过量化和熵以及信道编码的数字操作，而直接将功率分配的频域系数映射到传输符号上。这种修改是基于这样的事实，即由于通信噪声引起的像素失真与噪声的幅度成比例，导致适度的质量改善，其中质量根据无线信道质量逐渐改善，而没有任何悬崖和平整效应。在这里，我们提出了一个全面的总结软交付计划。
2021-11-16 cs.MM
PromptMobile: Efficient Promptus for Low Bandwidth Mobile Video Streaming
Peking University（北京大学）
针对 Promptus 低带宽视频流难以在移动端实时运行的问题，本文提出 PromptMobile，通过两阶段生成、帧间缓存和系统优化实现 13.6 倍提速并改善视频质量。
2025-05-15 cs.AI cs.MM cs.NI
Joint Optimization of QoE and Fairness Through Network Assisted Adaptive Mobile Video Streaming
MPEG最近提出了用于因特网上的视频流传输的HTTP上的服务器和网络辅助的动态自适应流传输（SAND-DASH）。与每个客户端自行决定调整其比特率的纯粹基于客户端的视频流传输相比，SAND-DASH使一组同时的客户端能够以协调的方式选择其比特率，以提高资源利用率和体验质量。在本文中，我们研究了这样的适应策略的性能相比，传统的方法与大量的客户端具有移动互联网接入。我们提出了一个多服务器多协调器（MS-MCs）框架模型组的远程客户端访问视频内容复制到空间分布的边缘服务器。然后，我们制定了一个优化问题，以最大限度地提高各个客户端的QoE，在分配基站的有限资源，以及平衡多个服务之间的利用资源的比例公平。然后，我们提出了一个有效的基于启发式的解决方案的问题，并进行模拟，以探索该方案的参数空间，以及比较性能纯粹基于客户端的DASH。
2017-08-09 cs.MM
Classifying flows and buffer state for YouTube's HTTP adaptive streaming service in mobile networks
准确的跨层信息对于针对特定应用优化移动网络非常有用。然而，由于端对端加密的广泛采用以及由于缺乏跨层信令标准，向较低协议层提供应用层信息已经变得非常困难。作为替代方案，本文提出了一种流量分析解决方案，被动估计参数的HTTP自适应流（HAS）应用程序在较低的层。通过观察IP数据包到达，我们的机器学习系统识别视频流，并实时的检测HAS客户端的播放缓冲区的状态。我们的实验与YouTube的移动客户端表明，随机森林实现非常高的准确性，即使有很大的变化的链接质量。由于这种高性能是在IP级别实现的，具有较小的通用功能集，因此我们的方法不需要深度数据包检测（DPI），复杂度低，并且不干扰端对端加密。因此，流量分析是一种强大的新工具，用于监视和管理移动网络中甚至加密的HAS流量。
2018-05-29 cs.MM
Statistical Information of the Increased Demand for Watch the VOD with the Increased Sophistication in the Mobile Devices,Communications and Internet Penetration in Asia
随着流媒体应用的快速发展，视频流可以分为两种类型的流媒体，实时视频流，视频点播（VoD）。直播视频流是一种服务，它允许客户端通过互联网观看许多电视频道，并且客户端能够使用一个操作来执行切换频道。视频点播（VoD）是未来互联网最重要的应用之一，特别是在无线网络和移动设备快速部署之后，它已经成为一种允许用户随时随地开始观看他们选择的视频的交互式多媒体服务。本文提供有关互联网，通信和移动设备等的统计信息，这导致了对许多移动无线用户/移动设备，如笔记本电脑，PDA，智能手机和笔记本电脑的开发，通信和计算能力的需求增加。这些技术被用来获得具有更高分辨率和质量的视频点播服务。本文件的另一个目标是到2020年将马来西亚列为完全发达国家。
2011-12-09 cs.MM
A Comparative Case Study of HTTP Adaptive Streaming Algorithms in Mobile Networks
HTTP自适应流（HAS）技术现在是移动网络中视频传输的主要解决方案。在过去的几年中，已经引入了几种HAS算法，以便通过比特率自适应来提高用户体验质量（QoE）。它们的区别主要在于所需的输入信息，从网络特性到应用层参数（如回放缓冲区）。有趣的是，尽管最近关于这个主题的科学论文激增，但仍然缺少对主要算法类的全面比较研究。在本文中，我们提供了这样的比较，通过评估性能的国家的最先进的HAS算法每一类，从现场测量的数据的基础上。我们提供了一个系统的研究的主要QoE因素和目标缓冲水平的影响。我们的结论是，这个目标缓冲区的水平是一个关键的分类研究HAS算法。虽然基于缓冲区的算法在大多数情况下显示出优越的QoE，但它们的性能在直播流服务的低目标缓冲区水平下可能不同。总体而言，我们相信，我们的研究结果提供了有价值的见解的设计和选择HAS算法根据网络条件和服务要求。
2017-05-04 cs.MM
Optimizing Mobile-Friendly Viewport Prediction for Live 360-Degree Video Streaming
本文提出低开销的移动友好型MFVP视口预测方法，并结合基于MAML的显著性网络训练与码率自适应，显著提升360度直播预测精度和QoE。
2024-03-05 cs.MM eess.IV
Power-Efficient Video Streaming on Mobile Devices Using Optimal Spatial Scaling
本文结合功耗模型与感知质量评估，推导移动视频流中空间缩放因子和码率控制参数的最优组合，在HD场景下以轻微或可容忍失真实现最高15%的功耗节省。
2023-07-17 cs.MM eess.IV
NeuSaver: Neural Adaptive Power Consumption Optimization for Mobile Video Streaming
TmaxSoft, Inc.（泰美思公司）；KAIST（韩国科学技术院）；Seoul National University of Science and Technology（首尔科技大学）
本文提出 NeuSaver，利用强化学习和 A3C 为每个视频分块自适应选择帧率，在保证 QoE 的前提下将移动视频流功耗平均降低 16.14%。
2021-07-15 cs.LG cs.MM eess.SP
Network Characteristics of Video Streaming Traffic
视频流代表了互联网流量的很大一部分。令人惊讶的是，很少有人知道这种流量的网络特性。在本文中，我们研究了两个最流行的视频流服务，Netflix和YouTube的网络特性。我们表明，流媒体策略随应用程序的类型（Web浏览器或本机移动应用程序）和用于视频流的容器类型（Silverlight，Flash或HTML5）而变化。特别是，我们确定了三种不同的流媒体策略，从非ACK时钟的ON-OFF周期批量TCP传输产生的流量模式。然后，我们提出了一个分析模型来研究这些流媒体策略对总流量的潜在影响，并提出相应的建议。
2011-11-03 cs.MM cs.NI
EVSO: Environment-aware Video Streaming Optimization of Power Consumption
流媒体服务逐渐支持高质量的视频，以获得更好的用户体验。然而，在移动设备上流式传输高质量视频会消耗相当多的能量。本文介绍了EVSO的设计和原型，它通过对部分视频应用自适应帧速率来实现节能，而用户体验略有下降。EVSO采用了一种新的感知相似性测量方法，基于人类视觉感知专门用于视频编码器。我们还扩展了媒体呈现描述，其中仅基于网络带宽选择视频内容，以允许额外考虑用户的电池状态。EVSO的流媒体服务器根据视频的各个部分的相似度强度，将视频预处理成若干个处理后的视频，然后向客户端提供适合客户端移动终端的网络带宽和电池状态的处理后的视频。EVSO系统在常用的H. 264/AVC编码器上实现。我们进行了各种实验和用户研究与九个视频。我们的实验结果表明，EVSO有效地降低了移动设备使用流媒体服务时的能耗，平均降低22%，最高可达27%，同时保持了用户体验的质量。
2019-05-16 cs.MM
A Holistic Survey of Wireless Multipath Video Streaming
当今的大多数移动设备都配备了多个网络接口，并且将受益于多路径通信的主要带宽需求应用之一是无线视频流。然而，大多数当前的传输协议不匹配的视频流应用程序的要求，或没有被设计为解决相关的问题，如延迟约束，网络异构性，和线头阻塞问题。本次调查提供了一个全面的多路径无线视频流的文献综述，从端到端分层堆栈的角度来看，揭示了不同的替代品，揭示了每种方法的权衡，并提出了一个合适的分类法来分类的最先进的。最后，我们讨论了开放的问题和未来工作的途径。
2021-09-21 cs.MM cs.NI
Adaptive Bitrate Streaming Over Cellular Networks: Rate Adaptation and Data Savings Strategies
自适应比特率流（ABR）已成为互联网上视频流的事实技术。尽管出现了一系列技术，但在蜂窝网络上实现高质量的ABR流仍然是一个巨大的挑战。首先，ABR方案的设计需要平衡视频质量、质量变化、停顿和启动性能等相互冲突的体验质量（QoE）指标，这在蜂窝网络的高动态带宽下更加困难。其次，流媒体提供商已经转向使用可变比特率（VBR）编码的视频内容，这引入了新的挑战ABR流，其性质和含义是鲜为人知的。第三，移动视频流消耗大量数据。尽管许多视频和网络提供商目前提供数据保存选项，但现有做法在QoE和资源使用方面并不理想。最后，当音频和视频轨道分开存储时，视频和音频速率适配需要动态协调以实现良好的整体流体验，这提出了有趣的挑战，而令人惊讶的是，研究界几乎没有关注。在这篇论文中，我们解决了上述四个挑战。
2021-05-14 cs.MM cs.NI
A Control-Theoretic Approach to Adaptive Video Streaming in Dense Wireless Networks
最近，人们消费视频内容的方式正在发生巨大的变化。长期以来一直是家庭娱乐中心的普通电视机正在失去混合电视、PC、游戏机以及最近的平板电脑和智能手机等移动设备的优势。新的主导范式是：看我想要的，当我想要的时候，我想要的地方。这种转变的挑战是多方面的。一方面，DVB-T/C/S等广播技术需要扩展或被支持异步观看的机制所取代，如IPTV和尽力而为网络上的视频流，同时保持可扩展性以适应数百万用户。另一方面，无线数据流量的急剧增加开始将现有无线基础设施的能力扩展到其极限。最后，视频流技术面临着应对终端用户设备的高度异构性和动态变化的网络条件的挑战，特别是在无线和移动网络中。在目前的工作中，我们的目标是设计一个高效的系统，支持大量的单播流会话在密集的无线接入网络。我们共同考虑无线传输调度和视频质量自适应的两个问题，使用比例-积分-微分（PID）控制器的鲁棒性和简单性的启发技术来解决这个目标。我们表明，控制理论的方法可以有效地利用可用的无线资源，提供高质量的体验（QoE）的大量用户。
2015-02-10 cs.MM cs.NI
Service Provisioning and Profit Maximization in Network-assisted Adaptive HTTP Streaming
集中考虑多个流的自适应HTTP流已经获得了越来越多的关注。它提出了一个特殊的挑战，即内容提供方和网络运营商的利益需要刻意平衡。更重要的是，需要适应策略足够灵活，以移植到在不同网络环境、QoE水平和经济目标下工作的各种系统。为了解决这些挑战，我们提出了一个马尔可夫决策过程（MDP）为基础的网络辅助自适应框架，其中缓冲的成本，显着的回放变化，带宽管理和收入的回放联合调查。然后，我们展示了它在需要公平或差异化服务的移动网络中有前途的服务提供和最大利润。
2015-01-18 cs.MM cs.NI
MicroCast: Cooperative Video Streaming using Cellular and D2D Connections
我们考虑一组移动用户，彼此接近，他们有兴趣在大致相同的时间观看相同的在线视频。当今的常见做法是每个用户使用她自己的蜂窝连接在她的移动终端上独立地下载视频，这浪费了接入带宽并且还可能导致差的视频质量。我们提出了一种新的合作系统，其中每个移动终端同时使用两个网络接口：（i）蜂窝连接到视频服务器和下载部分的视频和（ii）WiFi本地连接到组中的所有其他设备和交换这些部分。设备协作以有效地利用所有网络资源，并且能够适应变化的无线网络条件。在本地WiFi网络中，我们利用偷听，我们进一步将其与网络编码相结合。最终结果是节省了蜂窝带宽，并改善了用户体验（更快的下载），其数量级高达组大小。我们遵循从理论到实践的完整方法。首先，我们制定的问题使用网络效用最大化（NUM）框架，分解的问题，并提供一个分布式的解决方案。然后，基于NUM解决方案的结构，我们设计了一个模块化的系统称为MicroCast，我们实现了它作为一个Android应用程序。我们提供NUM解决方案的模拟结果和MicroCast的实验评估的测试平台上的Android手机。我们证明了所提出的方法带来了显着的性能优势，而无需电池的惩罚。
2014-05-14 cs.MM cs.NI
LBP: Robust Rate Adaptation Algorithm for SVC Video Streaming
如今，视频流占移动流量的55%。在本文中，我们探讨流视频编码使用可伸缩视频编码方案（SVC）在高度可变的带宽条件下，如蜂窝网络。SVC独特的编码方案允许视频块的质量以增量方式变化，使其与其他编码方案相比更灵活，更能适应具有挑战性的网络条件。我们的贡献是三方面的。首先，我们制定的可用带宽，播放缓冲区，和块的最后期限作为一个优化问题的视频块的质量决定的约束。目标是优化一种新颖的QoE度量，该度量对最小化视频的停顿/跳过持续时间、最大化每个块的回放质量以及最小化质量切换的数量这三个目标的组合进行建模。其次，我们开发了分层装箱（LBP）自适应算法，一种新的算法，解决了所提出的优化问题。此外，我们表明，LBP实现了所提出的优化问题的最佳解决方案的线性复杂度的视频块的数量。第三，我们提出了一种在线算法（在线LBP），其中解决了几个挑战，包括处理带宽预测错误，和短的预测持续时间。广泛的模拟与真实的带宽痕迹的公共数据集揭示了我们的计划的鲁棒性，并证明其显着的性能改善相比，国家的最先进的SVC流算法。所提出的算法也实现了TCP/IP仿真测试床与真实的LTE带宽的痕迹，和仿真证实了仿真结果，并验证了该算法可以实现和部署在今天的移动设备。
2018-06-13 cs.MM cs.NI
ISCom: Interest-aware Semantic Communication Scheme for Point Cloud Video Streaming
在普适移动设备上提供沉浸式点云视频（PCV）流是在未来6 G虚拟世界时代实现沉浸式通信和交互的基石。然而，大多数流传输技术专用于从传统3-DoF视频服务扩展的高效PCV压缩和编解码器。一些新兴的人工智能方法仍处于起步阶段，并受到密集计算和自适应流技术的限制。在本文中，我们提出了ISCom，一个感知的语义通信计划PCV，包括一个区域的兴趣（ROI）的选择模块，一个轻量级的PCV流模块，和一个智能调度。首先，我们提出了一个两阶段的有效的ROI选择方法提供兴趣感知PCV流，这显着减少了数据量。其次，我们设计了一个轻量级的PCV编解码器网络的资源受限的设备，适应异构终端的计算能力。第三，我们训练一个基于深度强化学习（DRL）的调度器，以适应各种设备的最佳编码器-解码器网络，考虑到动态网络环境和不同设备的计算能力。广泛的实验表明，ISCom在移动设备上的性能优于基线，至少10 FPS和高达22 FPS。
2022-10-13 cs.MM
Real-Time Neural Video Recovery and Enhancement on Mobile Devices
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research Asia（微软亚洲研究院）
针对移动设备现有深度学习视频增强技术无法实时运行且不能处理帧丢失损坏的问题，提出包含帧恢复、超分辨率、感知增强码率自适应的方法，在iPhone 12上实现30FPS实时增强，多网络环境下QoE提升24%-82%。
2023-07-22 cs.CV cs.LG cs.MM
Wireless Multicast for Zoomable Video Streaming
可缩放视频流是指一类新的交互式视频应用，其中用户可以放大视频流以查看更高分辨率的所选感兴趣区域，并平移以移动感兴趣区域。缩放和平移效果通常通过将源视频分解成可独立解码的区块的网格来实现。使用广播将瓦片流式传输到一组异构用户是具有挑战性的，因为用户具有不同的链路速率和不同分辨率级别的不同感兴趣区域。在本文中，我们考虑以下问题：给定每个用户请求的瓦片的子集，每个用户的链路速率，以及可用的时隙，每个瓦片的分辨率应该被发送，以最大限度地提高所有用户接收到的整体视频质量。我们设计了一个有效的算法来解决上述问题，并使用10个移动设备的测试平台上评估的解决方案。我们的方法是能够实现高达12dB的改善，比其他探试法。
2015-05-08 cs.MM cs.NI
Anticipatory Buffer Control and Quality Selection for Wireless Video Streaming
最近的研究表明，移动用户对视频流的需求很高。然而，在蜂窝网络中，不可靠的无线信道导致两个主要问题。当用户无法充分填充其本地播放缓冲区时，较差的通道状态会降低视频质量并中断播放：发生缓冲区欠载。与此相反，良好的信道条件会导致常见的贪婪缓冲方案堆积非常长的缓冲区。这种过度缓冲浪费了昂贵的无线信道容量。为了保持缓冲的平衡，我们采用了一种新的方法。假设我们可以预测数据率，我们提前计划视频片段的质量和下载时间。这种预期调度通过在信道中断发生之前下载大量段来避免缓冲器欠载，而不会通过过度缓冲浪费无线容量。我们将这种方法形式化为一个优化问题，并推导出分段视频流协议的实用算法（例如，HLS或MPEG DASH）。仿真结果和测试台测量表明，我们的解决方案基本上消除了播放中断，而不会显着降低视频质量。
2014-08-22 cs.MM cs.NI
Power Control and Mode Selection for VBR Video Streaming in D2D Networks
在本文中，我们调查的问题流可变比特率（VBR）视频在设备到设备（D2D）无线网络的功率控制。采用了一种考虑移动用户视频帧大小和播放缓冲区的VBR视频流量模型。考虑具有一对D2D用户（DU）和一个蜂窝用户（CU）的设置，并且采用三种模式，即蜂窝模式、专用模式和重用模式。确定用于数据递送的模式选择，并且以最大化总传输速率为目标来优化基站（BS）和设备发射机的发射功率，同时VBR视频数据可以被递送到CU和DU而不引起播出缓冲器下溢或上溢。提出了一种低复杂度的算法。通过模拟衰落信道上的VBR视频轨迹，我们证明了模式选择和功率控制的视频传输实现了更好的性能，而不仅仅是使用一个单一的模式在整个传输。
2018-02-14 cs.MM cs.NI
360NorVic: 360-Degree Video Classification from Mobile Encrypted Video Traffic
流媒体360°视频需要高带宽和低延迟，并对互联网服务提供商（ISP）和移动网络运营商（MNO）提出了重大挑战。因此，360°视频流量的识别可以使固定和移动运营商受益，以优化其网络并为用户提供更好的体验质量（QoE）。然而，网络流量的端对端加密阻碍了从常规视频中识别这些360°视频。作为一种解决方案，本文提出了360 NorVic，这是一种近实时和离线的机器学习（ML）分类引擎，用于在从移动设备流式传输时区分360°视频和常规视频。我们收集了来自YouTube和Facebook的800多个视频跟踪的数据包和流级别数据，其中包括不同流媒体条件下的200个独特视频。我们的研究结果表明，在数据包级别的近实时和离线分类，平均准确率超过95%，而对于流级别，360NorVic达到92%以上的平均准确率。最后，我们在一个大型MNO的商业网络中试用了我们的解决方案，展示了360NorVic在生产环境中的可行性和有效性。
2021-05-08 cs.MM
Investigating VTubing as a Reconstruction of Streamer Self-Presentation: Identity, Performance, and Gender
本文通过对 16 名中文 VTuber 的定性研究，考察虚拟化身如何重构主播的身份与性别表演，并指出其在促进包容互动、减少骚扰的同时也带来自我物化风险。
2024-02-29 cs.CY cs.HC cs.MM
Nebula: Reliable Low-latency Video Transmission for Mobile Cloud Gaming
移动云游戏通过移动网络从功能强大的服务器流式传输游戏内容，从而在受限的设备上实现高端游戏。移动网络遭受影响游戏体验的高度可变的带宽、延迟和损耗。本文介绍了Nebula，这是一个端到端云游戏框架，可以最大限度地减少网络条件对用户体验的影响。Nebula依赖于端到端失真模型，根据测量的网络条件调整视频源速率和帧级冗余量。因此，它可以最大限度地减少运动到光子（MTP）的延迟，同时保护帧免受丢失。我们完全实现星云和评估其性能对最先进的技术和最新研究的实时移动云游戏传输的物理测试平台上模拟和真实的无线网络。即使在高度多变的环境中，Nebula也能始终如一地平衡MTP延迟（<140 ms）和视觉质量（>31 dB）。用户实验证实，星云最大限度地提高了用户体验与高感知视频质量，可玩性，低用户负载。
2022-01-16 cs.MM cs.NI
HybridPrompt: Bridging Generative Priors and Traditional Codecs for Mobile Streaming
Peking University（北京大学）
HybridPrompt结合生成模型与传统编码器，实现移动设备上高速高质量的视频解码。
2026-02-19 cs.MM eess.IV
User Dynamics-Aware Edge Caching and Computing for Mobile Virtual Reality
本文提出一种面向移动VR视频流的边缘缓存与计算调度方法，基于用户和网络动态主动缓存并分配资源，采用Whittle指数降低帧丢失率，显著提升流传输性能。
2023-11-17 cs.MM cs.SY eess.SP
Dynamic Adaptive Point Cloud Streaming
高质量的点云最近作为一种新兴的表现沉浸式3D图形的形式获得了关注。不幸的是，这些3D媒体体积庞大且严重占用带宽，这使得难以流传输到资源有限的移动设备。这就要求研究人员提出高效和自适应的方法来流式传输高质量的点云。在本文中，我们对动态自适应点云流进行了初步研究，并将HTTP上的动态自适应流（DASH）的概念扩展到DASH-PC，一个动态自适应带宽效率和视图感知的点云流系统。DASH-PC可以解决密集点云流的巨大带宽需求，同时可以在语义上与人类视觉敏锐度相关联，以在需要时保持高视觉质量。为了描述各种质量表示，我们提出了多种细化方法来在3D空间中对点云进行空间子采样，并设计了一个专门用于点云流的DASH媒体呈现描述清单。我们的初步评估表明，我们可以实现显着的带宽和性能提高密集的点云流与轻微的负面质量影响相比，基线方案时，没有适应。
2019-04-08 cs.MM
Multi-Layer Monitoring at the Edge for Vehicular Video Streaming: Field Trials
本文提出一种边缘多层监控架构，利用5G SA网络和MEC基础设施，为车载视频流实时提供QoS、QoE和定位信息，并通过现场试验验证其有效性。
2023-11-13 cs.MM cs.NI
A review on Machine Learning based User-Centric Multimedia Streaming Techniques
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；INRIA（法国国家信息与自动化研究院）
本文综述了基于机器学习的以用户为中心的多媒体流传输技术，重点涵盖整体与连续时变QoE建模、传统及360°视频的自适应流传输策略、相关数据集以及当前不足与开放挑战。
2024-11-24 cs.AI cs.LG cs.MM
Supervised Learning based QoE Prediction of Video Streaming in Future Networks: A Tutorial with Comparative Study
Cardiff Metropolitan University（卡迪夫城市大学）；University of Western Australia（西澳大利亚大学）；Dublin City University（都柏林城市大学）；University College Dublin（都柏林大学学院）；University of Cagliari（卡利亚里大学）
基于体验质量（QoE）的服务管理仍然是在下一代网络（例如5G/6 G）中成功提供多媒体服务的关键，这需要适当的质量监控、预测和资源管理工具，其中机器学习（ML）可以发挥关键作用。在本文中，我们提供了一个基于监督学习ML模型的视频流服务QoE测量和预测解决方案的开发和部署教程。首先，我们为开发和部署基于监督学习的视频流QoE预测模型提供了一个详细的管道，该管道包括数据汇集、特征工程、模型优化和训练、测试以及预测和评估等几个阶段。其次，我们通过提出参考架构，讨论了使用软件定义网络（SDN）、网络功能虚拟化（NFV）和移动边缘计算（MEC）等网络使能技术在下一代网络（5G/6 G）中部署用于QoE预测/测量的ML模型。第三，我们提出了一个比较研究的国家的最先进的监督学习ML模型的QoE预测的视频流应用程序的基础上，多个性能指标。
2022-01-03 cs.LG cs.MM cs.NI
Modeling the Impacts of Swipe Delay on User Quality of Experience in Short Video Streaming
本文研究滑动延迟对短视频流媒体用户体验的影响，通过132种滑动延迟模式的主观评估，发现延迟时长、次数及时间位置均影响用户体验，提出新的QoE模型以准确预测用户感受。
2026-03-19 cs.MM
Efficient and Privacy-Protecting Background Removal for 2D Video Streaming using iPhone 15 Pro Max LiDAR
Department of Computer Science, Iowa State University, Ames, IA, USA（计算机科学系，爱荷华州立大学）；Department of Computer Science and School of Education, Iowa State University, Ames, IA, USA（计算机科学系与教育学院，爱荷华州立大学）
本研究利用iPhone 15 Pro Max的LiDAR技术，结合GPU图像处理与Metal着色器实现60帧/秒的高效背景去除，该方法不受光照影响，仅受深度数据带宽和LiDAR材质反射局限，未来分辨率提升后有望成为主流背景去除方案。
2025-08-29 cs.CV cs.MM eess.IV
A User-experience Driven SSIM-Aware Adaptation Approach for DASH Video Streaming
HTTP上的动态自适应流传输（DASH）是大量使用的视频流传输技术。一个关键点是驻留在客户端的适配机制。该机制极大地影响视频流的整体体验质量（QoE）。在本文中，我们提出了一种新的自适应算法，即基于SSIM的自适应（SBA）。该机制是用户体验驱动的：其使用结构相似性指数测量（SSIM）作为主要视频感知质量指标;此外，该适配基于SSIM指标和物理资源（缓冲器占用、带宽）的联合考虑，以便最小化缓冲器饥饿（再缓冲）和视频质量不稳定性，以及最大化整体视频质量（通过SSIM）。为了评估我们的提案的性能，我们使用真实的流量轨迹（在真实的移动网络中捕获）进行了轨迹驱动的仿真。通过主要QoE指标与一些代表性算法（BBA，FESTIVE，OSMF）的比较表明，我们的自适应算法SBA实现了有效的自适应，最大限度地减少了再缓冲和不稳定性，而显示的视频保持在高水平的比特率。
2020-12-10 cs.MM
Real-Time Mobile Video Analytics for Pre-arrival Emergency Medical Services
Engineering, Texas A\&M University Emergency Medical Services (EMS), Texas A\&M University
针对当前EMS院前视频分析能力有限的问题，提出TeleEMS移动实时视频分析系统，融合音视频实现多模态推理，通过客户端-服务器架构及三个核心分析模块提升症状提取、生命体征估算等性能，推动智能EMS发展。
2025-11-18 cs.AI cs.MM
Quality of Experience for Streaming Services: Measurements, Challenges and Insights
在过去的几年里，网络和用户手机技术的发展对电信行业和互联网生态系统提出了挑战。特别地，像YouTube、Vimeo和DailyMotion这样的多媒体流服务的前所未有的进步导致了令人印象深刻的需求增长和对服务质量（QoS）（例如，高数据率、低等待时间/抖动等）。主要地，在提供特定服务时要考虑许多困难，例如严格的QoS、以人为中心的特征、大量设备、异构设备和网络以及不可控的环境。因此，体验质量（QoE）的概念正在获得可见性，并且大量的研究工作已经花费在以高用户体验来改进和/或交付可靠且增值的服务上。在本文中，我们通过提供标准定义和开发的最重要的测量方法，介绍了QoE在无线和移动网络（4G，5G及以后）中的重要性。此外，我们表现出显着的增强和控制方法，研究人员提出，以满足用户的期望，在服务体验。
2019-12-24 cs.MM
LL-GABR: Energy Efficient Live Video Streaming Using Reinforcement Learning
University at Buffalo（布法罗大学）；IBM Research（IBM研究院）
本文提出基于深度强化学习的直播视频流方法 LL-GABR，通过感知视频质量而非比特率建模 QoE 并结合能耗等指标，在无需额外重训练的情况下，较现有方法提升 44% 感知 QoE 和 73% 能效。
2024-02-14 cs.AI cs.MM
A Subjective Dataset for Multi-Screen Video Streaming Applications
本文提出了一个多屏视频流主观数据集，包含不同编码视频在电视、平板和手机上的主观评分，并评估了客观质量指标，发现ITU-T P.1204.3模型平均优于全参考指标。
2023-06-22 cs.MM
GAMIVAL: Video Quality Prediction on Mobile Cloud Gaming Content
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Platforms Inc.（Meta平台公司）
GAMIVAL通过结合空间和时间失真场景统计模型、神经噪声模型和深度语义特征，实现对移动云游戏内容视频质量的高效预测。
2023-08-29 cs.CV cs.LG cs.MM
Energy-Quality-aware Variable Framerate Pareto-Front for Adaptive Video Streaming
本文提出DECODRA方法，利用可变帧率帕累托前沿在自适应视频流中动态优化帧率，在保证感知质量的前提下将解码能耗降低高达13.45%，显著延长移动设备续航并减少流媒体能耗。
2024-10-01 cs.MM
Low-latency Cloud-based Volumetric Video Streaming Using Head Motion Prediction
体视频是一种新兴的沉浸式表示3D空间和对象的关键技术。渲染体视频需要大量的计算能力，这对于移动设备来说尤其具有挑战性。为了缓解这一问题，我们开发了一个流媒体系统，该系统在云服务器上渲染来自体积视频的2D视图，并将2D视频流传输到客户端。然而，由于额外的网络和处理延迟，这种基于网络的处理增加了运动到光子（M2P）延迟。为了补偿增加的延迟，预测未来的用户姿势是必要的。我们开发了一种头部运动预测模型，并研究了其在不同前瞻时间下减少M2P延迟的潜力。我们的研究结果表明，所提出的模型减少了M2P延迟所造成的渲染错误相比，基线系统中没有进行预测。
2020-07-16 cs.MM eess.IV
Cloud Rendering-based Volumetric Video Streaming System for Mixed Reality Services
立体视频是一种用于沉浸式表示3D空间的新兴技术，它使用多个摄像机从各个方向捕获对象并创建场景的动态3D模型。然而，处理体积内容需要大量的处理能力，并且对于当今的移动设备来说仍然是非常苛刻的任务。为了缓解这一问题，我们提出了一种体积视频流系统，该系统将渲染卸载到功能强大的云/边缘服务器，并且仅将渲染的2D视图发送到客户端，而不是完整的体积内容。我们使用6DoF头部运动预测技术，WebRTC协议和硬件视频编码来确保处理链不同部分的低延迟。我们使用基于浏览器的客户端和Microsoft HoloLens客户端来演示我们的系统。我们的应用程序包含通用接口，允许使用相同的服务器实现轻松部署各种增强/混合现实客户端。
2020-07-16 cs.MM eess.IV
Optimized Adaptive Streaming Representations based on System Dynamics
自适应流媒体通过为每个视频序列提供多个编码版本来解决互联网上日益增长的多媒体内容的异构需求。每个版本（或表示）都有不同的分辨率和比特率，针对特定的用户集，如电视或手机客户端。虽然大多数现有的自适应流处理有效的播放控制策略在客户端，我们在本文中提供商的角度来看，并提出解决方案，以提高用户满意度，通过优化的视频序列的编码速率。我们制定了一个整数线性规划，最大限度地提高用户的平均满意度，考虑到网络动态，视频内容的信息，和用户群体的特点。优化的解决方案是一组编码参数，允许创建不同的流，以鲁棒地满足用户的请求随着时间的推移。我们模拟多个自适应流会话的特点是现实的网络连接模型，其中所提出的解决方案优于常用的供应商的建议，在用户满意度方面，但也在公平性和中断概率。仿真结果进一步表明，视频内容信息以及网络约束和用户的统计数据在选择合适的编码参数以提供公平性和减少网络资源使用方面起着至关重要的作用。最后，我们提出了一些实用的指导方针，可用于选择基于用户群的特性，网络容量和视频内容的类型的编码参数。
2014-10-16 cs.MM
