Estimation of optimal encoding ladders for tiled 360° VR video in adaptive streaming systems
鉴于虚拟现实（VR）需求的显着工业增长，360°视频流是最重要的VR应用之一，需要成本最优的解决方案来实现VR技术的广泛普及。由于数据密集型内容类型的固有可变性及其基于平铺的编码和流传输，360°视频需要自适应流传输系统中的新编码阶梯，以实现成本最优和沉浸式流传输体验。在此背景下，本文针对提供商和客户端的角度，并介绍了一种新的内容感知编码阶梯估计方法的自适应流媒体系统中的平铺360° VR视频。该方法首先根据360°视频编码复杂度的特点对视频进行分类，然后根据提出的失真和资源代价模型估计每个比特率级别的视觉失真和资源代价。然后，通过考虑实际约束条件，使用所提出的整数线性规划（ILP）算法形成最优编码阶梯。所提出的方法的实验结果进行了比较，推荐的专业流媒体服务提供商的编码阶梯。评估表明，所提出的编码阶梯提供更好的结果相比，推荐的编码阶梯的客观质量为360°视频，提供最佳的编码阶梯使用一组服务提供商的约束参数。
2017-11-09 cs.MM
REVISION: A Roadmap on Adaptive Video Streaming Optimization
本文提出REVISION路线图，通过优化三角形和三层架构系统梳理自适应视频流媒体的目标、输入与动作，以提升消费电子设备的QoE。
2024-09-09 cs.MM
Sequential Reinforced 360-Degree Video Adaptive Streaming with Cross-user Attentive Network
在基于瓦片的360度视频流中，预测用户的未来视点和开发自适应比特率（ABR）算法对于优化用户体验质量（QoE）至关重要。传统的基于单用户的视点预测方法在长期预测中无法取得良好的性能，而最近提出的基于强化学习（RL）的ABR算法在传统视频流中的应用由于动作空间的指数性而不能直接应用于基于瓦片的360度视频流。因此，我们提出了一个顺序增强的360度视频流方案与跨用户注意网络。首先，考虑到不同用户对同一视频可能具有相似的观看偏好，提出了一种跨用户注意网络（CUAN），通过选择性地利用跨用户信息来提高长期视点预测的性能。其次，我们提出了一个顺序的基于RL（360 SRL）的ABR方法，通过引入一个顺序的决策结构，将每个决策步骤的动作空间大小从指数转换为线性。我们使用跟踪驱动的实验和实验结果表明，CUAN和360SRL优于现有的视点预测和ABR方法，具有显着的利润。
2020-09-29 cs.MM
Adaptive Rate Allocation for View-Aware Point-Cloud Streaming
在场景中的视点相关的点云流的上下文中，我们的速率分配是“自适应的”，在这个意义上，它的优先级点云模型取决于相机视图和对象的可见性和它们的距离，如所描述的。该算法将更高的比特率传递给用户视口内部的点云模型，更可能让用户观看，或者更接近视图相机，而将较低的质量水平传递给用户直接视口外部或更远离相机的点云模型。为此，我们在此解释多点云流式传输的上下文中的速率分配问题，其中多个点云模型旨在流式传输到目标设备，并提出速率分配启发式算法以实现该上下文中的自适应。据我们所知，这是第一个工作的数学模型，并提出了一个速率分配启发式算法的上下文中的点云流。
2019-11-03 cs.MM
Adaptive 360 VR Video Streaming based on MPEG-DASH SRD
我们展示了一个基于MPEG-DASH SRD的自适应带宽高效的360 VR视频流系统。我们将MPEG-DASH SRD扩展到360 VR视频的3D空间，并展示了一种动态视图感知自适应技术，以解决将360 VR视频流传输到无线VR头显的高带宽需求。我们在空间上将底层3D网格划分为多个3D子网格，并构造一个高效的3D几何网格称为hexaface球体，以最佳地表示3D空间中的平铺360 VR视频。然后，我们在编码和打包时将360个视频在空间上划分为多个区块，使用MPEG-DASH SRD来描述3D空间中区块的空间关系，并优先考虑视场（FoV）中的区块以进行视图感知自适应。我们的初步评估结果表明，与未应用自适应的基线场景相比，我们可以节省高达72%的360 VR视频流所需带宽，并且对质量的影响较小。
2017-01-23 cs.MM
Optimal Layered Representation for Adaptive Interactive Multiview Video Streaming
我们考虑一个交互式多视图视频流（IMVS）系统，客户端选择他们的首选观点在一个给定的导航窗口。为了提供高质量的IMVS，许多高质量的视图应该被传输到客户端。然而，由于客户端的有限和异构的能力，这并不总是可能的。在本文中，我们提出了一种新的自适应IMVS解决方案的基础上分层多视图表示，摄像机视图被组织成分层的子集，以匹配不同的客户端的约束。我们制定了一个优化问题的联合选择的意见子集和他们的编码率。然后，我们提出了一个最佳的和一个减少计算复杂性的贪心算法，都是基于动态规划。仿真结果表明，我们的新算法相比，基线算法的良好性能，证明了一个有效的IMVS自适应解决方案应考虑场景内容和客户端的能力和他们的喜好在导航。
2015-06-25 cs.MM
Optimized Adaptive Streaming Representations based on System Dynamics
自适应流媒体通过为每个视频序列提供多个编码版本来解决互联网上日益增长的多媒体内容的异构需求。每个版本（或表示）都有不同的分辨率和比特率，针对特定的用户集，如电视或手机客户端。虽然大多数现有的自适应流处理有效的播放控制策略在客户端，我们在本文中提供商的角度来看，并提出解决方案，以提高用户满意度，通过优化的视频序列的编码速率。我们制定了一个整数线性规划，最大限度地提高用户的平均满意度，考虑到网络动态，视频内容的信息，和用户群体的特点。优化的解决方案是一组编码参数，允许创建不同的流，以鲁棒地满足用户的请求随着时间的推移。我们模拟多个自适应流会话的特点是现实的网络连接模型，其中所提出的解决方案优于常用的供应商的建议，在用户满意度方面，但也在公平性和中断概率。仿真结果进一步表明，视频内容信息以及网络约束和用户的统计数据在选择合适的编码参数以提供公平性和减少网络资源使用方面起着至关重要的作用。最后，我们提出了一些实用的指导方针，可用于选择基于用户群的特性，网络容量和视频内容的类型的编码参数。
2014-10-16 cs.MM
Evaluation of the Performance of Adaptive HTTP Streaming Systems
通过HTTP的自适应视频流在我们的日常生活中变得无处不在。在过去，数十篇研究论文提出了新的方法来解决自适应流媒体的不同方面，并且有相当数量的播放器实现（商业和开源）可用。然而，最先进的评估有时是肤浅的，因为许多提案只调查问题的某个方面或关注特定的平台-在实际服务中使用的播放器实现很少被考虑。HTML5现在可以在许多平台上使用，并促进了自适应媒体流应用程序的部署。我们提出了一个通用的自适应HTML5播放器的评估框架，并通过评估实际部署在现实世界的服务中的八个不同的播放器来证明其适用性。
2017-10-06 cs.MM cs.NI
Joint Optimization of QoE and Fairness Through Network Assisted Adaptive Mobile Video Streaming
MPEG最近提出了用于因特网上的视频流传输的HTTP上的服务器和网络辅助的动态自适应流传输（SAND-DASH）。与每个客户端自行决定调整其比特率的纯粹基于客户端的视频流传输相比，SAND-DASH使一组同时的客户端能够以协调的方式选择其比特率，以提高资源利用率和体验质量。在本文中，我们研究了这样的适应策略的性能相比，传统的方法与大量的客户端具有移动互联网接入。我们提出了一个多服务器多协调器（MS-MCs）框架模型组的远程客户端访问视频内容复制到空间分布的边缘服务器。然后，我们制定了一个优化问题，以最大限度地提高各个客户端的QoE，在分配基站的有限资源，以及平衡多个服务之间的利用资源的比例公平。然后，我们提出了一个有效的基于启发式的解决方案的问题，并进行模拟，以探索该方案的参数空间，以及比较性能纯粹基于客户端的DASH。
2017-08-09 cs.MM
Just Noticeable Difference-aware Per-Scene Bitrate-laddering for Adaptive Video Streaming
针对自适应视频流固定码率阶梯的不足，提出JND感知的逐场景码率阶梯预测方案JASLA，通过复杂度特征联合优化分辨率与CRF并剔除低失真对，实现码率与存储成本的显著降低。
2023-04-29 cs.MM
Towards Better Quality of Experience in HTTP Adaptive Streaming
HTTP自适应流（HAS）是当今流行的多媒体交付解决方案。HAS的新颖性在于通过自适应比特率（ABR）算法来促进连续地使流会话适应当前网络条件的可能性。各种流行的流媒体和视频点播服务，如Netflix，亚马逊Prime Video和Twitch都使用这种方法。鉴于这一广泛的消费者基础，ABR算法不断改进，以提高用户满意度。这些改进的见解是在体验质量（QoE）的研究领域内收集的。在该领域内，各种研究人员致力于识别潜在的损害并测试其对观众QoE的影响。两个经常讨论的影响QoE的视觉障碍是失速事件和质量切换。到目前为止，通常假设这些停滞事件对QoE具有最坏的影响。本文挑战这一信念，并回顾了这一假设，比较失速事件与多质量和高振幅质量开关。进行了两项主观研究。在第一个主观研究中，参与者获得了金钱奖励，而第二个主观研究是由志愿者进行的。统计分析表明，失速事件不会导致QoE的最严重降级。这些发现表明，需要重新评估QoE研究中失速事件的影响。因此，这些发现可能用于进一步的研究，并改善目前的自适应策略在ABR算法。
2023-02-01 cs.MM
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）；Ningbo University（宁波大学）
自适应视频流的体验质量（QoE）评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案（DASH）的情况下尤其具有挑战性，其具有包括附加回放问题的日益复杂的特性。在本文中，我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后，我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析，我们观察到，混合模型的性能优于服务质量（QoS）驱动的QoE方法和信号保真度测量。此外，对于相同的设置，基于机器学习的模型略微优于不使用机器学习的模型。此外，我们发现，现有的视频流QoE评估模型仍然有有限的性能，这使得它很难在实际的通信系统中应用。因此，基于传统视频质量预测的深度学习特征表示的成功，我们还应用了现成的深度卷积神经网络（DCNN）来评估流视频的感知质量，其中考虑了流视频的时空特性。实验证明了它的优越性，这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
Green Video Complexity Analysis for Efficient Encoding in Adaptive Video Streaming
本文优化基于 DCT 能量的 VCA，提出多线程、SIMD 与低通 DCT 加速方案，使超高清视频复杂度分析更快、更准且显著节能。
2023-04-24 cs.MM
Adaptation Logic for HTTP Dynamic Adaptive Streaming using Geo-Predictive Crowdsourcing
随着人们对高体验质量（QoE）的视频流服务需求的不断增长，促使人们对客户端自适应逻辑方法进行了大量研究。然而，大多数算法使用客户端先前的下载体验，并且不使用由专业服务的用户生成的人群知识数据库。我们提出了一种新的人群算法，最大限度地提高了QoE。此外，我们展示了如何将人群信息集成到现有的算法，并说明了这两个国家的最先进的算法。我们在一个包含336，551个网络性能样本的大型现实众包数据集上评估了我们的算法和最先进的算法（包括我们修改后的算法）。该数据集由WeFi LTD提供。我们的新算法在QoS（eMOS）方面优于所有其他方法。
2016-02-05 cs.MM
Scalable On-the-fly Transcoding for Adaptive Streaming of Dynamic Point Clouds
Leibniz University Hannover（汉诺威莱布尼茨大学）；IDLab, Ghent University - imec（根特大学 IDLab-imec）
本文提出了一种动态点云流媒体系统，通过实时转码技术降低存储需求并提升并发客户端的可扩展性。
2026-03-09 cs.MM
Which Adaptation Logic? An Objective and Subjective Performance Evaluation of HTTP-based Adaptive Media Streaming Systems
互联网上的多媒体内容传输主要使用超文本传输协议（HTTP）作为其主要协议，并且存在多种专有解决方案。MPEG标准HTTP动态自适应流传输（DASH）提供了可互操作的解决方案，并且近年来已经提出了各种自适应逻辑/算法。然而，据我们所知，没有对各种逻辑/算法进行全面评估。因此，本文提供了十个不同的自适应逻辑/算法，在过去几年中提出了一个全面的评价。评价是客观和主观的。前者在受控环境中使用预定义的带宽轨迹，后者在现实环境中采用众包完成。结果将提供有关在实际部署场景中可以采用哪种策略的见解。此外，本文中描述的评估方法可用于评估任何其他/新的自适应逻辑，并将其直接与本文报告的结果进行比较。
2016-06-01 cs.MM
Block-Partitioning Strategies for Accelerated Multi-rate Encoding in Adaptive VVC Streaming
Fraunhofer HHI（弗劳恩霍夫HHI研究所）
针对自适应流媒体中VVC多码率编码计算复杂的问题，提出基于CU深度约束的单/双边界分区策略，在VVenC上实现高达11.69%的编码时间节省且码率开销低于0.6%。
2025-10-16 cs.MM
FAURAS: A Proxy-based Framework for Ensuring the Fairness of Adaptive Video Streaming over HTTP/2 Server Push
HTTP/2视频流在过去几年的多媒体技术发展中引起了很多关注。在HTTP/2中，服务器推送机制允许服务器在单个请求中向客户端发送更多的视频片段，以处理请求爆炸问题。因此，最近的研究工作一直集中在利用这样的功能来增强流体验，同时减少请求相关的开销。然而，目前的作品只优化单个客户端的性能，没有必要的关注可能对同一网络中的其他客户端的影响。当多个流媒体客户端在HTTP/1.1中竞争共享带宽时，它们可能会遭受不公平性，这被定义为它们的比特率选择的不平等。对于HTTP/1.1，已有的工作证明了网络辅助解决方案在解决不公平问题上是有效的。然而，尚未研究将这种方法用于HTTP/2服务器推送的可行性。因此，在本文中，提出了一种新的基于代理的框架，以克服不公平的问题，在HTTP/2的自适应流与服务器推。实验结果证实了该框架在保证公平性、帮助客户端避免重缓冲事件和降低比特率下降幅度方面的优越性，同时保持了服务器推送功能的机制。
2020-03-19 cs.MM
PARIMA: Viewport Adaptive 360-Degree Video Streaming
随着用于捕获360°视频的技术的不断进步，流式传输此类视频的进步已经成为热门的研究主题。然而，流式传输360°视频需要高带宽，因此需要开发优化的流式传输算法。研究人员已经提出了各种方法来解决这个问题，考虑网络带宽或尝试提前预测未来的视口。然而，大多数现有的作品或者（1）不考虑视频内容来预测用户视口，或者（2）不动态地适应用户偏好，或者（3）需要用于新视频的大量训练数据，从而使得它们潜在地不适合视频流传输目的。我们开发了PARIMA，一种快速高效的在线视口预测模型，它使用用户过去的视口以及主要对象的轨迹作为视频内容的代表来预测未来的视口。我们声称，用户的头部运动主要取决于视频中主要对象的轨迹。我们采用了一个基于ARIMA的比特率分配方案，并进行了全面的性能评估。在我们的评估中，我们表明，PARIMA优于国家的最先进的方法，提高了超过30%的体验质量，同时保持较短的响应时间。
2021-08-20 cs.MM
A Comparative Case Study of HTTP Adaptive Streaming Algorithms in Mobile Networks
HTTP自适应流（HAS）技术现在是移动网络中视频传输的主要解决方案。在过去的几年中，已经引入了几种HAS算法，以便通过比特率自适应来提高用户体验质量（QoE）。它们的区别主要在于所需的输入信息，从网络特性到应用层参数（如回放缓冲区）。有趣的是，尽管最近关于这个主题的科学论文激增，但仍然缺少对主要算法类的全面比较研究。在本文中，我们提供了这样的比较，通过评估性能的国家的最先进的HAS算法每一类，从现场测量的数据的基础上。我们提供了一个系统的研究的主要QoE因素和目标缓冲水平的影响。我们的结论是，这个目标缓冲区的水平是一个关键的分类研究HAS算法。虽然基于缓冲区的算法在大多数情况下显示出优越的QoE，但它们的性能在直播流服务的低目标缓冲区水平下可能不同。总体而言，我们相信，我们的研究结果提供了有价值的见解的设计和选择HAS算法根据网络条件和服务要求。
2017-05-04 cs.MM
FRAS: Federated Reinforcement Learning empowered Adaptive Point Cloud Video Streaming
点云视频传输由于高编码/解码复杂度、高视频比特率和低延迟要求而具有挑战性。因此，传统的自适应流传输方法经常发现它们不能满足三方面的要求：1）当前的算法重用现有的体验质量（QoE）定义，同时忽略了点云视频的独特特征，因此不能提供最佳的用户体验，2）大多数深度学习方法需要长时间的学习，跨越数据汇集以学习充分变化的网络条件并导致长的训练周期和容量占用，3）云训练方法造成由用户报告的服务使用和联网条件的泄漏引起的隐私风险。为了克服这些限制，我们提出了FRAS，第一个联邦强化学习框架，尽我们所知，自适应点云视频流。我们定义了一个新的QoE模型，它考虑到点云视频的独特功能。每个客户端使用强化学习（RL）来训练视频质量选择，目的是在多个约束下优化用户的QoE。然后，一个联邦学习框架与RL算法相结合，以提高训练性能与隐私保护。使用真实点云视频和网络痕迹进行的大量仿真显示了该方案优于基线方案。我们还实现了一个原型，演示了FRAS的性能，通过现实世界的测试。
2023-01-04 cs.MM
Advanced Transport Options for the Dynamic Adaptive Streaming over HTTP
HTTP上的多媒体流不再是一个利基研究课题，因为它已经进入我们的日常生活。常见的假设是，它部署在现有基础设施之上，利用应用程序（HTTP）和传输（TCP）层协议。有趣的是，像MPEG的HTTP动态自适应流（DASH）这样的标准并不要求使用任何特定的传输协议，从而允许足够的部署灵活性，这进一步得到了两个协议层内的新兴发展的支持。本文研究和评估使用先进的传输选项的动态自适应流在HTTP。我们利用一个常见的测试设置来评估HTTP/2.0和谷歌的快速UDP互联网连接（QUIC）协议在基于DASH的服务的上下文中。
2016-06-01 cs.MM cs.NI
Energy-Quality-aware Variable Framerate Pareto-Front for Adaptive Video Streaming
本文提出DECODRA方法，利用可变帧率帕累托前沿在自适应视频流中动态优化帧率，在保证感知质量的前提下将解码能耗降低高达13.45%，显著延长移动设备续航并减少流媒体能耗。
2024-10-01 cs.MM
Energy-efficient Adaptive Video Streaming with Latency-Aware Dynamic Resolution Encoding
针对自适应视频流编码的能耗与延迟问题，提出延迟感知动态分辨率编码方案LADRE，通过随机森林模型预测编码分辨率，在同码率下提升画质并大幅降低编码能耗。
2024-01-27 cs.MM
Backward-Shifted Strategies Based on SVC for HTTP Adaptive Video Streaming
虽然基于HTTP的视频流可以轻松穿透防火墙并从Web缓存中获利，但底层TCP可能会在突然容量丢失的情况下引入大量延迟。为了避免中断的视频流在这种情况下，我们提出了后移编码（BSC）。基于可伸缩视频编码（SVC），BSC增加了一个时移层的冗余视频流，使未来的帧在任何时刻下载。这种预取的内容即使在高度变化的网络条件下也能保持流畅的视频流，并带来高质量的体验（QoE）。我们通过使用投票定理分析初始缓冲时间、重新缓冲时间和内容分辨率来表征这种QoE增益。回放中断和初始缓冲等待时间的概率生成函数以封闭形式提供。我们进一步计算视频质量的准静态分布，以计算平均质量以及视频质量的时间变化。使用这些分析结果来优化QoE显示了有趣的权衡和出色流畅的视频流。
2016-05-12 cs.MM
Optimal Representations for Adaptive Streaming in Interactive Multi-View Video Systems
交互式多视图视频流（IMVS）服务允许远程沉浸在3D场景中。这可以通过发送一组参考相机视图（锚视图）来实现，客户端使用这些参考相机视图在场景中自由导航，并可能合成感兴趣的其他视点。从网络的角度来看，IMVS系统的最大挑战是向每个客户端提供最佳的锚视图集，最大限度地提高导航质量，最大限度地减少视图切换延迟，同时满足网络约束。在自由视点系统中集成自适应流媒体解决方案提供了一个有前途的解决方案，部署IMVS在大型和异构的情况下，只要服务器上的多视图视频表示被正确选择。因此，我们建议通过最小化整体资源需求来优化服务器上的多视图数据，同时为不同的用户提供良好的导航质量。我们提出了一个多视图自适应流媒体系统的视频表示集优化，我们表明，它是NP-难的。因此，我们引入了多视图导航段的概念，允许铸造的视频表示集的选择作为一个整数线性规划问题与有限的计算复杂性。然后，我们表明，所提出的解决方案降低了计算复杂性，同时保持最优的3D场景。然后，我们为不同类别的用户提供模拟结果，并显示与推荐的表示集（例如，Netflix和Apple的那些）或基线表示选择算法，其中编码参数是针对所有视图先验决定的。
2016-09-14 cs.MM
Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution
近十年来，视频流的自适应质量控制和超分辨率技术得到了深入的研究。随着边缘设备的改进，使其具有比以往任何时候都更出色的处理能力，流媒体用户可以提高接收到的图像质量，从而允许发射机压缩图像以节省功率或追求网络效率。在这个意义上说，本文提出了一种新的动态视频流算法，自适应压缩视频块在发送器和单独提高在接收器使用SR的质量。为了允许传输的视频块具有不同的压缩级别和控制的计算负担，我们提出了自适应SR网络，这是通过最小化从不同层输出提取的损失的加权和优化。用于动态视频流。此外，我们共同编排视频传输和资源使用，和建议的视频传输方案之间的平均视频质量，排队延迟，缓冲时间，传输功率和计算能力的权衡很好地平衡。仿真结果表明，该方案在不需要收发双方协作和非自适应SR网络的情况下，对视频流服务质量（QoS）的追求优于自适应质量控制。
2021-10-12 cs.DC cs.MM
PPO-ABR: Proximal Policy Optimization based Deep Reinforcement Learning for Adaptive BitRate streaming
针对5G网络中视频流QoE优化，提出PPO-ABR方法，利用近端策略优化改进A3C的同步问题，在真实网络轨迹上超越现有方法。
2023-05-14 cs.MM
Enhancing Neural Adaptive Wireless Video Streaming via Lower-Layer Information Exposure and Online Tuning
本文针对自适应无线视频流提出利用低层信息、eA3C离线训练和基于持续学习的在线调优方法，在离线与在线场景下分别实现6.8%~14.4%和6%~28%的QoE提升。
2025-01-02 cs.MM
VATP360: Viewport Adaptive 360-Degree Video Streaming based on Tile Priority
针对360度视频高分辨率传输带宽不足、视口预测精度有限的问题，提出包含视口预测、分块优先级分类、强化学习码率分配三模块的VATP360方法，平衡性能与开销，经公开数据集验证有效。
2023-08-27 cs.MM
A Knowledge-Driven Quality-of-Experience Model for Adaptive Streaming Videos
自适应流媒体视频的巨大空间和主观实验容量的有限性之间的根本冲突给客观体验质量（QoE）预测带来了重大挑战。现有的客观QoE模型表现出复杂的函数形式，未能在不同的流媒体环境中很好地推广。在这项研究中，我们提出了一个客观的QoE模型，即知识驱动的流媒体质量指数（KSQI）整合先验知识的人类视觉系统和人类注释数据的原则性的方式。通过分析对流媒体视频的主观特征，从主观研究的语料库，我们表明，家庭的QoE功能在于一个凸集。使用投影梯度下降的变体，我们在训练视频的数据库上优化客观QoE模型。拟议的KSQI表现出强大的通用性，以不同的流媒体环境，明显的国家的最先进的性能在四个公开的基准数据集。
2019-11-18 cs.MM cs.NI
Content-Aware Personalised Rate Adaptation for Adaptive Streaming via Deep Video Analysis
自适应比特率（ABR）流媒体是在不稳定的网络条件下实现流畅观看体验的事实上的解决方案。然而，大多数现有的ABR速率自适应方法是内容无关的，没有考虑视频内容的语义信息。然而，语义信息在很大程度上决定了视频内容的信息性和趣味性，并因此影响视频流的QoE。一种常见的情况是，用户可能期望视频内容的更有趣或信息量更大的部分具有更高的质量，以便减少视频失真和信息丢失，假定整体比特率预算是有限的。这为这样的问题带来了两个主要挑战：首先，如何确定视频内容的哪些部分更有趣？第二，如何为具有不同重要性的视频内容的不同部分分配比特率预算？为了解决这些挑战，我们提出了一个基于兴趣内容（CoI）的ABR速率自适应方案。我们首先设计了一种深度学习方法来识别视频内容的兴趣度，然后设计了一种深度Q网络（DQN）方法，通过结合视频兴趣度信息进行速率自适应。实验结果表明，该方法能够准确识别视频内容的兴趣度，在不影响客观QoE指标性能的前提下，能够根据视频内容的兴趣度为ABR分配比特率。
2018-11-16 cs.MM
Classifying flows and buffer state for YouTube's HTTP adaptive streaming service in mobile networks
准确的跨层信息对于针对特定应用优化移动网络非常有用。然而，由于端对端加密的广泛采用以及由于缺乏跨层信令标准，向较低协议层提供应用层信息已经变得非常困难。作为替代方案，本文提出了一种流量分析解决方案，被动估计参数的HTTP自适应流（HAS）应用程序在较低的层。通过观察IP数据包到达，我们的机器学习系统识别视频流，并实时的检测HAS客户端的播放缓冲区的状态。我们的实验与YouTube的移动客户端表明，随机森林实现非常高的准确性，即使有很大的变化的链接质量。由于这种高性能是在IP级别实现的，具有较小的通用功能集，因此我们的方法不需要深度数据包检测（DPI），复杂度低，并且不干扰端对端加密。因此，流量分析是一种强大的新工具，用于监视和管理移动网络中甚至加密的HAS流量。
2018-05-29 cs.MM
Adaptive Bitrate Streaming Over Cellular Networks: Rate Adaptation and Data Savings Strategies
自适应比特率流（ABR）已成为互联网上视频流的事实技术。尽管出现了一系列技术，但在蜂窝网络上实现高质量的ABR流仍然是一个巨大的挑战。首先，ABR方案的设计需要平衡视频质量、质量变化、停顿和启动性能等相互冲突的体验质量（QoE）指标，这在蜂窝网络的高动态带宽下更加困难。其次，流媒体提供商已经转向使用可变比特率（VBR）编码的视频内容，这引入了新的挑战ABR流，其性质和含义是鲜为人知的。第三，移动视频流消耗大量数据。尽管许多视频和网络提供商目前提供数据保存选项，但现有做法在QoE和资源使用方面并不理想。最后，当音频和视频轨道分开存储时，视频和音频速率适配需要动态协调以实现良好的整体流体验，这提出了有趣的挑战，而令人惊讶的是，研究界几乎没有关注。在这篇论文中，我们解决了上述四个挑战。
2021-05-14 cs.MM cs.NI
Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming
针对多编解码器流媒体传输能耗高的问题，提出MCBE方案，通过移除冗余表示并基于JND最小化感知冗余，结合随机森林预测VMAF，显著降低编码、存储和传输能耗。
2023-10-14 cs.MM
Optimizing Adaptive Video Streaming in Mobile Networks via Online Learning
本文提出了一种基于在线学习的HTTP自适应流媒体（HAS）视频码率自适应算法。所提出的算法，名为Learn2Adapt（L2A），提供了一个强大的速率自适应策略，不像大多数的国家的最先进的技术，不需要参数调整，信道模型假设或应用特定的调整。这些特性使其非常适合移动用户，他们通常会经历信道特性的快速变化。仿真表明，L2A提高了整体体验质量（QoE），特别是平均流传输速率，这是独立于信道和应用场景获得的结果。
2019-11-07 cs.MM cs.NI
HTTP adaptive streaming with indoors-outdoors detection in mobile networks
在移动网络中，由于窗户和墙壁处的高信号衰减，用户可能在进入建筑物时失去覆盖。在这种情况下，具有最低比特率要求的服务（例如视频流）通常表现出较差的体验质量（QOE）。我们将提出一个贝叶斯检测器，它结合了两个智能手机传感器的测量结果，以确定用户是否在建筑物内。基于这种覆盖分类，我们将提出一种HTTP自适应流（HAS）算法，以提高在高平均比特率的播放稳定性。在一个典型的办公楼的测量表明，所提出的检测器的高精度和优越的QoE的建议HAS算法。
2017-05-24 cs.MM cs.NI
ECAS-ML: Edge Computing Assisted Adaptation Scheme with Machine Learning for HTTP Adaptive Streaming
随着移动网络中的视频流传输业务的增加，改进内容递送过程变得至关重要，例如，利用边缘计算支持。在边缘节点，我们可以部署自适应比特率（ABR）算法，更好地了解网络行为并访问无线电和播放器指标。在这项工作中，我们提出了ECAS-ML，边缘辅助自适应方案的HTTP自适应流与机器学习。ECAS-ML专注于管理比特率、段切换和停顿之间的权衡，以实现更高的体验质量（QoE）。为此，我们使用机器学习技术来分析无线电吞吐量轨迹并预测算法的最佳参数，以实现更好的性能。实验结果表明，ECAS-ML算法优于其他基于客户端和基于边缘的ABR算法。
2022-01-12 cs.MM cs.NI
Quality-Aware Dynamic Resolution Adaptation Framework for Adaptive Video Streaming
提出QADRA框架，利用XGBoost预测XPSNR，在线优化编码分辨率与QP，并消除感知冗余表示，以提升自适应视频流质量并控制编码解码时间。
2024-03-16 cs.MM
Towards AI-Assisted Sustainable Adaptive Video Streaming Systems: Tutorial and Survey
本综述全面概述了视频流生命周期及AI技术应用，重点分析了AI驱动方法如何提升视频流系统端到端各环节的能效，并探讨了未来节能感知系统的研究方向。
2024-06-04 cs.MM
Service Provisioning and Profit Maximization in Network-assisted Adaptive HTTP Streaming
集中考虑多个流的自适应HTTP流已经获得了越来越多的关注。它提出了一个特殊的挑战，即内容提供方和网络运营商的利益需要刻意平衡。更重要的是，需要适应策略足够灵活，以移植到在不同网络环境、QoE水平和经济目标下工作的各种系统。为了解决这些挑战，我们提出了一个马尔可夫决策过程（MDP）为基础的网络辅助自适应框架，其中缓冲的成本，显着的回放变化，带宽管理和收入的回放联合调查。然后，我们展示了它在需要公平或差异化服务的移动网络中有前途的服务提供和最大利润。
2015-01-18 cs.MM cs.NI
Adaptive Streaming in Interactive Multiview Video Systems
多视图应用赋予最终用户以最小延迟在3D场景中自由导航的可能性。通过传输多个高质量的摄像机视图，可以实现场景导航的真实感觉，这些视图可以用于合成额外的虚拟视图，以提供平滑的导航。然而，当网络资源有限时，并非所有相机视图都可以以高质量发送。因此，在编码伪影（降低相机视图的质量）和虚拟合成伪影（减少发送给用户的相机视图的数量）之间找到正确的权衡是重要的，但也是具有挑战性的。为此，我们提出了一个最佳的传输策略，交互式多视图HTTP自适应流（HAS）。我们提出了一个问题的制定，以选择最佳的一组相机视图，客户端请求下载，使用户体验到的导航质量得到优化，同时满足带宽约束。我们表明，我们的优化问题是NP难的，因此，我们开发了一个最佳的解决方案的基础上的动态规划算法与多项式时间的复杂性。为了进一步简化部署，我们提出了一个次优的贪心算法，有效的性能和较低的复杂度。所提出的控制器进行评估，其特征在于现实的网络统计估计，缓冲区管理和服务器端表示优化的理论和现实的设置。仿真结果表明，与替代基线多视图自适应逻辑解决方案相比，导航质量有显着改善。
2018-03-26 cs.MM
LapisGS: Layered Progressive 3D Gaussian Splatting for Adaptive Streaming
National University of Singapore（新加坡国立大学）；IRIT - University of Toulouse（图卢兹大学IRIT研究中心）；IPAL, IRL2955, Singapore（新加坡IPAL研究所）
LapisGS提出分层渐进式3D高斯泼溅方法，通过分层结构、动态不透明度优化和占用图管理，在仅23%模型大小下实现SSIM提升50.71%、LPIPS提升286.53%，支持带宽自适应的3D流传输与渐进渲染。
2025-02-10 cs.CV cs.MM
Multi-resolution Encoding for HTTP Adaptive Streaming using VVenC
本文提出一种基于VVenC的加速多分辨率编码策略，利用低分辨率表示作为参考来加速高分辨率编码，通过共享编码信息减少冗余计算，在保证编码质量下使编码时间最多减少17%。
2025-03-03 cs.MM
Network-Assisted Delivery of Adaptive Video Streaming Services through CDN, SDN, and MEC
针对高分辨率低延迟视频流对带宽和延迟的挑战，本论文通过引入具有全局网络视野的网络内组件，结合 CDN、SDN 和 MEC 技术，提出完全透明的网络辅助视频流（NAVS）解决方案以提升服务效率。
2024-03-25 cs.MM cs.NI
Open GOP Resolution Switching in HTTP Adaptive Streaming with VVC
自适应HTTP流传输中的用户体验依赖于为所有用户提供具有合适操作点的比特率阶梯，并且通常涉及多个分辨率。虽然通常已知开放式GOP编码结构提供实质的编码效率益处，但是由于缺乏对AVC和HEVC中的参考图片响应（RPR）的支持，它们在HTTP流传输中的使用已经被排除。新出现的通用视频编码（VVC）标准支持RPR，但在VVC的设计期间仅主要研究会话场景。本文旨在通过分析VVC编码工具的漂移潜力，并提出了一种约束编码方法，避免了严重的漂移伪像的分辨率切换与开放GOP编码在VVC中的HTTP流场景中使用RPR。在典型的直播流传输配置中，与封闭GOP编码相比，所提出的方法实现了-8.57%BD速率降低，而在典型的视频点播配置中，报告了-1.89%BD速率降低。与常规开放GOP编码相比，约束惩罚在最坏情况下为0.65%BD率。所提出的方法被集成到公开可用的开源VVC编码器VVenC v0.3中。
2021-04-29 cs.MM eess.IV
Cybersickness-aware Tile-based Adaptive 360° Video Streaming
与传统视频相比，虚拟现实（VR）中的成像是360°的，并且它消耗更大的带宽来传输视频内容。为了减少带宽消耗，已经提出了基于瓦片的流传输来传送视频的聚焦部分，而不是整个视频。另一方面，减轻晕动病的技术，这是类似于晕动病和使用数字显示器时发生的，还没有与VR中的瓷砖选择共同探索。在本文中，我们研究了自适应360°视频流系统中的晕电控制（TSCC）的瓷砖选择与晕电缓解。我们提出了一个m-竞争的在线算法与Cybersickness指标（CI）和视频丢失指标（VLI）来评估即时cybersickness和视频质量的总损失。此外，该算法利用疾病迁移指标（SMI），以评估随着时间的推移和增加的光流，以提高瓦片质量分配的cybersickness积累。一个真实的网络数据集的模拟表明，我们的算法优于基线的视频质量和cybersickness积累。
2021-10-04 cs.MM cs.NI
Towards User-level QoE: Large-scale Practice in Personalized Optimization of Adaptive Video Streaming
本文提出首个大规模部署的个性化自适应视频流系统LingXi，通过用户参与度分析、退出率预测和贝叶斯优化动态调整算法参数，在快手平台A/B测试中显著提升观看时长并减少卡顿。
2025-08-22 cs.MM eess.IV
User Digital Twin-Driven Video Streaming for Customized Preferences and Adaptive Transcoding
本研究提出融合用户数字孪生与传统视频流系统的新方法，通过机器学习持续更新用户数字孪生以指导自适应转码，在提升内容个性化的同时降低带宽占用、优化播放质量，推动用户-centric多媒体服务发展。
2025-08-01 cs.MM cs.NI
Price-based Controller for Quality-Fair HTTP Adaptive Streaming (Extended Version)
HTTP自适应流（HAS）已经成为用于因特网上的视频流的通用技术。许多HAS系统设计旨在以速率公平的方式共享网络带宽。然而，速率公平性通常不等同于质量公平性，因为不同的视频序列可能具有不同的特性和资源要求。在这项工作中，我们专注于这一限制，并提出了一种新的控制器HAS客户端，能够达到质量的公平性，同时保持HAS系统的主要特点，并从网络设备的支持有限。特别是，我们采用了基于价格的机制，以建立一个控制器，最大限度地提高聚合视频质量的一组HAS客户端共享一个共同的瓶颈。当网络资源稀缺时，具有简单视频序列的客户端降低所请求的比特率，以有利于订阅更复杂视频序列的用户，从而导致更有效的网络使用。所提出的控制器已在网络模拟器中实现，模拟结果表明它能够以质量公平的方式在HAS用户之间共享可用带宽。
2017-01-05 cs.MM cs.NI
Real Time Video Quality Representation Classification of Encrypted HTTP Adaptive Video Streaming - the Case of Safari
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Ariel University（阿里尔大学）
HTTP自适应视频流服务的日益普及大大增加了运营商网络的带宽要求，运营商网络试图通过深度数据包检测（DPI）来塑造其流量。不过，谷歌和某些内容提供方已经开始对他们的视频服务进行加密。因此，运营商在通过DPI塑造其加密视频流量时经常遇到困难。这突出了对加密HTTP自适应视频流的新流量分类方法的需求，以实现智能流量整形。这些新方法必须有效地估计质量表示层和播放缓冲区。我们提出了一种新的方法，并首次表明（YouTube）加密HTTP自适应流的视频质量表示分类是可能的。我们分析了这种分类方法与Safari在HTTPS上的性能。基于大量的离线和在线流量分类实验，我们证明了它可以独立地分类，在实时的，每个视频片段到一个质量表示层，平均准确率为97.18%。
2016-02-19 cs.CR cs.LG cs.MM
A real-time blind quality-of-experience assessment metric for HTTP adaptive streaming
在当今的互联网中，HTTP自适应流（HAS）是用于视频流的主流标准，其基于自适应比特率（ABR）算法来切换视频内容的比特率。有效的体验质量（QoE）评估度量可以为ABR算法提供关键反馈。然而，在客户端侧预测这样的实时QoE是具有挑战性的。QoE预测要求与人类视觉系统（HVS）的高度一致性、低延迟和盲评估，这些都难以同时实现。为了解决这个问题，我们分析了HAS系统的各种特性，并提出了一种非均匀采样度量来降低时间复杂度。此外，我们设计了一个有效的QoE指标，它将分辨率和重新缓冲时间集成为服务质量（QoS），并将深度神经网络的时空输出和特定的切换事件集成为内容信息。这些奖励和惩罚功能回归到质量分数与支持向量回归（SVR）模型。实验结果表明，该指标的准确率比主流的盲QoE指标高出0.3倍，计算时间仅为视频播放时间的60%，表明该指标能够为ABR算法提供实时指导，提高HAS的整体性能.
2023-03-17 cs.MM eess.IV
Decoding Complexity-Rate-Quality Pareto-Front for Adaptive VVC Streaming
本文研究自适应VVC流媒体，提出联合解码时间-码率-质量Pareto前沿框架以平衡三者，实验证明其能显著降低解码延迟并提升码率节省与视频质量。
2024-09-27 cs.MM eess.IV
Utility Optimal Scheduling and Admission Control for Adaptive Video Streaming in Small Cell Networks
我们认为，联合优化设计的传输调度和接纳控制策略的自适应视频流在小蜂窝网络。我们制定了一个动态的网络效用最大化的问题，并观察到它自然分解成两个子问题：准入控制和传输调度。所得到的算法简单，适合分布式实现。准入控制决策涉及每个用户基于其邻域中的网络拥塞来选择请求下载的视频块的质量。这种形式的准入控制与基于TCP连接上的DASH协议的当前视频流技术兼容。通过仿真，我们评估所提出的算法的性能，在现实的假设下，为小小区网络。
2013-05-15 cs.IT cs.MM cs.NI
