Network-Assisted Delivery of Adaptive Video Streaming Services through CDN, SDN, and MEC
针对高分辨率低延迟视频流对带宽和延迟的挑战,本论文通过引入具有全局网络视野的网络内组件,结合 CDN、SDN 和 MEC 技术,提出完全透明的网络辅助视频流(NAVS)解决方案以提升服务效率。
2024-03-25 cs.MM cs.NI
Optimal Layered Representation for Adaptive Interactive Multiview Video Streaming
我们考虑一个交互式多视图视频流(IMVS)系统,客户端选择他们的首选观点在一个给定的导航窗口。为了提供高质量的IMVS,许多高质量的视图应该被传输到客户端。然而,由于客户端的有限和异构的能力,这并不总是可能的。在本文中,我们提出了一种新的自适应IMVS解决方案的基础上分层多视图表示,摄像机视图被组织成分层的子集,以匹配不同的客户端的约束。我们制定了一个优化问题的联合选择的意见子集和他们的编码率。然后,我们提出了一个最佳的和一个减少计算复杂性的贪心算法,都是基于动态规划。仿真结果表明,我们的新算法相比,基线算法的良好性能,证明了一个有效的IMVS自适应解决方案应考虑场景内容和客户端的能力和他们的喜好在导航。
2015-06-25 cs.MM
A Strategy to enable Prefix of Multicast VoD through dynamic buffer allocation
在本文中,我们提出了一个动态的缓冲区分配算法的前缀,根据流行的视频。为最流行的视频分配更多的缓存块,为不太流行的视频分配一些缓存块。缓冲器利用率也被最大化,而与视频点播系统上的负载无关。过载会导致服务器变慢。通过存储流行视频剪辑的前几秒,多媒体本地服务器可以保护用户免受本地服务器和中央服务器之间的路径的延迟、吞吐量和丢失特性的影响。受控多播的关键思想是允许客户端共享视频流的一个片段,即使请求在不同的时间到达。对该动态缓冲区分配算法进行了仿真,并根据多媒体服务器的缓冲区利用率和最流行视频的平均缓冲区分配率对其性能进行了评估。我们的模拟结果表明,有效地利用网络带宽和减少硬盘利用率,从而导致增加的请求被服务的数量。
2010-02-05 cs.MM
FAURAS: A Proxy-based Framework for Ensuring the Fairness of Adaptive Video Streaming over HTTP/2 Server Push
HTTP/2视频流在过去几年的多媒体技术发展中引起了很多关注。在HTTP/2中,服务器推送机制允许服务器在单个请求中向客户端发送更多的视频片段,以处理请求爆炸问题。因此,最近的研究工作一直集中在利用这样的功能来增强流体验,同时减少请求相关的开销。然而,目前的作品只优化单个客户端的性能,没有必要的关注可能对同一网络中的其他客户端的影响。当多个流媒体客户端在HTTP/1.1中竞争共享带宽时,它们可能会遭受不公平性,这被定义为它们的比特率选择的不平等。对于HTTP/1.1,已有的工作证明了网络辅助解决方案在解决不公平问题上是有效的。然而,尚未研究将这种方法用于HTTP/2服务器推送的可行性。因此,在本文中,提出了一种新的基于代理的框架,以克服不公平的问题,在HTTP/2的自适应流与服务器推。实验结果证实了该框架在保证公平性、帮助客户端避免重缓冲事件和降低比特率下降幅度方面的优越性,同时保持了服务器推送功能的机制。
2020-03-19 cs.MM
Towards 5G: Joint Optimization of Video Segment Cache, Transcoding and Resource Allocation for Adaptive Video Streaming in a Muti-access Edge Computing Network
多接入边缘计算(MEC)服务器的缓存和转码以及eNodeB中的无线资源分配交互并确定MEC网络中的动态自适应HTTP流传输(DASH)客户端的体验质量(QoE)。然而,这三个因素之间的关系尚未被探索,这导致客户的QoE改善有限。因此,我们提出了MEC服务器中视频片段缓存和转码以及资源分配的联合优化框架,以提高DASH客户端的QoE。在此基础上,提出了一种MEC缓存管理机制,包括MEC缓存划分、视频片段删除和MEC缓存空间转移。然后,提出了一种结合MEC服务器中视频片段缓存和转码以及资源分配的联合优化算法。该算法根据客户端的信道状态、播放状态以及MEC服务器之间的协作情况来估计客户端的优先级、视频片段播放切换和连续播放时间。综合考虑以上四个因素,我们建立了客户QoE的效用函数模型。然后,以DASH客户端总效用最大化为目标,建立了混合整数非线性规划数学模型,其中视频片段缓存和转码策略与资源分配策略联合优化。为了解决这个问题,我们提出了一个低复杂度的启发式算法,分解成多个子问题的原始问题。仿真结果表明,我们提出的算法有效地提高了客户端的吞吐量,接收视频质量和视频片段的命中率,同时减少了播放重缓冲时间,视频片段的呈现切换和系统回程流量。
2020-05-15 cs.MM
Cloud-Based Video Streaming Services: A Survey
在过去的几年中,视频流,以各种形式的视频点播(VOD)、直播和360度流,已经急剧增长。与传统的有线广播公司相比,其内容只能在电视上观看,视频流媒体无处不在,观众可以在各种设备上灵活地观看视频内容,从智能手机到笔记本电脑和大电视屏幕。这种普遍性和灵活性是通过交织多种技术来实现的,诸如视频压缩、云计算、内容分发网络和若干其他技术。随着视频流越来越受欢迎并主导互联网流量,有必要了解它的运作方式以及其中涉及的不同技术之间的相互作用。因此,本文的第一个目标是揭示将原始捕获的视频传输到观众设备的复杂过程。特别是,我们详细介绍了视频编码,转码,打包,加密和交付过程。我们调查了学术界和工业界最近为加强这些过程所做的努力。随着视频流媒体行业越来越依赖云计算,本调查的第二个目标是探索和调查利用云服务来实现视频流媒体服务的方式。本研究的第三个目标是将所开展的研究工作定位于基于云的视频流媒体,并确定未来需要克服的挑战,以将基于云的视频流媒体行业推向更灵活和以用户为中心的服务。
2020-11-30 cs.MM
Peer-to-Peer Live Streaming and Video On Demand Design Issues and its Challenges
P2P直播和视频点播是近年来互联网上最流行的媒体应用。这些系统减少了服务器上的负载,并提供了可伸缩的内容分发。P2P网络是一种新的协作模式,它在现有网络上构建大型分布式视频应用,但P2P流媒体、直播和视频点播系统的设计问题是相同的。因此,需要进行全面的设计比较,以建立这样的系统架构。因此,在本文中,我们详细研究了传统的P2P流媒体架构的方法,其关键的设计问题,以及实际的挑战。因此,我们在本文中的研究清楚地指出有形的设计问题和挑战,以及其他无形的问题提供P2P视频点播服务。
2011-11-29 cs.MM cs.NI
Subjective and Objective Quality-of-Experience Evaluation Study for Live Video Streaming
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(图像通信与网络工程研究所,上海交通大学);Alibaba Group(阿里巴巴集团)
本文研究直播视频流的主观和客观质量体验评估,构建了首个直播视频流QoE数据集TaoLive QoE,并提出端到端QoE模型Tao-QoE,整合多尺度语义特征和光流运动特征以预测回顾性QoE评分。
2026-04-17 cs.AI cs.MM eess.IV
Adaptation Logic for HTTP Dynamic Adaptive Streaming using Geo-Predictive Crowdsourcing
随着人们对高体验质量(QoE)的视频流服务需求的不断增长,促使人们对客户端自适应逻辑方法进行了大量研究。然而,大多数算法使用客户端先前的下载体验,并且不使用由专业服务的用户生成的人群知识数据库。我们提出了一种新的人群算法,最大限度地提高了QoE。此外,我们展示了如何将人群信息集成到现有的算法,并说明了这两个国家的最先进的算法。我们在一个包含336,551个网络性能样本的大型现实众包数据集上评估了我们的算法和最先进的算法(包括我们修改后的算法)。该数据集由WeFi LTD提供。我们的新算法在QoS(eMOS)方面优于所有其他方法。
2016-02-05 cs.MM
Towards Low-Latency and Energy-Efficient Hybrid P2P-CDN Live Video Streaming
本文提出一种基于NFV和边缘计算的混合P2P-CDN直播视频流框架,通过多层架构和动作树高效分配视频获取与转码任务,实验证明其有效提升用户QoE、降低延迟并减少边缘服务器能耗。
2024-03-25 cs.MM
EVSO: Environment-aware Video Streaming Optimization of Power Consumption
流媒体服务逐渐支持高质量的视频,以获得更好的用户体验。然而,在移动设备上流式传输高质量视频会消耗相当多的能量。本文介绍了EVSO的设计和原型,它通过对部分视频应用自适应帧速率来实现节能,而用户体验略有下降。EVSO采用了一种新的感知相似性测量方法,基于人类视觉感知专门用于视频编码器。我们还扩展了媒体呈现描述,其中仅基于网络带宽选择视频内容,以允许额外考虑用户的电池状态。EVSO的流媒体服务器根据视频的各个部分的相似度强度,将视频预处理成若干个处理后的视频,然后向客户端提供适合客户端移动终端的网络带宽和电池状态的处理后的视频。EVSO系统在常用的H. 264/AVC编码器上实现。我们进行了各种实验和用户研究与九个视频。我们的实验结果表明,EVSO有效地降低了移动设备使用流媒体服务时的能耗,平均降低22%,最高可达27%,同时保持了用户体验的质量。
2019-05-16 cs.MM
Cloud Rendering-based Volumetric Video Streaming System for Mixed Reality Services
立体视频是一种用于沉浸式表示3D空间的新兴技术,它使用多个摄像机从各个方向捕获对象并创建场景的动态3D模型。然而,处理体积内容需要大量的处理能力,并且对于当今的移动设备来说仍然是非常苛刻的任务。为了缓解这一问题,我们提出了一种体积视频流系统,该系统将渲染卸载到功能强大的云/边缘服务器,并且仅将渲染的2D视图发送到客户端,而不是完整的体积内容。我们使用6DoF头部运动预测技术,WebRTC协议和硬件视频编码来确保处理链不同部分的低延迟。我们使用基于浏览器的客户端和Microsoft HoloLens客户端来演示我们的系统。我们的应用程序包含通用接口,允许使用相同的服务器实现轻松部署各种增强/混合现实客户端。
2020-07-16 cs.MM eess.IV
Towards AI-Assisted Sustainable Adaptive Video Streaming Systems: Tutorial and Survey
本综述全面概述了视频流生命周期及AI技术应用,重点分析了AI驱动方法如何提升视频流系统端到端各环节的能效,并探讨了未来节能感知系统的研究方向。
2024-06-04 cs.MM
Channel Transition Invariant Fast Broadcasting Scheme
快速广播(FB)是一种流行的准视频点播系统,其中视频被划分为相等大小的片段,这些片段按照一定模式在多个信道上重复传输。为了用户满意度,需要减少初始用户等待时间和流式传输时的客户端侧缓冲器要求。使用额外的渠道可以达到这个目的。然而,需要对基本FB方案进行一些增强,因为它缺乏任何机制来实现在信道过渡处的段大小之间的明确定义的关系。片段之间缺乏对应性导致客户端在观看视频时的中间等待。使用额外的信道需要额外的带宽。在本文中,我们提出了一个修改的FB计划,实现零初始客户端等待时间,并提供了一种机制来控制客户端缓冲区的要求在流,而不需要额外的通道。我们提出了几个结果来证明建议FB计划的有效性,在现有的。
2017-11-22 cs.MM
Content Delivery Through Hybrid Architecture in Video on Demand System
为了保证视频内容的流畅、快速传输,P2P网络需要进行结构上的改进。查看器通过代理服务器导入块视频对象。在一个很小的会话时间内,用户请求的巨大增长给VOD系统带来了巨大的负载。这种情况要求代理服务器将视频内容全部或部分地流式传输给观看者。从连接的对等节点导入代理服务器上缺少的块。对等体根据某些块选择策略在它们之间交换块。对等节点在每个时隙期间随机联系另一个对等节点以从缓冲区下载丢失的块。在视频流传输中,当在观看者端需要相关帧时,该帧应该在相应的代理服务器处可用。视频观看者还启动各种类型的交互操作,例如向前移动或跳过某些有限数量的帧,从而在视频点播系统内造成拥堵。为了改善这种情况,它需要一个有效的内容交付机制来实现内容的顺畅传输。提出的混合架构由P2P和网状结构组成,有效地增强了VOD系统中的搜索机制和内容传输。
2019-10-02 cs.MM cs.NI
EdgeDASH: Exploiting Network-Assisted Adaptive Video Streaming for Edge Caching
虽然边缘视频缓存具有降低核心网络流量以及用户体验延迟的巨大潜力,但由于两个关键原因,在当前客户端驱动的视频流解决方案中利用缓存通常具有挑战性。首先,即使对相同内容感兴趣的客户端也可能请求不同的质量级别,因为视频内容被编码为多种质量以匹配广泛的网络条件和设备能力。其次,选择下一个块的质量以请求的客户端不知道网络边缘处的缓存内容。因此,开发网络端解决方案来利用缓存变得势在必行。这还可以缓解一些性能问题,特别是对于多个视频客户端竞争某些瓶颈容量的场景。在本文中,我们提出了一个网络侧控制逻辑运行在WiFi AP,以方便使用缓存的视频内容。特别地,在替代质量提供更好的效用的情况下,AP可以向客户站分配与其请求不同的视频质量。我们制定的质量分配问题作为一个优化问题,并开发了几个多项式复杂度的算法。与客户端确定质量适应的基线相比,我们的建议(称为EdgeDASH)提供了更高的视频质量,更高的缓存命中率和更低的停顿率,这对用户的满意度至关重要。我们的模拟表明,EdgeDASH促进了显着的缓存命中,并减少了缓冲区失速,只有通过改变客户端的请求由一个质量水平。此外,从我们的分析,我们得出结论,网络援助提供了显着的性能改善,特别是当具有相同的利益的客户端竞争的瓶颈链路的容量。
2020-02-04 cs.MM cs.NI
Thin-Client Interactive Gaussian Adaptive Streaming over HTTP/3
Alpen-Adria-Universität(阿尔卑亚得利亚大学);Bitmovin Inc.(Bitmovin公司);Sharif University of Technology(谢里夫理工大学);National Tsing Hua University(国立清华大学)
本文提出TIGAS框架,通过将光栅化任务卸载到后端,利用QUIC协议传输视图依赖的2D投影,减少网络延迟影响,实现低延迟的6DoF交互式3DGS流媒体。
2026-05-09 cs.ET cs.MM eess.IV
TAROT: Towards Optimization-Driven Adaptive FEC Parameter Tuning for Video Streaming
Concordia University(康考迪亚大学)
TAROT通过优化驱动的自适应FEC参数调节,有效降低视频流传输的FEC开销并提升感知质量。
2026-02-10 cs.MM
Optimized Adaptive Streaming Representations based on System Dynamics
自适应流媒体通过为每个视频序列提供多个编码版本来解决互联网上日益增长的多媒体内容的异构需求。每个版本(或表示)都有不同的分辨率和比特率,针对特定的用户集,如电视或手机客户端。虽然大多数现有的自适应流处理有效的播放控制策略在客户端,我们在本文中提供商的角度来看,并提出解决方案,以提高用户满意度,通过优化的视频序列的编码速率。我们制定了一个整数线性规划,最大限度地提高用户的平均满意度,考虑到网络动态,视频内容的信息,和用户群体的特点。优化的解决方案是一组编码参数,允许创建不同的流,以鲁棒地满足用户的请求随着时间的推移。我们模拟多个自适应流会话的特点是现实的网络连接模型,其中所提出的解决方案优于常用的供应商的建议,在用户满意度方面,但也在公平性和中断概率。仿真结果进一步表明,视频内容信息以及网络约束和用户的统计数据在选择合适的编码参数以提供公平性和减少网络资源使用方面起着至关重要的作用。最后,我们提出了一些实用的指导方针,可用于选择基于用户群的特性,网络容量和视频内容的类型的编码参数。
2014-10-16 cs.MM
Streaming Video over HTTP with Consistent Quality
在传统的基于HTTP的自适应流传输(HAS)中,视频源以恒定比特率表示的多个级别进行编码,并且客户端根据测量的网络带宽进行其表示选择。虽然极大地简化了对变化的网络条件的适应,但这种策略并不是优化最终用户体验的视频质量的最佳方法。如果考虑到视频内容的自然变化,则可以减少质量波动。在这项工作中,我们研究了客户端速率自适应算法的设计,以产生一致的视频质量。我们假设客户端在有限的范围内可以看到传入的视频。我们还利用客户端视频缓冲区,将其用作呼吸空间,不仅用于网络带宽变化,还用于视频比特率变化。然而,挑战在于如何平衡这两个可变性,以产生一致的视频质量,而不冒缓冲区欠载的风险。我们提出了一个优化解决方案,使用在线算法来适应视频比特率逐步,而应用动态规划在每一步。我们将我们的解决方案,PANDA -一个实用的速率自适应算法设计的HAS部署规模。
2014-01-21 cs.MM cs.NI
Streaming Video QoE Modeling and Prediction: A Long Short-Term Memory Approach
基于HTTP的自适应视频流由于其可靠的传输和适应不同网络条件的灵活性而成为流行的流选择。然而,由于自适应流传输中的速率自适应,客户端处的视频的质量取决于端到端网络条件而随时间变化。此外,变化的网络条件可能导致视频客户端耗尽回放内容,从而导致重新缓冲事件。这些因素影响用户满意度并导致用户体验质量(QoE)的下降。重要的是量化流式传输视频用户的感知QoE并以连续的方式对其进行监测,以便可以最小化QoE降级。然而,QoE的连续评估是具有挑战性的,因为它是由QoE影响因素之间的复杂动态交互决定的。为此,我们提出了LSTM-QoE,一种基于递归神经网络的QoE预测模型,使用长短期记忆(LSTM)网络。LSTM-QoE是级联LSTM块的网络,用于捕获时变QoE中涉及的非线性和复杂的时间依赖性。基于对几个公开的连续QoE数据库的评估,我们证明了LSTM-QoE具有有效地模拟QoE动态的能力。我们将所提出的模型与最先进的QoE预测模型进行比较,并表明它在这些数据库中提供了卓越的性能。此外,我们讨论了LSTM-QoE的状态空间视角,并显示了QoE预测的状态空间建模方法的功效。
2018-07-18 cs.MM
Price-based Controller for Quality-Fair HTTP Adaptive Streaming (Extended Version)
HTTP自适应流(HAS)已经成为用于因特网上的视频流的通用技术。许多HAS系统设计旨在以速率公平的方式共享网络带宽。然而,速率公平性通常不等同于质量公平性,因为不同的视频序列可能具有不同的特性和资源要求。在这项工作中,我们专注于这一限制,并提出了一种新的控制器HAS客户端,能够达到质量的公平性,同时保持HAS系统的主要特点,并从网络设备的支持有限。特别是,我们采用了基于价格的机制,以建立一个控制器,最大限度地提高聚合视频质量的一组HAS客户端共享一个共同的瓶颈。当网络资源稀缺时,具有简单视频序列的客户端降低所请求的比特率,以有利于订阅更复杂视频序列的用户,从而导致更有效的网络使用。所提出的控制器已在网络模拟器中实现,模拟结果表明它能够以质量公平的方式在HAS用户之间共享可用带宽。
2017-01-05 cs.MM cs.NI
Optimal Representations for Adaptive Streaming in Interactive Multi-View Video Systems
交互式多视图视频流(IMVS)服务允许远程沉浸在3D场景中。这可以通过发送一组参考相机视图(锚视图)来实现,客户端使用这些参考相机视图在场景中自由导航,并可能合成感兴趣的其他视点。从网络的角度来看,IMVS系统的最大挑战是向每个客户端提供最佳的锚视图集,最大限度地提高导航质量,最大限度地减少视图切换延迟,同时满足网络约束。在自由视点系统中集成自适应流媒体解决方案提供了一个有前途的解决方案,部署IMVS在大型和异构的情况下,只要服务器上的多视图视频表示被正确选择。因此,我们建议通过最小化整体资源需求来优化服务器上的多视图数据,同时为不同的用户提供良好的导航质量。我们提出了一个多视图自适应流媒体系统的视频表示集优化,我们表明,它是NP-难的。因此,我们引入了多视图导航段的概念,允许铸造的视频表示集的选择作为一个整数线性规划问题与有限的计算复杂性。然后,我们表明,所提出的解决方案降低了计算复杂性,同时保持最优的3D场景。然后,我们为不同类别的用户提供模拟结果,并显示与推荐的表示集(例如,Netflix和Apple的那些)或基线表示选择算法,其中编码参数是针对所有视图先验决定的。
2016-09-14 cs.MM
TFDASH: A Fairness, Stability, and Efficiency Aware Rate Control Approach for Multiple Clients over DASH
HTTP上的动态自适应流传输(DASH)最近已被广泛部署在互联网中并在行业中被采用。然而,它不施加任何自适应逻辑来选择客户端所请求的视频片段的质量,并且当多个玩家竞争瓶颈链路时,相对于许多期望的属性(效率、稳定性和公平性),它的性能乏善可陈。在本文中,我们提出了一个吞吐量友好的DASH(TFDASH)速率控制方案,用于DASH上的多个客户端的视频流,以很好地平衡效率,稳定性和公平性之间的权衡。保证公平性和高效率(带宽利用率)背后的核心思想是避免在所有客户端的下载过程期间的OFF时段,即,带宽利用率接近100%,处于完全预约或超额预约状态。我们还提出了一个双阈值缓冲模型来解决上述思想所带来的不稳定性问题。因此,通过整合这些新的组件,我们还提出了一个概率驱动的速率自适应逻辑考虑到几个关键因素,最影响视觉质量,包括缓冲区占用,视频播放质量,视频比特率切换频率和幅度,以保证高质量的视频流。我们的实验证明了所提出的方法的优越性能。
2017-11-06 cs.MM cs.NI
A Novel Adaptation Method for HTTP Streaming of VBR Videos over Mobile Networks
最近,HTTP流已经变得非常流行,用于在互联网上传输视频。对于自适应性,提供者应该生成视频的多个版本以及相关的元数据。已经提出了各种自适应方法来支持流客户端应对强带宽变化。然而,大多数现有方法仅针对恒定比特率(CBR)视频。在本文中,我们提出了一种新的方法,在按需流的可变比特率(VBR)视频的质量自适应。为了应对VBR比特率的强烈变化,我们使用本地平均比特率作为版本的代表比特率。然后提出了一种基于缓冲区的算法,以保守地适应视频质量。通过实验,我们表明,我们的方法可以提供质量稳定性以及缓冲区的稳定性,即使在非常强烈的变化的带宽和视频比特率。
2015-11-09 cs.MM
Streaming Persistent 3D Gaussian Proxies for View-Flexible Remote Rendering
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
本文提出通过流式传输3D高斯分布场景表示替代传统2D视频流,提升延迟补偿的视角灵活性和多用户场景建模效率。
2026-11-06 cs.GR cs.MM eess.IV
Optimal Network-Assisted Multi-user DASH Video Streaming
流媒体视频正在成为互联网上的主要流量类型,有报告预测到2019年视频内容将占所有流量的80%。随着对互联网骨干网的大量投资,主要瓶颈仍然存在于边缘服务器(例如,WiFi接入点、小型小区等)。在这项工作中,我们提出并证明了最优的多用户资源分配机制,在边缘服务器上运行,最大限度地减少了视频流由于缓冲区下溢失速的概率。我们提出的策略利用客户端的媒体呈现描述(MPD)文件,该客户端的媒体呈现描述(MPD)文件是按照HTTP上的动态自适应流传输(DASH)协议发送的,以认识到要由客户端显示的每个媒体文件的截止日期。然后,该策略按照截止日期的顺序调度用户。在建立了最优的策略,以尽量减少与固定的损失率的链路的网络的失速概率,该算法的实用性进行了验证,在现实的网络条件下,详细的NS-3模拟。
2017-12-29 cs.MM cs.NI
End-to-End Learning-based Video Streaming Enhancement Pipeline: A Generative AI Approach
Alpen-Adria-Universitaet(阿尔卑斯-亚得里亚大学)
本文提出ELVIS框架,通过端到端学习结合服务器端编码优化与客户端生成填充,提升视频流质量并减少带宽需求。
2025-12-16 cs.AI cs.MM
A User-experience Driven SSIM-Aware Adaptation Approach for DASH Video Streaming
HTTP上的动态自适应流传输(DASH)是大量使用的视频流传输技术。一个关键点是驻留在客户端的适配机制。该机制极大地影响视频流的整体体验质量(QoE)。在本文中,我们提出了一种新的自适应算法,即基于SSIM的自适应(SBA)。该机制是用户体验驱动的:其使用结构相似性指数测量(SSIM)作为主要视频感知质量指标;此外,该适配基于SSIM指标和物理资源(缓冲器占用、带宽)的联合考虑,以便最小化缓冲器饥饿(再缓冲)和视频质量不稳定性,以及最大化整体视频质量(通过SSIM)。为了评估我们的提案的性能,我们使用真实的流量轨迹(在真实的移动网络中捕获)进行了轨迹驱动的仿真。通过主要QoE指标与一些代表性算法(BBA,FESTIVE,OSMF)的比较表明,我们的自适应算法SBA实现了有效的自适应,最大限度地减少了再缓冲和不稳定性,而显示的视频保持在高水平的比特率。
2020-12-10 cs.MM
Estimation of optimal encoding ladders for tiled 360° VR video in adaptive streaming systems
鉴于虚拟现实(VR)需求的显着工业增长,360°视频流是最重要的VR应用之一,需要成本最优的解决方案来实现VR技术的广泛普及。由于数据密集型内容类型的固有可变性及其基于平铺的编码和流传输,360°视频需要自适应流传输系统中的新编码阶梯,以实现成本最优和沉浸式流传输体验。在此背景下,本文针对提供商和客户端的角度,并介绍了一种新的内容感知编码阶梯估计方法的自适应流媒体系统中的平铺360° VR视频。该方法首先根据360°视频编码复杂度的特点对视频进行分类,然后根据提出的失真和资源代价模型估计每个比特率级别的视觉失真和资源代价。然后,通过考虑实际约束条件,使用所提出的整数线性规划(ILP)算法形成最优编码阶梯。所提出的方法的实验结果进行了比较,推荐的专业流媒体服务提供商的编码阶梯。评估表明,所提出的编码阶梯提供更好的结果相比,推荐的编码阶梯的客观质量为360°视频,提供最佳的编码阶梯使用一组服务提供商的约束参数。
2017-11-09 cs.MM
CBA: Contextual Quality Adaptation for Adaptive Bitrate Video Streaming (Extended Version)
质量自适应算法的最新进展使自适应比特率(ABR)流传输架构处于十字路口:当确定可持续的视频质量时,可以依赖于在客户端有利位置收集的信息,也可以依赖于服务器和网络辅助。这里的基本问题是确定这两种信息对适应决策的价值。这个问题在未来的互联网设置中变得特别困难,例如命名数据网络(NDN),其中不存在网络连接的概念。在本文中,我们提供了一个新的观点ABR质量适应QoE最大化,我们正式作为一个决策问题下的不确定性,并为此我们贡献了一个稀疏贝叶斯上下文强盗算法表示CBA。这允许获取高维流上下文信息,包括客户端测量的变量和网络辅助,以在线找到用于质量适配的最有价值的信息。由于稀疏贝叶斯估计是计算昂贵的,我们开发了一个快速的新的推理方案,以支持在线视频自适应。我们进行了广泛的评估,我们的自适应算法在特别具有挑战性的设置NDN,在那里我们使用仿真测试床,以证明CBA的功效相比,国家的最先进的算法。
2019-01-17 cs.MM cs.NI
AutoRec: Accelerating Loss Recovery for Live Streaming in a Multi-Supplier Market
Renmin University of China(中国人民大学);Tencent Technologies(腾讯科技);Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室)
AutoRec通过自适应调整策略减少直播中的恢复延迟,提升客户端体验。
2025-12-19 cs.MM cs.NI eess.IV
Multi-Stream Switching for Interactive Virtual Reality Video Streaming
虚拟现实(VR)视频向佩戴盔装显示器的用户提供沉浸式360度观看体验:当用户旋转他的头部时,呈现360度视频的相应不同视场(FoV)以供观察。通过带宽受限的网络将整个360度视频以高质量从服务器传输到客户端以进行实时播放是一项挑战。在本文中,我们提出了一个多流切换框架的VR视频流:服务器预编码一组VR视频流覆盖不同的视图范围,占服务器-客户端往返时间(RTT)延迟,并在流的服务器发送和切换流根据用户的头部旋转角度检测。对于一个给定的RTT,我们制定了一个优化,以寻求多个VR流的不同的视图范围和头部角度流映射函数同时,以尽量减少预期的失真受到带宽和存储的限制。我们提出了一种交替算法,在每次迭代中,计算最佳流,同时保持映射函数固定,反之亦然。实验结果表明,在相同的带宽下,多流切换方案的PSNR比非切换单流方法高出2.9dB。
2017-03-27 cs.MM cs.NI
Toward Accessible and Safe Live Streaming Using Distributed Content Filtering with MoQ
Baylor University(贝勒大学)
本文扩展 Media over QUIC Transport 协议,通过分布式实时内容分析仅过滤违规视频片段,在低延迟下支持安全可访问的一对多直播。
2025-05-13 cs.CV cs.DC cs.MM
FRAS: Federated Reinforcement Learning empowered Adaptive Point Cloud Video Streaming
点云视频传输由于高编码/解码复杂度、高视频比特率和低延迟要求而具有挑战性。因此,传统的自适应流传输方法经常发现它们不能满足三方面的要求:1)当前的算法重用现有的体验质量(QoE)定义,同时忽略了点云视频的独特特征,因此不能提供最佳的用户体验,2)大多数深度学习方法需要长时间的学习,跨越数据汇集以学习充分变化的网络条件并导致长的训练周期和容量占用,3)云训练方法造成由用户报告的服务使用和联网条件的泄漏引起的隐私风险。为了克服这些限制,我们提出了FRAS,第一个联邦强化学习框架,尽我们所知,自适应点云视频流。我们定义了一个新的QoE模型,它考虑到点云视频的独特功能。每个客户端使用强化学习(RL)来训练视频质量选择,目的是在多个约束下优化用户的QoE。然后,一个联邦学习框架与RL算法相结合,以提高训练性能与隐私保护。使用真实点云视频和网络痕迹进行的大量仿真显示了该方案优于基线方案。我们还实现了一个原型,演示了FRAS的性能,通过现实世界的测试。
2023-01-04 cs.MM
Point Cloud Streaming with Latency-Driven Implicit Adaptation using MoQ
Baylor University(贝勒大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
本研究提出一种基于延迟驱动的隐式适应方法,利用MoQ协议实现点云流媒体的动态质量调整,根据客户端延迟需求自动优化视频质量。
2026-01-21 cs.MM cs.NI
Learning to Predict Streaming Video QoE: Distortions, Rebuffering and Memory
移动流媒体视频数据占无线网络流量的很大比例,并且比例不断增加。现代无线网络的可用带宽通常不稳定,导致难以提供流畅、高质量的视频。Netflix和YouTube等流媒体服务提供商试图通过改变视频比特率来调整其系统以响应于这些带宽限制,或者如果失败,则允许回放中断(重新缓冲)。能够预测由这些调整产生的终端用户的体验质量(QoE)可以导致感知驱动的网络资源分配策略,其将向客户端递送更高质量的流传输内容,同时对于提供商来说是成本有效的。现有的客观QoE模型仅考虑视频质量变化或播放中断对用户QoE的影响。对于流媒体应用,自适应网络策略可能涉及动态比特率分配以及当可用带宽达到非常低的值时的回放中断的组合。为了有效地预测用户QoE,我们提出了时间伪影和失速的视频评估(Video ATLAS):一个机器学习框架,在该框架中,我们结合了许多与QoE相关的特征,包括客观质量特征、拒绝感知特征和记忆驱动特征来进行QoE预测。我们在最近设计的LIVE-Netflix视频QoE数据库上评估了我们基于学习的QoE预测模型,该数据库由实际播放模式组成,其中视频受到质量变化和重新缓冲事件的影响,并发现它提供了改进的性能。所提出的算法在http://live.ece.utexas.edu/research/Quality/VideoATLAS release_v2.rar上公开提供。
2017-03-02 cs.MM
An Optimal SVC Bitstream Schema for Viewport-dependent 360-degree Video Streaming
本文提出基于SVC的码流方案,通过消除GOP对360度视频视口切换的限制,实现一帧时间内的即时切换,并结合分块技术提升打包效率,在延迟、简洁性和编码性能上优于现有MPEG-I OMAF方案。
2023-04-12 cs.MM
Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming
针对多编解码器流媒体传输能耗高的问题,提出MCBE方案,通过移除冗余表示并基于JND最小化感知冗余,结合随机森林预测VMAF,显著降低编码、存储和传输能耗。
2023-10-14 cs.MM
ABE-VVS: Attribute-Based Encrypted Volumetric Video Streaming
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Tennessee Technological University(田纳西科技大学)
提出ABE-VVS框架,通过选择性加密点云坐标实现轻量级DRM,降低计算开销和延迟,实验表明仅加密X坐标可减少50%加密时间和80%解密时间,并实现零缓冲。
2026-06-26 cs.CR cs.MM cs.NI
An Experimental Study of Low-Latency Video Streaming over 5G
针对5G低延迟视频流缺乏真实行为研究的问题,本文通过商用5G网络在静态与移动场景下关联应用层QoE和RAN指标,证明设备侧RAN信息可提升吞吐量估计与抗网络扰动能力。
2024-03-01 cs.MM cs.PF
Adaptive Streaming in Interactive Multiview Video Systems
多视图应用赋予最终用户以最小延迟在3D场景中自由导航的可能性。通过传输多个高质量的摄像机视图,可以实现场景导航的真实感觉,这些视图可以用于合成额外的虚拟视图,以提供平滑的导航。然而,当网络资源有限时,并非所有相机视图都可以以高质量发送。因此,在编码伪影(降低相机视图的质量)和虚拟合成伪影(减少发送给用户的相机视图的数量)之间找到正确的权衡是重要的,但也是具有挑战性的。为此,我们提出了一个最佳的传输策略,交互式多视图HTTP自适应流(HAS)。我们提出了一个问题的制定,以选择最佳的一组相机视图,客户端请求下载,使用户体验到的导航质量得到优化,同时满足带宽约束。我们表明,我们的优化问题是NP难的,因此,我们开发了一个最佳的解决方案的基础上的动态规划算法与多项式时间的复杂性。为了进一步简化部署,我们提出了一个次优的贪心算法,有效的性能和较低的复杂度。所提出的控制器进行评估,其特征在于现实的网络统计估计,缓冲区管理和服务器端表示优化的理论和现实的设置。仿真结果表明,与替代基线多视图自适应逻辑解决方案相比,导航质量有显着改善。
2018-03-26 cs.MM
ECAS-ML: Edge Computing Assisted Adaptation Scheme with Machine Learning for HTTP Adaptive Streaming
随着移动网络中的视频流传输业务的增加,改进内容递送过程变得至关重要,例如,利用边缘计算支持。在边缘节点,我们可以部署自适应比特率(ABR)算法,更好地了解网络行为并访问无线电和播放器指标。在这项工作中,我们提出了ECAS-ML,边缘辅助自适应方案的HTTP自适应流与机器学习。ECAS-ML专注于管理比特率、段切换和停顿之间的权衡,以实现更高的体验质量(QoE)。为此,我们使用机器学习技术来分析无线电吞吐量轨迹并预测算法的最佳参数,以实现更好的性能。实验结果表明,ECAS-ML算法优于其他基于客户端和基于边缘的ABR算法。
2022-01-12 cs.MM cs.NI
QoE-Based Low-Delay Live Streaming Using Throughput Predictions
最近,基于HTTP的自适应流已经成为互联网上视频流的事实标准。它允许客户端根据网络条件动态调整媒体特性,以确保高质量的体验,即最大限度地减少播放中断,同时在合理的质量变化水平下最大限度地提高视频质量。在实时流媒体的情况下,由于延迟约束,该任务变得特别具有挑战性。如果客户端使用无线网络,则挑战进一步增加,其中吞吐量受到相当大的波动的影响。因此,直播流通常表现出高达30秒的延迟。在目前的工作中,我们介绍了一种适应算法的HTTP为基础的实时流称为LOLYPOP(低延迟预测为基础的适应),旨在操作的传输延迟几秒钟。为了实现这一目标,LOLYPOP利用多个时间尺度(从1秒到10秒)上的TCP吞吐量预测,以及预测误差分布的估计。除了满足延迟约束之外,该算法还通过最大化作为跳过的片段和质量转换的数量的函数的平均视频质量来最大化体验质量。为了选择一种有效的预测方法,我们研究了几种时间序列预测方法在IEEE 802.11无线接入网络中的性能。我们评估了LOLYPOP在一个大的实验条件下限制传输延迟为3秒,对一个国家的最先进的适应算法从文献中,称为FESTIVE。我们观察到,平均视频质量比FESTIVE高出3倍。我们还观察到,LOLYPOP能够在体验空间的质量上达到更广泛的区域,从而更好地适应用户简档或服务提供商的要求。
2016-03-04 cs.MM cs.NI
Optimized Preference-Aware Multi-path Video Streaming with Scalable Video Coding
大多数客户端主机配备有多个网络接口(例如,WiFi和蜂窝网络)。多个接口的同时接入可以显著提高视频流中的用户体验质量(QoE)。实现它的一种直观方法是使用多路径TCP(MPTCP)。然而,MPTCP的部署,特别是具有链接偏好的MPTCP的部署,需要在客户端和服务器侧两者处的OS内核更新,并且大量的商业内容提供方不支持MPTCP。因此,在本文中,我们实现了一个多路径的视频流算法,而不是在应用层,通过考虑可伸缩视频编码(SVC),其中每个块的每一层可以从只有一个正交的路径。我们制定的视频块的质量决策取决于不同路径的可用带宽,块的最后期限,和链接偏好作为一个优化问题。目标是优化QoE度量,该QoE度量在最大化每个块的回放速率和确保块之间的公平性之间保持折衷。QoE是以下度量中的加权的一些:跳过/停顿持续时间、平均回放速率和质量切换速率。然而,权重被选择为使得将更多块推送到相同质量水平比任何其他选择更优选。即使制定是一个非凸的离散优化,我们表明,在某些特殊情况下,该问题可以得到最佳解决的多项式复杂性。我们进一步提出了一个在线算法,其中包括带宽预测误差的几个挑战,得到解决。在一个真实的测试平台上进行了大量的仿真实验,真实的公共数据集的痕迹揭示了我们的计划的鲁棒性,并证明了其显着的性能改善相比,其他多路径算法。
2018-06-07 cs.MM cs.NI
HybridPrompt: Bridging Generative Priors and Traditional Codecs for Mobile Streaming
Peking University(北京大学)
HybridPrompt结合生成模型与传统编码器,实现移动设备上高速高质量的视频解码。
2026-02-19 cs.MM eess.IV
Retracing the Flow of the Stream: Investigating Kodi Streaming Services
Kodi是世界上最大的用于观看视频内容的开源流媒体平台之一。轻松安装的Kodi附加组件通过方便用户搜索和查看具有基本技术知识水平的版权视频,方便用户访问在线盗版视频和流媒体内容。在一些国家,有一些有偿的儿童性虐待组织向国际付费客户发布/传播虐待儿童的材料。用于从互联网上观看视频的开源软件,如Kodi,正在被犯罪分子利用来进行活动。在本文中,我们描述了一种新的方法来快速定位科迪文物和收集信息,以成功起诉。我们还在不同的平台上评估我们的方法; Windows,Android和Linux。我们的实验显示了文件的位置,文物和历史的查看内容,包括他们的位置从互联网上。我们的方法将作为法医调查人员检查Kodi或类似流媒体平台的资源。
2020-12-02 cs.CR cs.MM
Video Super-Resolution for Optimized Bitrate and Green Online Streaming
本文提出ViSOR方案,利用视频超分辨率在时延约束下优化编码分辨率,降低码率与能耗,实验显示码率降低24.65%-32.70%,存储和能耗分别减少79.32%和68.21%。
2024-02-05 cs.MM
GenStream: Semantic Streaming Framework for Generative Reconstruction of Human-centric Media
Alpen-Adria-Universitaet(阿尔卑斯-亚得里亚大学)
GenStream提出用骨骼关键点、相机参数和静态3D背景等元数据替代视频帧传输,经生成模型重建,实现99.9%以上带宽压缩,为以人为中心媒体流式传输开辟新方向。
2026-09-17 cs.AI cs.CV cs.MM
Low-latency Cloud-based Volumetric Video Streaming Using Head Motion Prediction
体视频是一种新兴的沉浸式表示3D空间和对象的关键技术。渲染体视频需要大量的计算能力,这对于移动设备来说尤其具有挑战性。为了缓解这一问题,我们开发了一个流媒体系统,该系统在云服务器上渲染来自体积视频的2D视图,并将2D视频流传输到客户端。然而,由于额外的网络和处理延迟,这种基于网络的处理增加了运动到光子(M2P)延迟。为了补偿增加的延迟,预测未来的用户姿势是必要的。我们开发了一种头部运动预测模型,并研究了其在不同前瞻时间下减少M2P延迟的潜力。我们的研究结果表明,所提出的模型减少了M2P延迟所造成的渲染错误相比,基线系统中没有进行预测。
2020-07-16 cs.MM eess.IV
High Quality of Service on Video Streaming in P2P Networks using FST-MDC
视频流应用新近吸引了分发网络中的大量参与者。传统的基于客户端-服务器的视频流解决方案在服务器上维持宝贵的带宽供应率。近来,已经组织了若干P2P流传输系统以在无线网络上以降低的服务器成本提供点播和实况视频流传输服务。对等计算(Peer-to-Peer,P2P)是构建分布式网络应用的一种新模式。典型的差错控制技术不是很好地匹配的,另一方面,对于视频传输,通过无线网络和IP。这两个事实结合在一起,提供了一套新的技术(错误隐藏)的发展,能够处理视频系统中的传输错误的基本动机。在本文中,我们提出了一种灵活的多描述编码方法命名为灵活的时空(FST),提高了错误的弹性在独立路径的帧丢失的可能性。该算法在接收端引入了空域和时域相结合的隐藏技术,更有效地隐藏了丢失的帧。实验结果表明,该方法在P2P无线网络中获得了合理的视频质量性能。
2011-05-27 cs.DC cs.MM
Towards Retina-Quality VR Video Streaming: 15ms Could Save You 80% of Your Bandwidth
当今的虚拟现实系统还不能通过网络流式传输沉浸式、视网膜质量的虚拟现实视频。这一目标的最大挑战之一是以高分辨率和帧速率传输视网膜质量视频帧所需的绝对数据率。最近的工作已经利用了新颖的视注视为条件的视频压缩技术中人类感知的视觉敏锐度的衰减。在本文中,我们表明,减少系统本身的运动到光子的延迟是提高凝视相关压缩的压缩比的关键方法。我们的关键发现是,延迟低于15 ms的客户端和流媒体服务器系统可以实现比传统技术高5倍的压缩,同时使用比以前工作更简单的软件算法。
2021-09-20 cs.GR cs.MM cs.NI
MSPlayer: Multi-Source and multi-Path LeverAged YoutubER
如今,通过移动设备的在线视频流已经变得非常流行。例如,YouTube报告称,在过去两年中,其流向移动设备的流量比例从6%飙升至40%以上。此外,人们不断寻求高质量的视频流以获得更好的体验,同时经常受到有限带宽的影响。得益于内容分发网络(CDN)的快速部署,流行的视频现在可以在不同的站点复制,用户可以以低延迟从附近的位置流式传输视频。由于移动设备如今配备有多个无线接口(例如,WiFi和3G/4G),聚合带宽用于高清视频流已经成为可能。我们提出了一个基于客户端的视频流解决方案,MSPlayer,它利用多个视频源以及通过不同接口的多个网络路径。MSPlayer减少启动延迟,并在移动场景中提供高质量的视频流和强大的数据传输。我们实验证明我们的解决方案在测试平台上,并通过YouTube视频服务。
2014-11-09 cs.MM cs.NI
A Multi-user Oriented Live Free-viewpoint Video Streaming System Based On View Interpolation
Shanghai Jiao Tong University(上海交通大学)
自由视点视频作为沉浸式多媒体服务的一种重要应用形式,通过强交互性为用户提供沉浸式体验。然而,虚拟视图合成算法的计算复杂性对FVV系统的实时性能提出了重大挑战。此外,用户交互的个性化使得传统架构的系统难以同时为多个用户提供服务。本文提出了一种基于CNN的视图插值算法,用于实时的生成稠密虚拟视图。在此基础上,我们还建立了一个端到端的实时自由视点系统与面向多用户的流媒体策略。我们的系统可以利用一个单一的边缘服务器在同一时间服务于多个用户,而不必在客户端带来一个大的视图合成负载。我们分析了整个系统,并表明我们的方法给用户一个愉快的沉浸式体验,在视觉质量和延迟方面。
2021-12-22 cs.CV cs.MM