Toward One-Second Latency: Evolution of Live Media Streaming
本综述系统梳理直播媒体流从传统高延迟到低延迟的演进，分析延迟来源与协议，介绍低延迟技术使能因素及Twitch挑战发现，为理解低延迟直播流现状与未来提供一站式参考。
2025-03-28 cs.MM cs.NI
Subjective Evaluation of Frame Rate in Bitrate-Constrained Live Streaming
City University of Hong Kong（香港城市大学）；Netflix Inc.（网飞）
本文提出HFR-LS数据集，通过系统调整压缩强度和帧率，研究比特率受限直播中帧率对感知质量的影响，揭示帧率与比特率、源内容的交互作用。
2026-01-27 cs.MM
Privacy-sensitive Objects Pixelation for Live Video Streaming
University of Macau（澳门大学）；vivo AI Lab（vivo人工智能实验室）
随着视频直播的普及，建立一种针对隐私敏感对象的在线像素化方法成为当务之急。由于对隐私敏感对象的检测不准确，简单地将检测跟踪结构迁移到在线形式会导致目标初始化、漂移和过度像素化的问题。为了应对不可避免的，但影响检测问题，我们提出了一种新的隐私敏感的对象像素（PsOP）框架，在直播视频流的自动个人隐私过滤。利用预先训练的检测网络，我们的PsOP可扩展到任何潜在的隐私敏感对象像素。采用嵌入式网络和建议的定位增量亲和传播（PIAP）聚类算法为骨干，我们的PsOP统一的像素的歧视和歧视像素对象通过轨迹生成。除了像素精度的提升，我们建立的流视频数据上的实验表明，所提出的PsOP可以显着降低隐私敏感对象像素化中的过像素化率。
2021-01-03 cs.AI cs.CV cs.MM
Improving Crowdsourced Live Streaming with Aggregated Edge Networks
近年来，用户生成的视频服务急剧增加。在这样的用户生成的视频服务中，众包直播流（例如，Periscope、Twitch）对当今的边缘网络基础设施提出了重大挑战：当今的边缘网络（例如，4G、Wi-Fi）的上行链路容量支持有限，使得通过此类链路进行高比特率直播从根本上是不可能的。在本文中，我们建议让广播公司（即，生成视频的用户）使用来自多个边缘网络的聚集网络资源上传众包视频流。提案中有几个挑战：首先，如何设计一个框架，聚合来自多个边缘网络的带宽？其次，如何让这个框架对今天的众包直播服务透明？第三，如何最大限度地提高整个系统的流媒体质量？我们设计了一个多目标和可部署的带宽聚合系统BASS来解决这些挑战：（1）我们提出了一个对当今众包直播服务透明的聚合框架，使用边缘代理盒和聚合云范例;（2）我们动态分配地理分布的云聚合服务器以启用MPTCP（即，多路径TCP），根据广播公司和原始流媒体服务器的位置和网络特性;（3）通过将流与最佳聚合路径相匹配，最大化整个系统的整体性能增益。
2016-05-29 cs.MM
Content-adaptive Encoder Preset Prediction for Adaptive Live Streaming
在实时流媒体应用中，通常使用一组固定的比特率-分辨率对（称为比特率阶梯）来避免额外的预处理运行时间，以分析每个视频内容的复杂度并确定优化的比特率阶梯。此外，实时编码器使用最快的可用预设进行编码，以确保流媒体中的最小延迟。对于实时编码器，期望编码速度等于视频帧率。优化的编码预设可以导致（i）增加的体验质量（QoE）和（ii）在编码时提高的CPU利用率。针对这种情况，本文提出了一种适用于自适应直播视频流应用的内容自适应编码器预设预测方案（CAPS）。在该方案中，编码器预设是使用离散余弦变换（DCT）的能量为基础的低复杂度的空间和时间特征的每个视频片段，分配给每个编码实例的CPU线程的数量，和目标编码速度。实验结果表明，与使用x265 HEVC开源编码器的HTTP Live Streaming（HLS）比特率阶梯的最快预设编码相比，CAPS在相同比特率下产生0.83 dB PSNR和3.81 VMAF的整体质量改进。这是通过保持所需的编码速度和减少CPU空闲时间来实现的。
2022-10-19 cs.MM
Coffee: Cost-Effective Edge Caching for 360 Degree Live Video Streaming
针对360度直播视频的带宽与成本问题，提出结合FoV预测和瓦片预取的边缘缓存算法Coffee及转码感知变体TransCoffee，显著降低回传流量与流媒体成本。
2024-01-28 cs.MM cs.NI
On Crowdsourced Interactive Live Streaming: A Twitch.TV-Based Measurement Study
在当今用于媒体生成和协作制作的丰富工具的支持下，多媒体服务范例正在从传统的单源、多源、多源，以及现在的{ \em crowdsource}转变。Twitch.tv等众包直播平台允许一般用户向大量观众广播其内容，从而大大扩大内容和用户基础。然而，这些非专业广播公司可用的资源有限且不稳定，这可能会损害流媒体质量和观众体验。广播公司和观众之间的各种现场互动可能会进一步加剧这一问题。在本文中，我们提出了一个初步的调查现代众包直播系统。以Twitch为代表，我们使用抓取的数据和捕获的本地广播公司/观众的流量来概述其内部架构。仔细检查在两个月内收集的访问数据，我们发现，视图模式是由事件和广播公司的来源。我们的测量探索了独特的源和事件驱动的视图，显示了观众侧的当前延迟策略大大影响了观众的交互体验，并且长广播延迟和短实时消息延迟之间存在显着差异。在广播公司方面，动态上传能力是一个关键的挑战，这明显影响了观众直播的流畅性。
2015-02-23 cs.MM
A Hybrid Control Scheme for Adaptive Live Streaming
直播流媒体比点播流媒体更具挑战性，因为除了视频质量和回放中的抖动之间的权衡之外，低延迟也是一个强烈的要求。为了平衡几个内在冲突的性能指标并提高整体体验质量（QoE），已经提出了许多自适应方案。比特率自适应是时变网络条件下视频流的主要解决方案之一，结合自适应播放速率控制和丢帧等延迟控制方法，效果更佳。然而，它仍然是一个具有挑战性的问题，设计一个算法，将这些自适应方案结合在一起。为了解决这个问题，我们提出了一种基于启发式播放速率控制、时延约束比特率控制和面向QOE的自适应丢帧的自适应直播混合控制方案，即HYSA。该方案利用考夫曼的自适应移动平均（KAMA）预测段比特率更好的速率决策。大量的模拟表明，HYSA优于大多数现有的适应计划的整体QoE。
2019-10-14 cs.MM
CS-lol: a Dataset of Viewer Comment with Scene in E-sports Live-streaming
University of Tsukuba（筑波大学）；University of Tokyo（东京大学）；Gunosy Inc.（Gunosy公司）
数十亿直播观众实时分享他们对正在观看的场景的看法，并通过文本评论与活动，评论员以及其他观众互动。因此，有必要探讨电子竞技直播事件中的观众评论。在本文中，我们开发了CS-lol，这是一个新的大规模数据集，包含观众的评论以及电子竞技直播中的游戏场景描述。此外，我们提出了一个任务，即观众评论检索，检索现场直播事件的观众评论。一系列的基线检索方法，从典型的IR评估方法的结果表明，我们的任务是一个具有挑战性的任务。最后，我们将CS-lol和基线实现作为资源发布给研究社区。
2023-01-17 cs.LG cs.MM
fybrrStream: A WebRTC based Efficient and Scalable P2P Live Streaming Platform
对流媒体和实时视频会议的需求正处于高峰期，预计将进一步增长，因此对具有更好质量和更低延迟的低成本流媒体服务的需求至关重要。因此，在本文中，我们提出了一种新的对等（P2P）直播平台，称为fybrrStream，其中逻辑网格和物理树，即，基于混合拓扑方法被用于低等待时间流传输。fybrrStream通过考虑参与对等体的网络带宽、网络延迟和节点稳定性，以分层方式将负载分配到参与对等体上。fybrrStream的成本与托管轻量级网站的成本一样低，性能与现有的最先进的媒体流服务相当。我们使用分布在印度的50多个用户进行了实地实验，对所提出的fybrrStream平台进行了评估和测试，结果显示，与其他方案相比，实时流媒体性能有了显着改善。
2021-05-17 cs.MM cs.NI cs.SI
A 3D Framework for Improving Low-Latency Multi-Channel Live Streaming
提出利用Unity 3D等游戏引擎的3D虚拟环境框架，将多摄像头视频通过虚拟画布合并为单流，有效降低多通道直播延迟并提升交互响应。
2025-04-30 cs.MM
Personal Privacy Protection via Irrelevant Faces Tracking and Pixelation in Video Live Streaming
IEEE
本文提出FPVLS方法，通过帧到视频的双阶段结构实现视频直播中的自动隐私过滤，解决目标漂移、计算效率和过度像素化问题。
2021-01-05 cs.AI cs.CV cs.MM
QoE-driven Coupled Uplink and Downlink Rate Adaptation for 360-degree Video Live Streaming
360-360度视频提供了沉浸式360度观看体验，并且已经在许多领域中被广泛使用。360度视频直播系统涉及捕获、压缩、上行链路（摄像机到视频服务器）和下行链路（视频服务器到用户）传输。然而，很少有研究联合研究这样的复杂系统，特别是在有限的带宽约束下的360度视频流的耦合的上行链路和下行链路的速率自适应。在这封信中，我们提出了一个体验质量（QoE）驱动的360度视频直播系统，其中视频服务器执行速率自适应的基础上，上行链路和下行链路带宽和信息有关的每个用户的实时视野（FOV）。将其转化为一个非线性整数规划问题，提出了一种结合KKT条件和分枝定界法的优化算法，数值结果表明，与其他基准方案相比，该优化模型能显著提高用户的QoE.
2020-01-10 cs.MM
A First Look at Quality of Mobile Live Streaming Experience: the Case of Periscope
来自移动设备的实时多媒体流正在迅速普及，但对它们提供的QoE知之甚少。在本文中，我们将研究Periscope服务。我们首先抓取服务，以了解其使用模式。然后，我们研究了使用的协议，典型的体验质量指标，如播放流畅性和延迟，视频质量，以及Android应用程序的能耗。
2016-10-03 cs.MM cs.NI
Crowdsourced Live Streaming over the Cloud
在当今用于媒体生成和分发的丰富工具以及方便的互联网接入的支持下，众包流媒体通过包括视频频道的大量贡献者来推广单源流媒体范例。它调用了从众包到流媒体服务器到最终用户的路径上的联合优化，以最大限度地减少整体延迟。视频源的动态性、全球化的请求需求以及来自每个源的高计算需求使得众包直播流具有挑战性，即使具有来自现代云计算的强大支持。在本文中，我们提出了一个通用的框架，促进了具有成本效益的云服务的众包直播。通过自适应租赁，云服务器可以以细粒度提供，以适应地理分布的视频众包。针对不同租赁价格的云实例间的服务迁移问题，提出了一种最优的解决方案。它还解决了位置对流式传输质量的影响。为了了解所提出的策略在现实世界中的性能，我们构建了一个在planetlab和Amazon/Microsoft Cloud上运行的原型系统。我们广泛的实验表明，我们的解决方案在部署成本和流媒体质量方面的有效性。
2015-02-23 cs.MM cs.NI
LiveVV: Human-Centered Live Volumetric Video Streaming System
本文提出LiveVV，首个整体的实时体积视频流媒体系统，通过多视角采集、场景分割与重用、自适应传输和渲染，在有限带宽和低延迟下实现24fps、延迟小于350ms的实时流媒体。
2023-10-18 cs.HC cs.MM
When BBR Meets Live Streaming
Renmin University of China（中国人民大学）；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学网络与交换技术全国重点实验室）；Tencent Technologies（腾讯科技）；Shenzhen University（深圳大学）
针对BBR在直播场景中带宽估计不准确导致的问题，提出辅助组件BBR-Copilot通过主动发送额外数据生成精确带宽样本，提升BBR在直播中的性能。
2026-06-02 cs.MM cs.NI eess.IV
Peer-to-Peer Live Streaming and Video On Demand Design Issues and its Challenges
P2P直播和视频点播是近年来互联网上最流行的媒体应用。这些系统减少了服务器上的负载，并提供了可伸缩的内容分发。P2P网络是一种新的协作模式，它在现有网络上构建大型分布式视频应用，但P2P流媒体、直播和视频点播系统的设计问题是相同的。因此，需要进行全面的设计比较，以建立这样的系统架构。因此，在本文中，我们详细研究了传统的P2P流媒体架构的方法，其关键的设计问题，以及实际的挑战。因此，我们在本文中的研究清楚地指出有形的设计问题和挑战，以及其他无形的问题提供P2P视频点播服务。
2011-11-29 cs.MM cs.NI
Towards Hybrid Cloud-assisted Crowdsourced Live Streaming: Measurement and Analysis
众包直播（CLS），最著名的是Twitch.tv，在过去的几年里，其受欢迎程度呈爆炸性增长。在这样的系统中，任何用户都可以现场广播其他人感兴趣的视频内容，从游戏玩家到许多在线观众。为了满足大规模和异构广播公司和观众的需求，已经部署了昂贵的服务器集群来提供视频接收和转码服务。尽管存在非常受欢迎的频道，但相当一部分频道确实不受欢迎。然而，正如我们的测量显示，这些广播公司正在消耗相当大的系统资源;特别是，25%（分别）。30%）的带宽（计算）资源被根本没有任何观众的广播公司使用。在本文中，我们仔细研究了在CLS系统中处理不受欢迎的直播频道的挑战，并提出了一个全面的解决方案，用于混合云上的服务分区。跟踪驱动的评估表明，我们的混合云辅助设计可以智能地将嵌入和转码任务分配给弹性云虚拟机，提供灵活的系统部署，具有成本效益。
2016-08-31 cs.MM
Toward Accessible and Safe Live Streaming Using Distributed Content Filtering with MoQ
Baylor University（贝勒大学）
本文扩展 Media over QUIC Transport 协议，通过分布式实时内容分析仅过滤违规视频片段，在低延迟下支持安全可访问的一对多直播。
2025-05-13 cs.CV cs.DC cs.MM
Towards Low-Latency and Energy-Efficient Hybrid P2P-CDN Live Video Streaming
本文提出一种基于NFV和边缘计算的混合P2P-CDN直播视频流框架，通过多层架构和动作树高效分配视频获取与转码任务，实验证明其有效提升用户QoE、降低延迟并减少边缘服务器能耗。
2024-03-25 cs.MM
Sentence Punctuation for Collaborative Commentary Generation in Esports Live-Streaming
University of Tsukuba（筑波大学）；University of British Columbia（不列颠哥伦比亚大学）；Ritsumeikan University（立命馆大学）
针对电竞直播中协同解说生成存在的句子标点问题，提出了两种游戏解说文本序列的句子标点策略，即用两个或三个由Youtube标注的文本序列对句子进行标点，得到一个完整的解说句子。我们进行了比较实验，利用和微调两种策略和基线之间的最先进的预训练生成语言模型，以生成协作评论。通过自动度量和主观分析的客观评估表明，我们的策略，标点句子由两个文本序列优于基线。
2021-10-24 cs.CL cs.MM
Dynamic resolution switching for live streaming
Amazon Prime Video（亚马逊Prime视频）
本文提出动态分辨率切换框架，通过实时分析用户带宽和交叉区域，优化实时流媒体的分辨率切换，提升流媒体效率和质量。
2026-05-15 cs.MM eess.IV
Congestion Control for P2P Live Streaming
近年来，研究工作试图利用对等（P2P）系统来提供实时流（LS）和视频点播（VoD）服务。大多数这些研究工作集中在开发分布式P2P块交换的参与对等体之间的内容交换和覆盖图（P2P覆盖），互连这些对等体的集合的特性。目前，研究人员试图将对等系统与云基础设施结合起来。他们开发了使用云资源的监控和控制架构，以增强QoS并在稳定性和低成本运营之间实现有吸引力的权衡。然而，缺乏对这些系统的拥塞控制的研究，并且现有的拥塞控制架构不适合P2P实时流传输业务（朝向多个网络位置的小的连续非持久业务）。提出了一种P2P流媒体流量感知的拥塞控制协议，该协议能够管理流向多个网络目的地的连续流量，有效利用可用带宽，精确测量空闲节点资源，避免网络拥塞，对传统TCP生成的流量友好.建议的P2P拥塞控制已实施，测试和评估，通过一系列的实际实验供电的BonFIRE基础设施。
2015-10-11 cs.MM cs.NI
Optimal Transcoding Preset Selection for Live Video Streaming
本文提出一个包含特征提取、预测和整数线性规划优化的直播视频转码框架，通过最优选择预设和比特率，在约束下实现比Twitch默认配置更高的PSNR和更低的BD-rate。
2024-11-21 cs.MM
High-Quality Live Video Streaming via Transcoding Time Prediction and Preset Selection
提出基于学习的视频转码时间预测框架，直接从流头部提取特征，准确预测不同预设的转码时间（MAPE约5.0%），并据此选择最优预设，使直播视频流的PSNR提升最高达5 dB。
2025-07-13 cs.CV cs.MM
A Multimodal Transformer for Live Streaming Highlight Prediction
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；KuaiShou Inc.（快手公司）；CAIR, HK Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）
针对直播高光预测中无未来帧和多模态交互的挑战，提出一种结合历史窗口的多模态Transformer，并引入模态时间对齐模块和边界感知成对损失，利用用户隐式反馈，在真实和公开数据集上超越强基线。
2024-06-15 cs.CV cs.MM
Initial Offset Placement in p2p Live Streaming Systems
本文研究了p2p流媒体系统中的初始偏移放置问题。提出了一种比例布局（PP）方案。在该方案中，对等体将初始偏移量放置为其他参考对等体报告的偏移量，偏移量与该参考对等体的缓冲区宽度或偏移滞后成比例。这将引入一个稳定的布局，支持对等点的较大缓冲区宽度和跟踪器的较小缓冲区宽度。通过测量研究了PPLive中的真实部署布局方法。它表明，而不是基于偏移滞后，放置是基于引用对等体的缓冲区宽度，以促进初始块提取。我们将证明，这样的PP计划可能是不稳定的任意缓冲区占用的参考对等。然后导出所需的平均缓冲区宽度。针对一种基于缓冲区宽度的稳定PP方案，提出了一种简单的好节点选择机制来检查参考节点的缓冲区占用情况
2008-10-12 cs.MM
YTLive: A Dataset of Real-World YouTube Live Streaming Sessions
School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学电气与计算机工程学院）；Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）；Christian Doppler Laboratory ATHENA, Alpen-Adria-Universität Klagenfurt（克拉根福阿尔卑斯-亚得里亚大学ATHENA克里斯蒂安·多普勒实验室）
本研究推出公开数据集YTLive，含超50万条YouTube直播记录，初步分析揭示了直播时长、时段对观众规模的影响，为直播领域研究与系统创新提供数据支撑。
2025-10-24 cs.MM cs.SI
FacebookVideoLive18: A Live Video Streaming Dataset for Streams Metadata and Online Viewers Locations
随着个人智能设备的进步和无处不在的网络连接，用户不再是被动的内容消费者，而是产生新内容的贡献者。直播服务的这种扩展需要对广播公司和观众的行为进行详细分析，以最大限度地提高用户的体验质量（QoE）。在本文中，我们提出了一个从流行的直播平台之一收集的数据集：Facebook。在这个数据集中，我们存储了2018年6月和7月收集的超过1，500，000条直播记录。这些数据包括来自世界各地的公开直播视频。然而，Facebook live API不提供使用其细粒度数据收集在线视频的可能性。API允许获取流的一般数据，只有当我们知道它的ID（标识符）。因此，使用Facebook提供的实时地图网站并显示在线流的位置和观众的位置，我们提取了视频ID和不同的坐标以及一般元数据。然后，拥有这些ID并使用API，我们可以收集可能对研究社区有用的公共视频的细粒度元数据。我们还提出了几个初步的分析来描述和识别的流和观众的模式。这种细粒度的细节将使多媒体社区能够重新创建真实世界的场景，特别是边缘网络中的资源分配、缓存、计算和转码。现有的数据集不提供观看者的位置，这限制了为尽可能接近观看者分配多媒体资源并提供更好的QoE所做的努力。
2020-03-24 cs.MM
A Conditional-Probability-Distribution Model for Bandwidth Estimation with Application in Live Video Streaming
如果视频上传者对未来可用带宽有更准确的了解，则可以改善直播视频流的体验。因为有了这些知识，人们就能够知道在不断变化的网络中应该对帧进行什么大小的编码。研究人员已经开发了一些算法来预测文献中的吞吐量，其中一些算法简单实用。然而，限制仍然存在，因为大多数当前带宽预测方法是预测未来带宽的值或点估计。因为在许多实际场景中，期望将性能控制到一些目标，例如，视频传输速率超过给定的目标百分比，这是通过大多数当前的方法不能容易地实现的。在这项工作中，我们建议使用概率分布来模拟未来的带宽。具体来说，我们使用过去的数据传输测量模型未来的带宽，然后推导出一个概率模型，用于在应用程序中使用。这将应用中参数的选择改变为概率方式，使得从长远来看可以实现给定的目标性能。在我们的模型中，我们使用条件概率方法来关联过去和未来的带宽，从而进一步提高估计性能。
2022-04-16 cs.MM
AutoRec: Accelerating Loss Recovery for Live Streaming in a Multi-Supplier Market
Renmin University of China（中国人民大学）；Tencent Technologies（腾讯科技）；Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
AutoRec通过自适应调整策略减少直播中的恢复延迟，提升客户端体验。
2025-12-19 cs.MM cs.NI eess.IV
Hate Raids on Twitch: Understanding Real-Time Human-Bot Coordinated Attacks in Live Streaming Communities
本研究通过分析 Twitch 子版块讨论，揭示仇恨突袭是人机协同利用直播系统攻击边缘化主播的群体攻击形式，并提出以可供性解释攻击机制、以设计即审核原则缓解滥用的建议。
2023-05-25 cs.HC cs.MM cs.SI
MVP2P: Layer-Dependency-Aware Live MVC Video Streaming over Peer-to-Peer Networks
多视图视频支持从不同视点观察场景。联合视频小组（JVT）开发了H. 264/MVC以提高多视点视频的压缩效率，然而，MVC编码的多视点视频（MVC视频）仍然需要高比特率用于传输。本文研究了基于P2P网络的MVC视频流。其目标是最大限度地减少服务器带宽成本，同时确保高质量的流媒体到同行。MVC采用视图内和视图间预测结构，这导致复杂的层依赖关系。由于在提供所有MVC视频层的同时共享对等体的出站带宽，因此对一个MVC层的带宽分配会影响其他层的可用出站带宽。为了优化利用对等端的出站带宽提供视频层，提出了一种基于最大流的模型，该模型考虑了MVC视频层依赖性和对等端之间的层供应关系。基于该模型，提出了一种基于BitTorrent的P2P网络上的层依赖性感知的MVC视频流传输方法MVP 2 P。MVP 2 P的关键部分包括接收节点的块调度策略和节点选择策略，以及提供节点的带宽调度算法。为了评估所提出的解决方案的效率，MVP 2 P与现有的方法相比，考虑到对等带宽，对等数量，视图切换率和对等端流失的约束。测试结果表明，MVP 2 P算法的性能明显优于现有的方法。
2018-04-16 cs.MM cs.NI
Design and Implementation of Online Live Streaming System Using A 3D Engine
本文提出利用Unity 3D等3D引擎将多路视频映射到虚拟画布并经单通道低延迟传输，设计实现了含RTSP、WebSocket、HTTP、MySQL、Redis和Nginx的可扩展直播系统。
2024-09-10 cs.MM cs.NI
A Multi-user Oriented Live Free-viewpoint Video Streaming System Based On View Interpolation
Shanghai Jiao Tong University（上海交通大学）
自由视点视频作为沉浸式多媒体服务的一种重要应用形式，通过强交互性为用户提供沉浸式体验。然而，虚拟视图合成算法的计算复杂性对FVV系统的实时性能提出了重大挑战。此外，用户交互的个性化使得传统架构的系统难以同时为多个用户提供服务。本文提出了一种基于CNN的视图插值算法，用于实时的生成稠密虚拟视图。在此基础上，我们还建立了一个端到端的实时自由视点系统与面向多用户的流媒体策略。我们的系统可以利用一个单一的边缘服务器在同一时间服务于多个用户，而不必在客户端带来一个大的视图合成负载。我们分析了整个系统，并表明我们的方法给用户一个愉快的沉浸式体验，在视觉质量和延迟方面。
2021-12-22 cs.CV cs.MM
QoE-Based Low-Delay Live Streaming Using Throughput Predictions
最近，基于HTTP的自适应流已经成为互联网上视频流的事实标准。它允许客户端根据网络条件动态调整媒体特性，以确保高质量的体验，即最大限度地减少播放中断，同时在合理的质量变化水平下最大限度地提高视频质量。在实时流媒体的情况下，由于延迟约束，该任务变得特别具有挑战性。如果客户端使用无线网络，则挑战进一步增加，其中吞吐量受到相当大的波动的影响。因此，直播流通常表现出高达30秒的延迟。在目前的工作中，我们介绍了一种适应算法的HTTP为基础的实时流称为LOLYPOP（低延迟预测为基础的适应），旨在操作的传输延迟几秒钟。为了实现这一目标，LOLYPOP利用多个时间尺度（从1秒到10秒）上的TCP吞吐量预测，以及预测误差分布的估计。除了满足延迟约束之外，该算法还通过最大化作为跳过的片段和质量转换的数量的函数的平均视频质量来最大化体验质量。为了选择一种有效的预测方法，我们研究了几种时间序列预测方法在IEEE 802.11无线接入网络中的性能。我们评估了LOLYPOP在一个大的实验条件下限制传输延迟为3秒，对一个国家的最先进的适应算法从文献中，称为FESTIVE。我们观察到，平均视频质量比FESTIVE高出3倍。我们还观察到，LOLYPOP能够在体验空间的质量上达到更广泛的区域，从而更好地适应用户简档或服务提供商的要求。
2016-03-04 cs.MM cs.NI
An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Comsats Institute of Information Technology（COMSATS信息技术学院）
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源，同时通过实时传送和为所有观众提供适当的表示来最大化服务质量（QoS）是一个具有挑战性的问题。在我们的论文中，我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点，考虑延迟和质量约束，以保证最大的QoS观众和最小的成本为内容提供方。首先，我们提出了一个离线优化，决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次，我们使用机器学习来构建预测模型，该模型可以提前预测每个云站点要保留的近似转码资源。最后，我们开发了一个贪婪的最近和Chestion算法（GNCA）执行的资源分配的实时广播视频租用的资源。大量的模拟表明，GNCA优于众包直播流媒体的最先进的资源分配方法，在系统成本方面实现了超过20%的增益，同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
Robust Live Streaming over LEO Satellite Constellations: Measurement, Analysis, and Handover-Aware Adaptation
本文针对低地球轨道卫星网络中直播因频繁切换导致卡顿的问题，提出轻量级中间件SARA，通过调节播放速度并为ABR算法提供网络洞察，显著减少重新缓冲并略微改善延迟。
2025-08-18 cs.MM eess.IV
Optimal Quality and Efficiency in Adaptive Live Streaming with JND-Aware Low latency Encoding
针对HTTP自适应直播流编码质量与效率优化问题，提出JND感知低延迟编码方案JALE，通过随机森林模型联合优化编码器预设与线程数，在维持编码速度的同时显著提升画质并降低存储、CPU用量与编码时间。
2024-01-27 cs.MM
Optimizing Mobile-Friendly Viewport Prediction for Live 360-Degree Video Streaming
本文提出低开销的移动友好型MFVP视口预测方法，并结合基于MAML的显著性网络训练与码率自适应，显著提升360度直播预测精度和QoE。
2024-03-05 cs.MM eess.IV
CliqueStream: an efficient and fault-resilient live streaming network on a clustered peer-to-peer overlay
在最近的对等流媒体文献中，已经提出了几种基于叠加的实时多媒体流媒体平台。在大多数情况下，为了覆盖的鲁棒性，随机选择覆盖邻居。然而，这会导致底层物理网络中距离较远的节点成为邻居，因此数据在到达目的地之前会传输不必要的距离。为了提高多媒体流等大量数据传输的效率，覆盖邻域应该类似于底层网络中的邻近度。在本文中，我们利用最近提出的一个基于集群的覆盖网络，名为eQuus的邻近和冗余属性，建立高效和强大的覆盖多媒体流传播。为了结合树结构覆盖上的内容推送的效率和数据驱动的网格覆盖的鲁棒性，在树结构中组织更高容量的稳定节点以承载长距离业务，并且在局部网格中组织具有间歇性存在的不太稳定的节点。文中详细介绍了覆盖图的构造和故障恢复过程。仿真研究表明该平台具有良好的局部性。分析表明，故障恢复机制引起的中断时间和控制开销是最小的。
2009-03-26 cs.DC cs.MM cs.NI
Field Test of 5G New Radio (NR) UL-MIMO and UL-256QAM for HD Live-Streaming
Waseda University（早稻田大学）
本文通过商业5G网络测试UL-MIMO和UL-256QAM在HD直播中的性能，评估其对实时应用的影响及频谱效率。
2025-11-25 cs.MM cs.NI eess.IV
The Statistical Analysis of the Live TV Bit Rate
本文研究了电视频道流可变比特率分布和分配的统计性质。本文的目标是推导出最适合的速率分布来描述电视流媒体带宽分配，它可以反映用户的流量需求。我们的分析使用多路复用器的13个电视直播频道的频道带宽分配（PID）数据。我们应用17个连续分布和3个离散分布来确定每个通道和整个通道组的最佳拟合分布函数。我们发现，广义极值分布拟合大多数我们的渠道最精确的贝叶斯信息准则。按照同样的标准，位置和规模的分布对整个系统来说是最匹配的.我们使用这些结果提出流服务器排队模型的参数。研究结果对流媒体服务器调度策略设计过程中的CDN、SDN动态路由流量工程等具有一定的参考价值。
2019-07-17 cs.MM cs.NI eess.IV
Simple Countermeasures to Mitigate the Effect of Pollution Attack in Network Coding Based Peer-to-Peer Live Streaming
基于网络编码的对等流媒体是一种有效的解决方案，以聚合用户容量和提高系统吞吐量的实时多媒体流。尽管如此，这样的系统容易受到污染攻击，其中少数恶意对等体可以通过传输几个伪造的数据包来破坏通信，然后由不知情的诚实节点重新组合和中继，进一步在网络上传播污染。鉴于以往的研究主要集中在恶意节点识别方案和污染弹性编码，在本文中，我们提出了污染对策，使一个标准的网络编码方案弹性污染攻击。由于一个简单而有效的分析模型的参考节点收集数据包的恶意和诚实的邻居，我们证明，i）收到较早的数据包不太可能被污染和ii）短代增加恢复一个干净的一代的可能性。因此，我们提出了一种重组方案，节点绘制数据包进行重组，根据他们的年龄在输入队列中，配对的解码方案，能够检测到接收污染的数据包早在解码过程中和短世代。我们的方法的有效性进行了实验评估，在一个真实的系统，我们开发和部署在数百到数千个同行。实验证据表明，由于我们简单的对策，污染攻击的影响几乎被取消，同行体验到的视频质量与攻击前的水平相当。
2017-07-24 cs.MM cs.NI
Palantir: Towards Efficient Super Resolution for Ultra-high-definition Live Streaming
School of Software, Tsinghua University（清华大学软件学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Global Innovation Exchange, Tsinghua University（清华大学全球创新交流中心）；School of Computing Science, Simon Fraser University（Simon Fraser大学计算机科学系）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory, China（鹏城实验室）；RISC-V International Open Source Laboratory, China（RISC-V国际开源实验室）
针对超高清直播中SR DNN推理开销大的问题，提出首个细粒度块级调度的神经增强系统Palantir，通过构建DAG进行轻量准确的SR质量估计并重构计算子程序提升并行性，在保证视频质量的同时大幅降低推理开销且调度延迟极低。
2024-08-31 cs.AI cs.CV cs.MM
Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Video Avatar Generation
Hong Kong University of Science and Technology（香港科技大学）；Vivix Group Limited（Vivix集团有限公司）
本研究提出Omni-LiveAvatar框架，通过渐进式自回归蒸馏等技术，实现分钟级实时流式视听联动数字人生成，速度较LTX-2提升33倍且性能优于基线模型。
2026-08-18 cs.CV cs.MM cs.SD
Evaluation of Hardware-based Video Encoders on Modern GPUs for UHD Live-Streaming
Waseda University（早稻田大学）
本文评估了现代GPU上硬件视频编码器在UHD实时直播中的性能，比较了不同GPU和SoC的编码效率与能耗，发现硬件编码器在实时场景中能匹配软件性能，但不同代际间性能提升有限。
2025-11-24 cs.AR cs.MM eess.IV
QoE-Aware Resource Allocation for Crowdsourced Live Streaming: A Machine Learning Approach
Qatar University（卡塔尔大学）
在个人设备的巨大技术进步和无线移动网络接入的普及的驱动下，世界见证了众包直播流媒体的爆炸式增长。确保更好的观众体验质量（QoE）是最大化观众数量和增加流媒体提供商利润的关键。这可以通过倡导地理分布式云基础设施来实现，以尽可能接近观众分配多媒体资源，以最大限度地减少访问延迟和视频停顿。此外，预先分配确切的所需资源避免了过度供应，过度供应可能导致服务提供商的显著成本。相反，供应不足可能会对观众造成重大延迟。在本文中，我们介绍了一个预测驱动的资源分配框架，以最大限度地提高观众的QoE和最小化的资源分配成本。首先，通过利用我们独特的数据集中可用的观众位置，我们实现了一个机器学习模型来预测每个地理分布的云站点附近的观众数量。其次，基于预测结果显示接近实际值，我们制定了一个优化问题，主动分配资源的观众接近。此外，我们将提出一个折衷之间的视频访问延迟和资源分配的成本。
2019-06-20 cs.DC cs.HC cs.LG
Collaborative P2P Streaming of Interactive Live Free Viewpoint Video
我们研究了一个互动的直播场景，多个同行拉流相同的免费视点视频同步的时间，但不一定在视图。在自由视点视频中，每个用户可以周期性地在两个锚定相机视图之间选择虚拟视图以用于显示。通过基于深度图像的渲染（DIBR），使用锚视图的纹理和深度视频来合成虚拟视图。通常，虚拟视图的失真随着到锚视图的距离而增加，因此对等体选择最接近的锚视图用于合成是有益的。另一方面，如果对不同虚拟视图感兴趣的对等体愿意在使用更远的锚视图时容忍更大的失真，则它们可以共同分担共同锚视图的访问成本。在给定锚视图访问代价和锚视图间虚拟视图的综合失真的情况下，研究了协作节点锚视图分配的优化问题。我们首先表明，如果由于视图切换的网络重构成本可以忽略不计，该问题可以在多项式时间内使用动态规划最优解决。然后，我们考虑不可忽略的重新配置成本的情况（例如，导致锚视图改变的大的或频繁的视图切换）。在这种情况下，视图分配问题成为NP难的。因此，我们提出了一个局部最优和集中式分配算法的启发劳埃德算法在非均匀标量量化。我们还提出了一个分布式算法，保证收敛，每个对等组独立地进行合并和分裂的决定与一个定义良好的公平性标准。结果表明，根据不同的问题设置，我们提出的算法实现各自的最佳和接近最佳的总成本方面的性能，并优于P2P计划没有协作锚点选择。
2012-11-20 cs.MM
Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation
Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）；Baidu（百度）
本文提出Hallo-Live框架，通过异步双流扩散与人类中心偏好蒸馏实现高保真实时音频视频虚拟形象生成，达到高吞吐量与低延迟，优于现有模型。
2026-04-26 cs.CV cs.MM cs.SD
A Review on P2P Video Streaming
本文的主要目的是提供一个基于P2P的视频点播和流媒体直播服务的概述。本文首先介绍了媒体流及其简化的架构。讨论了在互联网广泛使用的背景下提供视频流的各种解决方案。然后简要介绍了P2P网络及其应用。本章主要讨论了各种P2P流媒体方案和P2P流媒体应用。最后，简要讨论了P2P视频流的安全问题和解决方案。
2013-04-04 cs.MM cs.NI
Video Quality Assessment for Resolution Cross-Over in Live Sports
针对自适应流媒体中分辨率交叉切换预测不准确的问题，提出新指标RCQL衡量质量损失，并构建直播场景数据集LSCO，证明成对比较方法优于ACR。
2025-04-01 cs.MM
Content-Adaptive Variable Framerate Encoding Scheme for Green Live Streaming
本文提出内容自适应可变帧率（CVFR）编码方案，通过预测优化帧率和预设，在相同码率下提升PSNR和VMAF，并显著降低编码与存储能耗，适用于绿色直播流媒体。
2023-11-14 cs.MM
