Characterizing Multimedia Information Environment through Multi-modal Clustering of YouTube Videos
提出融合音频、视频与文本信号的多模态聚类框架,基于160个南中国海YouTube视频识别主题、内容类型及再利用现象,以表征多媒体信息环境。
2024-02-28 cs.MM
Understanding Performance of Edge Content Caching for Mobile Video Streaming
如今的互联网见证了移动视频流的普及,预计到2019年将超过全球移动数据流量的3/4。为了满足大量的移动视频请求,视频服务提供商一直在将其内容交付基础设施推向边缘网络-从区域CDN服务器到对等CDN服务器(例如,用户家中的智能路由器)--缓存内容并为用户提供附近的存储和网络资源。在边缘网络内容缓存范例中,Wi-Fi接入点缓存和蜂窝基站缓存已经成为两种主流解决方案。因此,了解这些解决方案在大规模移动视频传输中的有效性和性能非常重要。然而,在实际的无线网络中,移动视频流的特性和请求模式并不清楚。在本文中,我们使用包含近200万用户的5000万个跟踪项的真实数据集,这些用户在中国的一个大城市使用移动设备观看了超过30万个独特的视频,时间超过2周,不仅要了解移动视频流中的请求模式和用户行为,还要评估基于Wi-Fi和蜂窝的边缘内容缓存解决方案的有效性。为了了解移动视频流的边缘内容缓存的性能,我们首先提出了时间和空间的视频请求模式,我们使用频域和熵分析方法分析其对缓存性能的影响。然后,我们研究了移动视频用户的行为,包括他们的移动性和地理迁移行为。使用跟踪驱动的实验,我们比较了边缘内容缓存的策略,包括LRU和LFU,在支持移动视频请求。此外,我们设计了一个有效的缓存策略的基础上的测量见解和实验评估其性能。
2017-02-24 cs.MM
Video Multimethod Assessment Fusion (VMAF) on 360VR contents
本文介绍了主观实验和随后的分析进行,以验证应用程序的最强大和最有影响力的视频质量指标之一,视频多方法评估融合(VMAF),360 VR内容。VMAF是一个完整的参考指标,最初设计用于传统的2D内容。因此,首先,不能假设其与使用盔装显示器(HMD)来可视化全向内容的场景的特殊性兼容。因此,通过一组完整的测试,我们证明了这个度量可以成功地使用,而无需任何特定的训练或调整,以获得用户实际感知的360 VR序列的质量。
2019-01-18 cs.MM
Multiview Video Compression Using Advanced HEVC Screen Content Coding
Poznań University of Technology(波兹南理工大学)
提出了一种基于屏幕内容编码的多视点视频编码方法。假设在某个时刻,对应于所有视图的帧被打包成单个帧,即,应用帧兼容方法进行多视图编码。对于这样的编码场景,本文证明了屏幕内容编码可以有效地用于多视点视频编码。考虑两种方法:第一种使用标准HEVC屏幕内容编码,第二种使用高级屏幕内容编码。后者是作者的原始提议,其利用四分之一像素运动矢量和HEVC屏幕内容编码的其他非标准扩展。实验结果表明,即使使用标准HEVC屏幕内容编码,多视图视频编码也比联播HEVC编码高效得多。所提出的高级屏幕内容译码提供与MV-HEVC实质上相同的译码效率,MV-HEVC是最先进的多视图视频压缩技术。作者认为,高级屏幕内容编码可以有效地用于新的通用视频编码(VVC)技术。然而,VVC的参考多视图扩展还不存在,因此,对于基于VVC的编码,实验比较留给未来的工作。
2021-06-25 cs.CV cs.MM
Content based video retrieval
Shah & Anchor Kutchhi Polytechnic(沙阿与安克尔库奇理工学院);VJTI(维杰扬德拉·贾瓦哈拉尔·泰克工程技术学院)
基于内容的视频检索是一种方便搜索和浏览万维网上的大型图像集的方法。在这种方法中,视频分析进行低层次的视觉特性提取的视频帧。我们认为,为了建立一个有效的视频检索系统,视觉感知必须考虑。我们认为,采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一说法,基于内容的索引和检索系统实现了使用颜色直方图,各种纹理特征和其他方法。视频存储在Oracle 9i数据库中,用户研究测量响应的正确性。
2012-11-20 cs.CV cs.MM
Multi-modal Representation Learning for Video Advertisement Content Structuring
Sun Yat-sen University(中山大学)
视频广告内容结构化的目的是对给定的视频广告进行分段,并在各个维度上对每个分段进行标记,例如呈现形式、场景和风格。与现实生活中的视频不同,视频广告包含了足够的和有用的多模态内容,如字幕和语音,这提供了关键的视频语义,并将增强结构化过程。在本文中,我们提出了一个多模态编码器学习多模态表示的视频广告之间的视频音频和文本的交互。基于多模态表示,我们然后应用边界匹配网络生成时间建议。为了使提案更准确,我们通过场景引导对齐和重新排名来改进生成的提案。最后,我们将建议定位嵌入到引入的多模态编码器中,以捕获每个建议的局部特征与整个视频的全局特征之间的时间关系,以进行分类。实验结果表明,该方法在ACM Multimedia 2021 Grand Challenge多模态广告视频理解任务中,与多个基线和Rank 1相比,取得了显著的提高。消融研究进一步表明,利用多模态内容,如字幕和语音在视频广告显着提高性能。
2021-09-04 cs.CV cs.MM
Understanding Content Placement Strategies in Smartrouter-based Peer CDN for Video Streaming
近年来出现了一种新的视频分发模式:基于智能路由器的对等视频内容分发网络,它由部署在用户家中的智能路由器实现。ChinaCache(中国最大的CDN提供商之一)和优酷(一家使用智能路由器辅助视频交付的视频提供商)于2015年宣布合作,以创建基于家庭网络资源的内容交付新模式。这种新的模式不同于传统的点对点(P2P)方法,因为数百万的专用智能路由器由集中式视频服务提供商以协调的方式操作。因此,研究基于智能流量计的内容交付系统中使用的内容放置策略及其对内容交付生态系统的潜在影响是有趣的。在本文中,我们对优酷的对等视频CDN进行了测量研究,该CDN已经部署了超过300K的智能流量计设备用于视频传输。在我们的测量研究中,研究了104K视频,并分析了4TB流量,这些流量来自受控的智能路由器节点和播放器。我们的测量见解如下。首先,全局内容复制策略对于对等CDN系统是必不可少的。其次,这种对等CDN部署本身可以形成用于端到端QoS监视的有效子系统,其可以用于细粒度的请求重定向(例如,用户级)和内容复制。我们还展示了我们对性能限制的分析,并对对等CDN系统提出了潜在的改进。
2016-05-26 cs.MM cs.NI
A Survey on Content-Aware Video Analysis for Sports
IEEE(电气与电子工程师协会);Panasonic(松下电器);SAP SE(思爱普公司);Vizrt(Vizrt公司);MLBAM(美国职业棒球大联盟先进媒体公司);Sportvision(Sportvision公司);Brooks Baseball(Brooks Baseball公司);Sportradar(Sportradar公司);Bloomberg(彭博社)
体育数据分析正变得越来越大规模,多样化和共享,但难以快速获取最关键的信息。以往的研究主要集中在从时空的角度对体育视频进行分析,而不是从基于内容的角度进行分析,很少有研究考虑语义。本研究通过研究不同场景下的内容结构,对内容感知的体育视频分析进行了更深入的解释。在此基础上,我们提供了一个概述的主题,特别是相关的内容感知系统的广播体育的研究。具体来说,我们专注于视频内容分析技术应用于体育节目在过去十年中的基本面和一般审查,内容层次模型,趋势和挑战的角度。内容感知的分析方法进行了讨论,相对于对象,事件,和面向上下文的群体。在每一组中,必须使用适当的策略来弥合感觉和内容兴奋之间的差距。在这方面,需要一个内容感知的方法来确定用户的需求。最后,总结了体育视频分析的未来发展趋势和面临的挑战。我们相信,我们的研究结果可以推进广播体育内容感知视频分析的研究领域。
2017-03-03 cs.CV cs.MM
Overview of Screen Content Coding in Recently Developed Video Coding Standards
近年来,包括计算机生成的文本、图形和动画的屏幕内容(SC)视频比以往任何时候都引起了更多的关注,因为许多相关应用变得非常流行。为了解决对这种内容的有效编码的需要,已经专门开发了许多编码工具,并且在编码效率方面取得了很大的进步。在所有最近开发的视频编码标准(即HEVC SCC、VVC、AVS 3、AV 1和EVC)中包含屏幕内容编码(SCC)特征证明了支持这些特征的重要性。本文提供了屏幕内容编码技术的概述和比较研究,与这些标准中开发的工具的性能和复杂性方面的讨论。
2020-11-28 cs.MM eess.IV
VRAG: Region Attention Graphs for Content-Based Video Retrieval
National University of Singapore(新加坡国立大学);Facebook AI(Facebook人工智能)
基于内容的视频检索(CBVR)用于媒体共享平台上的视频推荐和过滤等应用。为了管理可扩展到数十亿视频的数据库,由于其效率,使用固定大小嵌入的视频级方法是首选。在本文中,我们介绍了视频区域注意力图网络(VRAG),它改进了最先进的视频级方法。我们通过区域级特征以更细的粒度表示视频,并通过区域级关系对视频时空动态进行编码。我们的VRAG捕捉区域之间的关系,基于它们的语义内容,通过自我注意和图卷积的排列不变聚合。此外,我们表明,视频级和帧级方法之间的性能差距可以通过分割视频镜头和使用镜头嵌入视频检索。我们评估我们的VRAG在几个视频检索任务,并实现了一个新的国家的最先进的视频级检索。此外,我们的镜头级VRAG表现出更高的检索精度比其他现有的视频级方法,更接近帧级方法的性能,更快的评估速度。最后,我们的代码将公开提供。
2022-05-18 cs.CV cs.MM
Content-Aware Rate Control for Video Transmission with Buffer Constraints in Multipath Networks
多媒体业务是网络业务的重要组成部分,设计健壮的机制为多媒体业务提供服务质量是当前的一个重要问题。本文的主要目标是提供一个有效的解决方案,以支持内容感知的视频传输机制,避免在接收端的缓冲区下溢在多径网络。为此,我们引入了一个内容感知的时变效用函数,其中视频内容的质量影响被纳入其定义。使用建议的效用函数,我们制定了一个多路径动态网络效用最大化(DNUM)的视频流的速率分配问题,其中它考虑到视频流的QoS需求,在缓冲区下溢避免。最后,使用原始-对偶方法,我们提出了一个分布式的解决方案,最佳分配共享带宽的视频流。数值算例表明,所提出的视频源的内容感知速率分配算法在单路径和多路径网络模型的有效性。
2012-08-17 cs.MM cs.NI
XGC-VQA: A unified video quality assessment model for User, Professionally, and Occupationally-Generated Content
随着互联网视频数据量和类型的快速增长,需要一个统一的视频质量评估(VQA)来激励具有感知质量的视频通信。为了满足提供这种灵感的实时性和普遍性要求,本研究提出了一个VQA模型,从用户生成内容(UGC),职业生成内容(PGC)和职业生成内容(OGC)的分类。在时域中,本研究利用非均匀采样,因为每个内容类型具有基于其感知质量的不同时间重要性。在空间域中,通过利用补丁拼接/采样机制在VQA过程之前执行集中式下采样,以降低实时评估的复杂度。实验结果表明,该方法在3种内容类型下,计算时间均小于5 s的情况下,实现了$0.7$的中值相关性,从而保证了UGC、PGC和OGC的传播体验得到了优化。
2023-03-24 cs.MM eess.IV
Shorts on the Rise: Assessing the Effects of YouTube Shorts on Long-Form Video Content
本文通过研究 250 名拥有大量受众的创作者,评估 YouTube Shorts 等短视频对长视频的影响,发现长视频观看次数与互动量均显著下降。
2024-04-08 cs.MM cs.SI
Content Delivery Through Hybrid Architecture in Video on Demand System
为了保证视频内容的流畅、快速传输,P2P网络需要进行结构上的改进。查看器通过代理服务器导入块视频对象。在一个很小的会话时间内,用户请求的巨大增长给VOD系统带来了巨大的负载。这种情况要求代理服务器将视频内容全部或部分地流式传输给观看者。从连接的对等节点导入代理服务器上缺少的块。对等体根据某些块选择策略在它们之间交换块。对等节点在每个时隙期间随机联系另一个对等节点以从缓冲区下载丢失的块。在视频流传输中,当在观看者端需要相关帧时,该帧应该在相应的代理服务器处可用。视频观看者还启动各种类型的交互操作,例如向前移动或跳过某些有限数量的帧,从而在视频点播系统内造成拥堵。为了改善这种情况,它需要一个有效的内容交付机制来实现内容的顺畅传输。提出的混合架构由P2P和网状结构组成,有效地增强了VOD系统中的搜索机制和内容传输。
2019-10-02 cs.MM cs.NI
Content-Based Video Retrieval in Historical Collections of the German Broadcasting Archive
德国广播档案馆(英语:German Broadcasting Archive)保存着前德意志民主共和国(GDR)的广播和电视节目的文化遗产。视频材料的独特性和重要性激发了人们对视频内容的巨大科学兴趣。在本文中,我们提出了一个自动的视频分析和检索系统,在历史上收集的东德电视录音搜索。它包括用于镜头边界检测、概念分类、人物识别、文本识别和相似性搜索的视频分析算法。从技术和档案的角度对该系统的性能进行了评估,记录了2,500小时的东德电视录像。
2017-02-13 cs.DL cs.MM
LSCD: A Large-Scale Screen Content Dataset for Video Compression
Lenovo Research(联想研究院)
针对屏幕内容视频压缩缺乏大规模数据集的问题,本文构建含714个源序列的LSCD,并分析其特征、提供传统与学习方法基准。
2023-08-18 cs.CV cs.MM
AViTExt: Automatic Video Text Extraction, A new Approach for video content indexing Application
在本文中,我们提出了一个时空视频文本检测技术进行两个主要步骤:潜在的文本区域检测和过滤过程。在第一步中,我们动态地将每对连续的视频帧划分成子块,以检测变化。同源块之间的显著差异意味着可能是文本区域的重要对象的出现。然后,时间冗余被用来过滤这些区域,并形成一个有效的文本区域。在各种视频序列上进行的实验显示了我们方法的有效性,获得了89.39%的准确率和90.19的召回率。
2013-01-10 cs.IR cs.MM
Cross-modal Variational Auto-encoder for Content-based Micro-video Background Music Recommendation
本文提出了一种基于内容的微视频背景音乐推荐的跨模态变分自动编码器(CMVAE)。CMVAE是一种分层贝叶斯生成模型,通过将这两个多模态输入投影到共享的低维潜在空间中来将相关背景音乐与微视频进行匹配,其中匹配的视频-音乐对的两个对应嵌入的对齐通过交叉生成来实现。此外,通过专家乘积(PoE)原理融合多模态信息,其中微视频的视觉和文本模态中的语义信息根据它们的方差估计被加权,使得具有较低噪声水平的模态被赋予更多权重。因此,微视频潜变量包含更少的无关信息,从而导致更鲁棒的模型泛化。此外,我们建立了一个大规模的基于内容的微视频背景音乐推荐数据集TT-150 k,由来自不同用户的150,000个微视频相关的大约3,000个不同的背景音乐片段组成。在已建立的TT-150 k数据集上的实验证明了该方法的有效性。还包括通过可视化一些推荐结果对CMVAE进行定性评估。
2022-12-11 cs.IR cs.MM
Improving Content-Aware Video Streaming in Congested Networks with In-Network Computing
网络拥塞和数据包丢失给视频流带来了越来越大的挑战。尽管研究努力使视频编码方案对有损网络条件有弹性,但转发设备尚未考虑监视分组内容以优先化分组并最小化分组丢失对视频传输的影响。在这项工作中,我们主张在网络中的计算采用丢包算法和网络中的硬件模块来设计一个解决方案,用于改善拥塞网络中的内容感知视频流。结果表明,我们的方法可以减少内预测的数据包丢失超过80%,可以忽略不计的资源使用和性能成本。
2022-02-09 cs.AR cs.MM cs.NI
Long Video Diffusion Generation with Segmented Cross-Attention and Content-Rich Video Data Curation
Presto是一种视频扩散模型,通过分段交叉注意力策略和LongTake-HD数据集,生成15秒长视频,在VBench上取得78.5%语义得分和100%动态程度,超越现有方法。
2025-03-29 cs.AI cs.CV cs.MM
The complementarity of a diverse range of deep learning features extracted from video content for video recommendation
University of Pretoria(比勒陀利亚大学);MultiChoice Group(MultiChoice 集团)
随着流媒体的普及,许多视频流媒体服务不断购买新的视频内容,以从中挖掘潜在的利润。因此,必须很好地处理新添加的内容以推荐给合适的用户。在本文中,我们通过探索各种深度学习功能提供视频推荐的潜力来解决新项目冷启动问题。所研究的深度学习特征包括从视频内容捕获视觉外观、音频和运动信息的特征。我们还探讨了不同的融合方法,以评估如何以及这些功能模态可以结合起来,充分利用它们所捕获的互补信息。在真实世界的视频数据集上进行的电影推荐实验表明,深度学习特征的性能优于手工制作的特征。特别是,使用深度学习音频特征和以动作为中心的深度学习特征生成的推荐优于MFCC和最先进的iDT特征。此外,将各种深度学习功能与手工制作的功能和文本元数据相结合,与仅结合前者相比,在推荐方面产生了显着的改进。
2022-01-01 cs.IR cs.LG cs.MM
Strategies for Searching Video Content with Text Queries or Video Examples
Carnegie Mellon University(卡内基梅隆大学);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学);The University of Queensland(昆士兰大学)
每天有大量的用户生成的视频上传到互联网上,这导致了许多商业视频搜索引擎,它们主要依赖于文本元数据进行搜索。然而,用户生成的视频往往缺乏元数据,因此这些视频是无法通过当前的搜索引擎搜索。因此,基于内容的视频检索(CBVR)通过直接分析每个视频的视觉和音频流来解决这个元数据稀缺的问题。CBVR包含多个研究主题,包括低层特征设计,特征融合,语义检测器训练和视频搜索/重新排名。我们在这些主题中提出了新的策略,以提高CBVR在不同的查询输入下的准确性和速度,包括纯文本查询和视频查询的例子。我们提出的策略已被纳入我们提交的TRECVID 2014多媒体事件检测评估,其中我们的系统在文本查询和视频示例查询方面都优于其他提交,从而证明了我们提出的方法的有效性。
2016-06-17 cs.CV cs.IR cs.MM
Prediction of Video Popularity in the Absence of Reliable Data from Video Hosting Services: Utility of Traces Left by Users on the Web
随着用户生成内容的增长,我们观察到搜索引擎、内容聚合器等公司的数量不断上升,因此,为了定位最重要的内容并将其推广给用户,他们面临着估计当前和预测未来内容流行度的需要。在本文中,我们的方法的视频流行度预测的问题,而不是从一个视频托管服务的一面,在所有以前的研究中所做的,但从一个运营公司,它提供了一个流行的视频搜索服务,从不同的视频托管网站聚合的内容。我们调查视频流行度预测的基础上提供了一个典型的运营公司的三个主要来源的功能:第一,内容托管提供商可以通过其API提供其数据,第二,运营公司利用自己的搜索和浏览日志,第三,该公司抓取信息嵌入的视频和链接到一个视频页面从公开的资源在Web上。我们表明,视频流行度预测的基础上的嵌入和链接数据加上内部搜索和浏览数据显着提高视频流行度预测的基础上提供的数据的视频托管,甚至可以充分取代API数据的情况下,当它是部分或完全不可用。
2016-11-28 cs.HC cs.IR cs.MM