An Algorithm for Index Multimedia Data (Video) using the Movement Oriented Method for Real-time Online Services
多媒体数据是一种可以表示所有类型的数据(图像,声音和文本)的数据形式。对于使用多媒体数据的在线应用来说,在存储介质的使用、排序/索引、检索和系统/数据检索等方面都需要一个比较全面的数据库。为了帮助提供者和用户在线访问多媒体数据,这是必要的。使用索引图像作为参考的系统需要存储介质,以便规则和需要特殊的专业知识来获得所需的文件。将多媒体数据转换为一系列文本形式的故事/故事板将有助于减少媒体存储、系统索引/排序和搜索应用程序的消耗。定向运动是一种正在开发的将多媒体数据的形式改变为故事板的方法。
2010-03-16 cs.IR cs.MM
ACM Multimedia Grand Challenge on Detecting Cheapfakes
Cheapfake是最近创造的一个术语,包括对多媒体内容的非人工智能(“廉价”)操作。Cheapfakes比Deepfakes更普遍。Cheapfake媒体可以使用编辑软件进行图像/视频操作,甚至不使用任何软件,通过简单地改变图像/视频的上下文,通过共享媒体以及误导性的声明来创建。这种上下文的改变被称为媒体的上下文外(OOC)误用。OOC媒体比假媒体更难检测,因为图像和视频没有被篡改。在这个挑战中,我们专注于检测OOC图像,更具体地说,是在新闻条目中滥用具有冲突图像标题的真实照片。这项挑战的目的是开发和基准模型,可用于检测给定的样本(新闻图像和相关标题)是否是OOC,基于最近编译的COSMOS数据集。
2022-07-29 cs.MM
Tutoring System for Dance Learning
与图形显示、音频和视频设备相关的硬件复杂性的最新进展使得大量的多媒体和超媒体应用可用。这些多媒体应用程序需要存储和检索不同形式的媒体,如文本,超文本,图形,静态图像,动画,音频和视频。舞蹈是一个民族重要的文化形式之一,舞蹈视频就是这样一种多媒体形式。从这些舞蹈媒体集合中检索和检索所需的语义是一个至关重要且要求苛刻的多媒体应用程序。本文总结了不同的舞蹈视频存档技术和系统。关键词:多媒体,文化媒体,元数据存档和检索系统,MPEG-7,XML。
2010-01-04 cs.IR cs.MM
Soft Delivery: Survey on A New Paradigm for Wireless and Mobile Multimedia Streaming
对视频流服务的日益增长的需求是现代无线和移动通信的关键驱动力。对于通过无线和移动网络可靠且高质量地交付视频内容,主要挑战是通过不稳定且多样化的信道环境向单个和多个用户发送图像和视频信号。为此,许多研究设计了基于数字的视频传输方案,其主要由一系列基于数字的编码和传输方案组成。虽然基于数字的方案在预先知道信道特性时表现良好,但是由于波动的信道特性,经常发生显著的质量劣化,称为悬崖效应(cliff effect)和水平效应(leveling effect)。为了防止悬崖和平整效应,而不管每个用户的信道特性,无线和移动视频流的新范例已经被提出。软传递方案跳过量化和熵以及信道编码的数字操作,而直接将功率分配的频域系数映射到传输符号上。这种修改是基于这样的事实,即由于通信噪声引起的像素失真与噪声的幅度成比例,导致适度的质量改善,其中质量根据无线信道质量逐渐改善,而没有任何悬崖和平整效应。在这里,我们提出了一个全面的总结软交付计划。
2021-11-16 cs.MM
Detection Bank: An Object Detection Based Video Representation for Multimedia Event Recognition
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
虽然低级别的图像特征已被证明是有效的表示视觉识别任务,如对象识别和场景分类,他们是不够的,以捕捉复杂的语义需要解决高级别的视觉任务,如多媒体事件检测和识别。如果在视频序列中检测到特定的有区别的对象,则可以改进事件和活动的识别或检索。在本文中,我们提出了一种图像表示,称为检测银行,从大量的窗口对象检测器的检测图像的基础上,图像表示来自这些检测的不同统计。通过均值池化和最大池化聚合关键帧级图像表示,将该表示扩展到视频。我们的经验表明,它捕获的补充信息,以国家的最先进的表示,如空间金字塔匹配和对象银行。这些描述符与我们的检测库表示相结合,在TRECVID MED 2011数据上显着优于任何单独的表示。
2014-06-14 cs.CV cs.MM
Identity-Driven Multimedia Forgery Detection via Reference Assistance
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(复旦大学计算机科学与技术学院);CEC GienTech Technology Co.,Ltd.(上海国家数字视听工程技术研究中心吉恩特科技有限公司)
针对现有媒体伪造数据集的局限,提出含54位名人视频的IDForge数据集,设计参考辅助多模态伪造检测网络R-MFDN,实验验证其在多媒体伪造检测任务的有效性。
2026-09-01 cs.MM
A Distributed Multimedia Communication System and its Applications to E-Learning
在本文中,我们报告了一个多媒体通信系统,包括一个VCoIP(视频会议IP)软件与分布式架构及其应用程序的教学场景。它是一个简单的,随时可用的方案,用于分布式呈现,记录和流媒体内容。我们还介绍和调查的概念和实验IPv6用户和会话的移动性,特别关注实时视频组通信。
2005-04-28 cs.MM cs.NI
System Analysis And Design For Multimedia Retrieval Systems
VJTI(维瓦拉尔·尼赫鲁理工学院)
由于信息技术的广泛使用和多媒体系统的最新发展,用户可用的多媒体数据量呈指数级增长。视频是多媒体数据的一个例子,因为它包含几种数据,如文本、图像、元数据、视觉和音频。基于内容的视频检索是一种方便在WWW上搜索和浏览大量多媒体集合的方法。为了建立一个有效的视频检索系统,必须考虑视觉感知。我们认为,采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一点,实现了基于内容的索引和检索系统,使用颜色直方图,纹理特征(GLCM),边缘密度和运动。
2013-12-31 cs.CV cs.IR cs.MM
Block Erasure-Aware Semantic Multimedia Compression via JSCC Autoencoder
Nokia Bell Labs(诺基亚贝尔实验室)
本文提出了一种基于JSCC自编码器的语义多媒体压缩框架,通过联合源信道编码实现可靠语义重建和渐进式质量退化,适用于带限时变信道下的多媒体传输。
2026-01-28 cs.MM
Control of Multiple Remote Servers for Quality-Fair Delivery of Multimedia Contents
本文提出了一种控制方案的质量公平交付的几个编码视频流的移动用户共享一个共同的无线资源。视频质量公平性以及类似的传输延迟是流之间的目标。建议的控制器内实现的一些聚合器位于网络的瓶颈附近。基于聚合器中已经编码和缓冲的分组的质量来适配流之间的传输速率。编码速率目标由聚合器评估并反馈到每个远程视频服务器(完全集中式解决方案),或者由每个服务器以分布式方式直接评估(部分分布式解决方案)。基于聚合器中的对应缓冲器水平或缓冲延迟,针对每个流独立地调整每个编码速率目标。服务器和聚合器之间的通信延迟被考虑在内。传输和编码速率控制问题的控制理论的角度进行了研究。该系统描述了一个多输入多输出模型。比例积分(PI)控制器用于调整视频质量并控制聚合器缓冲器水平。研究了系统的平衡和稳定性。这为PI控制器参数的选择提供了指导。实验结果表明,所提出的控制系统的收敛性,并证明了改进的视频质量公平性相比,一个经典的传输速率公平的流媒体解决方案和实用程序的最大-最小公平的方法。
2014-01-24 cs.MM
Multimedia Distribution Process Tracking for Android and iOS
本文提出一种多媒体取证方法,通过分析智能手机拍摄的图像和视频经11款即时通讯软件和2款安全通讯软件在Android与iOS上传输时变化的媒体信息,追踪分发痕迹并确定分发路径。
2023-04-07 cs.MM
MMTB: Evaluating Terminal Agents on Multimedia-File Tasks
GSAI, POSTECH(POSTECH 人工智能研究所);CSE, POSTECH(POSTECH 计算科学与工程系);National AI Research Lab(国家人工智能研究实验室);Krafton AI(Krafton 人工智能)
本文提出MMTB基准,评估终端代理处理音频和视频文件的能力,引入Terminus-MM工具扩展功能,揭示多媒体访问对任务结果的影响。
2026-05-08 cs.AI cs.MM
Nagare Media Engine: A System for Cloud- and Edge-Native Network-based Multimedia Workflows
University of Münster(明斯特大学)
Nagare媒体引擎是一种基于网络的开源多媒体工作流系统,基于ISO/IEC 23090-8标准,利用Kubernetes平台提供云和边缘原生解决方案。
2026-03-01 cs.MM
A review on Machine Learning based User-Centric Multimedia Streaming Techniques
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);INRIA(法国国家信息与自动化研究院)
本文综述了基于机器学习的以用户为中心的多媒体流传输技术,重点涵盖整体与连续时变QoE建模、传统及360°视频的自适应流传输策略、相关数据集以及当前不足与开放挑战。
2024-11-24 cs.AI cs.LG cs.MM
Comparative Studies of Unsupervised and Supervised Learning Methods based on Multimedia Applications
IEEE Computational Intelligence Society(IEEE计算智能学会);Institute of Electrical and Electronics Engineers(电气和电子工程师协会);Blekinge Institute of Technology(布莱金厄理工学院)
在移动通信领域,一些视频应用促进了对视频质量评估的鲁棒性方法的兴趣。在所有现有的方法中,我们首选,无参考视频质量评估是在参考视频的便捷性部分可用的情况下最需要的方法。我们的研究兴趣在于制定和融合有效的功能到一个模型的基础上,人类的可视化特性。我们的工作探讨了监督学习和无监督学习方法之间的比较研究。因此,我们实现了支持向量回归算法NR为基础的视频质量度量(VQM)的质量估计与简化的输入功能。我们的结论是,我们提出的模型表现出稀疏性,即使在降维后的SSIM质量指标的客观分数。
2023-03-04 cs.CV cs.MM
Triple Attention Network architecture for MovieQA
电影问答,或MovieQA是一个多媒体相关的任务,其中一个提供了视频,字幕信息,问题和候选答案。该任务是预测正确的答案,使用多媒体的组成部分,即视频/图像,音频和文本的问题。传统上,MovieQA是使用多媒体的图像和文本组件完成的。在本文中,我们提出了一种新的网络与三重注意力架构,包括音频的电影QA任务。这种架构是在传统的只关注视频和文本的双重注意力网络之后形成的。实验表明,包括音频使用三重注意网络的结果提供了补充信息的电影QA任务,这是没有捕获的视觉或文本组件的数据。对各种音频特征的实验表明,相对于只使用视觉特征,使用这样的网络确实可以将MovieQA的性能提高约7%。
2021-11-18 cs.MM
Visual Semantic Multimedia Event Model for Complex Event Detection in Video Streams
Lero-Irish Software Research Centre(Lero爱尔兰软件研究中心);National University of Ireland Galway(爱尔兰国立高威大学)
多媒体数据是高度表达性的,传统上机器很难解释。诸如复杂事件处理(CEP)之类的中间件系统从数据流中挖掘模式,并及时向用户发送通知。目前,CEP系统由于其数据复杂性和缺乏底层结构化数据模型而具有处理多媒体流的固有限制。在这项工作中,我们提出了一个视觉事件规范的方法,使复杂的多媒体事件处理,通过创建一个语义知识表示来自低级别的媒体流。该方法使得能够使用模式检测能力的集合来从媒体流中检测高级语义概念。语义模型与多媒体CEP引擎深度学习模型一致,以使最终用户能够灵活地使用时空事件演算来构建规则。这增强了CEP从媒体流中检测模式的能力,并弥合了以知识为中心的高表达性用户查询与多媒体数据的低级特征之间的语义差距。我们已经建立了一个小型的交通事件本体原型验证的方法和性能。本文的贡献是三个方面:i)我们提出了一个多媒体流的知识图谱表示,ii)一个分层的事件网络来检测来自媒体流的视觉模式和iii)使用事件演算定义复杂的多媒体事件推理的复杂模式规则
2020-09-30 cs.AI cs.DB cs.MM
MHMS: Multimodal Hierarchical Multimedia Summarization
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
具有多模态输出的多媒体摘要可以在现实世界的应用中发挥重要作用,即,自动生成新闻文章的封面图像和标题,或为在线视频提供介绍。在这项工作中,我们提出了一个多模态层次多媒体摘要(MHMS)框架,通过交互视觉和语言域生成视频和文本摘要。我们的MHMS方法包含视频和文本分割和摘要模块,分别。它制定了一个跨域对齐的目标与最佳的传输距离,利用跨域的相互作用,以产生代表性的关键帧和文本摘要。我们在最近的三个多模态数据集上评估了MHMS,并证明了我们的方法在生成高质量多模态摘要方面的有效性。
2022-04-07 cs.CL cs.CV cs.MM
Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
提出基于反应-扩散过程的多模态融合框架RDMF,通过模拟生物模式形成机制实现视频与文本的动态对齐,用于视频时刻检索与高亮检测。
2026-06-01 cs.CV cs.MM
NoisyActions2M: A Multimedia Dataset for Video Understanding from Noisy Labels
Indraprastha Institute of Information Technology Delhi(英迪拉普拉斯塔信息技术学院德里分校);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);National Institute of Technology Jamshedpur(詹谢普尔国家理工学院);University of Central Florida(中佛罗里达大学)
深度学习在广泛的问题上都表现出了显著的进步。然而,对此类模型的有效训练需要大规模的数据集,并且为此类数据集获取注释可能具有挑战性且成本高昂。在这项工作中,我们探索使用用户生成的免费提供的标签从网络视频的视频理解。我们创建了一个基准数据集,其中包含大约200万个视频,以及相关的用户生成的注释和其他Meta信息。我们利用收集到的数据集进行动作分类,并证明了它的实用性与现有的小规模注释数据集,UCF 101和HMDB 51。我们研究了不同的损失函数和两种预训练策略,简单和自监督学习。我们还展示了在建议的数据集上预训练的网络如何有助于防止下游数据集中的视频损坏和标签噪声。我们将其作为视频理解噪声学习的基准数据集。数据集,代码和训练模型将公开用于未来的研究。
2021-10-13 cs.CV cs.LG cs.MM
A Methodology for Implementation of MMS Client on Embedded Platforms
MMS(Multimedia Messaging Service)是多媒体移动通信中的下一代消息服务。MMS支持从客户端到客户端或从电子邮件发送包含图像、音频、视频、文本和数据的完整多媒体内容的消息。MMS是基于WAP技术的,因此具有技术独立性.这意味着能够将来自GSM/GPRS网络的消息发送到TDMA或WCDMA网络。本文介绍了一种在嵌入式平台特别是Wince操作系统上实现MMS客户端的方法。
2014-03-17 cs.MM
Be-Educated: Multimedia Learning through 3D Animation
多媒体学习工具和技术在教育领域的重要性越来越大。借助多媒体学习,可以方便、快捷地解释和教授各种复杂的现象和理论。该项目旨在教导和传播教育的重要性,并尊重教育工具:笔,纸,铅笔,橡皮。为了实现这种认知学习,使用多媒体学习的原理开发了3D动画电影,其中3D卡通人物类似于实际的教育对象,其中建筑物也被建模为类似于真实的书籍和日记。对于这些角色的建模和动画,在3D Studio Max中使用多边形网格工具。此外,视频和音频的最终合成是在adobe premiere中完成的。这个3D动画视频旨在强调教育和固定的重要性。电影的寓意是,不要浪费你的文具材料,把你的笔和纸用在它们的用途上。要成为一个好公民,你必须接受教育,为此你需要赋予笔价值。最终渲染和合成的3D动画视频反映了这一寓意,并以非常生动的视觉效果描绘了预期的信息
2018-02-19 cs.GR cs.MM
Affective Computing for Large-Scale Heterogeneous Multimedia Data: A Survey
University of California, Berkeley(加州大学伯克利分校);University of Science and Technology of China(中国科学技术大学);University of Southern California(南加州大学);IBM Research AI(IBM人工智能研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
数字摄影和社交网络的广泛流行已经产生了快速增长的多媒体数据量(即,图像、音乐和视频),导致对管理、检索和理解这些数据的巨大需求。这些数据的情感计算(AC)可以帮助理解人类行为并实现广泛的应用。本文对大规模异构多媒体数据的访问控制技术进行了全面的综述。我们首先介绍了在AC中广泛使用的典型心理学情绪表征模型。我们简要介绍了可用的数据集评估AC算法。然后,我们总结和比较了不同多媒体类型的AC的代表性方法,即,图像、音乐、视频和多模态数据,重点关注基于手工特征的方法和深度学习方法。最后,我们讨论了多媒体情感计算的一些挑战和未来的发展方向。
2019-10-03 cs.CV cs.MM
A Decade of Research for Image Compression In Multimedia Laboratory
University of Alberta(阿尔伯塔大学)
随着技术的进步,我们拥有处理能力高、价格实惠的超级计算机。此外,使用多媒体扩展到世界各地。这导致了图像和视频在不同领域的大量使用。由于这类数据包含大量信息,因此需要使用压缩方法来更好、更快地存储、管理或传输它们。一个有效的技术,这是介绍了可变分辨率。该技术刺激人类视觉,将图像中的区域分为两个不同的部分,包括需要更多细节的感兴趣区域和细节较少的外围部分。这导致更好的压缩。可变分辨率用于图像、视频和3D运动数据压缩。本文探讨了上述技术和其他一些研究在这方面。
2021-04-06 cs.CV cs.MM
A Dataset and Benchmarks for Multimedia Social Analysis
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个新的公开数据集,其目标是通过在同一背景下提供视觉和语言数据来推进多模态学习。这是通过从社交媒体网站获取数据来实现的,该社交媒体网站具有包含多个配对图像/视频和文本的帖子,以及包含图像/视频和/或文本的评论树。通过总共67.7万个帖子、290万个帖子图像、48.8万个帖子视频、140万个评论图像、460万个评论视频和9690万个评论,来自不同模态的数据可以联合用于提高各种任务的性能,例如图像描述、图像分类、下一帧预测、情感分析和语言建模。我们为我们的数据集提供了广泛的统计数据。最后,我们使用预先训练的模型和几个完全连接的网络为其中一个回归任务提供了基线性能分析。
2020-06-05 cs.CL cs.CV cs.MM
A Tutorial of the Mobile Multimedia Wireless Sensor Network OMNeT++ Framework
在这项工作中,我们将给出一个详细的教程说明如何使用移动多媒体无线传感器网络(M3WSN)的仿真框架。M3WSN框架已在第六届OMNeT++国际研讨会(2013年)上作为科学论文发表。M3WSN框架实现了真实视频序列的多媒体传输。因此,可以通过使用QoE度量来评估一组多媒体算法、协议和服务。此外,关键的视频相关信息,如帧类型、GoP长度和帧内依赖性,可以用于创建新的评估和优化解决方案。为了支持移动性,M3WSN利用不同的移动性跟踪,使网络如何在移动情况下的行为的理解。本教程将介绍如何安装和配置M3WSN框架,设置和运行实验,创建移动和视频跟踪,以及如何评估不同协议的性能。本教程将在Ubuntu 12.04 LTS和OMNeT++ 4.2的环境中给出。
2015-09-11 cs.MM cs.NI cs.PF
VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the Edge for the Internet of Multimedia Things
National University of Ireland Galway(爱尔兰国立大学高威分校)
高效的视频处理是许多IoMT应用中检测感兴趣事件的关键组件。目前,在事件处理中已经提出了许多窗口优化技术,其基本假设是输入流具有结构化数据模型。由于缺乏任何底层结构化数据模型,视频非常复杂。视频流源(如CCTV摄像头和智能手机)是资源受限的边缘节点。同时,视频内容提取成本高昂,需要计算密集型深度神经网络(DNN)模型,这些模型主要部署在高端(或云)节点。本文介绍了VID-WIN,一种自适应的2阶段联合窗口方法,用于在边缘云范例中加速视频事件分析。VID-WIN在边缘和云节点上运行数据库,并为基于状态的复杂事件匹配执行查询和资源感知优化。VID-WIN利用视频内容和DNN输入旋钮来加速跨节点的视频推理过程。提出了一种新的基于内容驱动的微批量缓存、查询感知缓存和资源受限边缘节点下视频帧的效用过滤策略,以提高系统的整体吞吐量、延迟和网络利用率。在五个真实世界的数据集进行了广泛的评估。实验结果表明,VID-WIN视频事件匹配在保持查询级准确性和资源限制的同时,与其他基线相比,吞吐量提高了约2.3倍,延迟最小,带宽减少了约99%。
2021-04-27 cs.CV cs.DC cs.MM
Streaming Multimedia Information Using the Features of the DVB-S Card
本文提出了一种研究的音频视频流使用的DVB-S卡的额外的可能性。用于实验的板(Technisat SkyStar 2)是用于此目的的最常用卡之一。使用主板的软件支持的主要模块,可以实现一个真正有用和功能齐全的音频视频流系统。流传输可以针对解码的MPEG流或针对传输流来实现。在最后一种情况下,不仅可以观看节目,而且可以观看来自同一多路复用的任何节目。这使我们能够实现
2011-05-04 cs.CV cs.MM
Comparing affective responses to standardized pictures and videos: A study report
多媒体文件,如文本,图像,声音或视频引起不同的极性和强度的情绪反应暴露在人类受试者。这些刺激存储在情感多媒体数据库中。情绪处理问题是人机交互以及心理学、神经科学等多学科交叉研究中的重要课题。准确预测用户的注意力和情感具有许多实际应用,例如情感计算机界面、多方面搜索引擎、视频点播、互联网通信和视频游戏的开发。在这方面,我们提出了一项研究的结果,N=10名参与者调查的能力,标准化的情感多媒体数据库的情感刺激。每个参与者都暴露在图片和视频刺激与先前确定的语义和情感。在暴露过程中,参与者的生理信号被记录下来,并在离线分析中估计情绪。参与者在每次曝光后报告他们的情绪状态。对后验和先验情绪值进行了比较。实验表明,在其他报告的结果中,精心设计的视频序列比图片引起更强烈和更准确的情绪反应。个体参与者的差异极大地影响了体验情绪的强度和极性。
2017-06-30 cs.HC cs.MM
An Efficient Transport Protocol for delivery of Multimedia An Efficient Transport Protocol for delivery of Multimedia Content in Wireless Grids
网格计算系统是为了有效地解决复杂的科学和商业问题而设计的,而移动计算是一种传统的分布式系统,具有移动计算能力,采用无线通信方式。媒体和娱乐领域可以通过在游戏应用程序和多媒体数据管理中应用其用法来利用这两种范例。多媒体数据必须以高效和有效的方式存储和检索才能投入使用。本文提出了一种在无线网格中传输多媒体数据的应用层协议,即多媒体网格协议(MMGP)。为了使流式传输更有效,设计了一种称为dWave的新的视频压缩算法,并将其嵌入到所提出的协议中。该协议将在无线网格环境中提供更快、更可靠的访问,并在传输多媒体时提供不可感知的QoS,并解决了具有挑战性的问题,如i)间歇性连接,ii)设备异构性,iii)弱安全性和iv)设备移动性。
2013-08-11 cs.MM cs.NI
Authentication and integrity of smartphone videos through multimedia container structure analysis
Universidad Complutense de Madrid (UCM)(马德里康普顿斯大学)
本文提出一种基于多媒体容器结构分析的新技术,通过分析移动设备生成的MP4、MOV和3GP视频容器结构及其在分享或篡改时的行为,验证视频完整性、识别采集来源并区分原始与被篡改视频。
2024-02-05 cs.CR cs.LG cs.MM
On Attention Modules for Audio-Visual Synchronization
Center for Research in Computer Vision (CRCV)(计算机视觉研究中心(CRCV));University of Central Florida(中佛罗里达大学);Netflix, Inc(奈飞公司)
随着媒体和网络技术的发展,从电影院设置中的特征呈现到视频点播到交互式视频会议的多媒体应用的需求很大。音频和视频模态之间的良好同步是定义多媒体演示质量的关键因素。多媒体演示的音频和视频信号通常由独立的工作流程管理-它们通常单独创作,处理,存储甚至交付给播放系统。这打开了两种模态之间的时间错位的可能性-这种趋势在制作内容(例如电影)的情况下通常更明显。为了判断多媒体演示的音频和视频信号是否同步,我们作为人类经常密切关注视频的有区别的时空块(例如,使嘴唇运动与话语同步,或者使弹跳球在其撞击地面的时刻的声音同步)。同时,我们忽略了视频中不存在区别性声音的大部分(例如电影中播放的背景音乐)。受此观察的启发,我们研究利用注意力模块自动检测视听同步。我们提出了基于神经网络的注意力模块,能够根据视频的不同部分(时空块)各自的区分能力对其进行加权。我们的实验表明,将注意力模块产生最先进的结果的视听同步分类问题。
2018-12-14 cs.CV cs.LG cs.MM
A Case Study on Video Color Transfer: Exploring User Motivations, Expectations, and Satisfaction
多媒体和创意软件产品正被用于编辑和控制创意媒体实践的各种要素。如今,移动多媒体设备的技术支持和高速5G互联网接入的出现意味着这些功能更简单,更容易被移动应用程序利用。在本文中,使用一个原型应用程序,我们讨论了如何激励这种技术的潜在用户使用视频监控应用程序,并探讨用户的期望和满意度在这个过程中发挥的作用。通过探索这个主题,并专注于人机交互,我们发现,颜色转移的互动是由几个内在的动机,用户的期望和满意度评级可以保持通过清晰的可视化过程进行。此外,我们揭示了特定的语言,用户使用的沟通时,关于用户的动机,期望和满意度的视频广告。这项研究提供了重要的信息,国家的最先进的通信过程的开发人员,并有助于在实践中的移动多媒体技术的用户周围的对话。
2020-07-17 cs.HC cs.MM eess.IV
LSCD: A Large-Scale Screen Content Dataset for Video Compression
Lenovo Research(联想研究院)
针对屏幕内容视频压缩缺乏大规模数据集的问题,本文构建含714个源序列的LSCD,并分析其特征、提供传统与学习方法基准。
2023-08-18 cs.CV cs.MM
Perceptual Visual Quality Assessment: Principles, Methods, and Future Directions
Cardiff University(卡迪夫大学);University of Klagenfurt(克拉根福大学);Shanghai Jiao Tong University(上海交通大学);University of Nantes(南特大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文综述了感知视觉质量评估(PVQA)的原理与方法,涵盖主观与客观评估技术,介绍了图像、视频、沉浸式多媒体及生成式AI内容的质量预测器,并探讨了未来研究方向。
2025-03-01 cs.CV cs.GR cs.MM
LUST: A Multi-Modal Framework with Hierarchical LLM-based Scoring for Learned Thematic Significance Tracking in Multimedia Content
AImotion Bavaria Technische Hochschule Ingolstadt(巴伐利亚AImotion技术大学)
本文提出LUST多模态框架,利用分层两阶段LLM评分机制,结合视觉与ASR文本信息,量化视频片段与用户主题描述的相关性,实现时间感知的显著性跟踪。
2025-08-06 cs.AI cs.MM
Proposed Video Encryption Algorithm v/s Other Existing Algorithms: A Comparative Study
保护多媒体数据的安全已经变得至关重要,特别是在与军事目的相关的应用中。随着计算机技术和网络技术的发展,多媒体资料已成为军事训练最便捷的手段。提出了一种新的H.264压缩视频加密算法,以实现高机密视频的安全交换。为了在安全性和计算时间之间保持平衡,所提出的算法将视频帧与音频一起混洗,然后使用AES来选择性地加密敏感的视频码字。使用这种方法可以防止未经授权的视频文件的查看,因此这种算法提供了高级别的安全性。通过与现有算法的比较研究,证明了该算法的有效性。
2013-03-14 cs.CR cs.MM
FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis
Department of Informatics \& Telecommunications National;Kapodistrian University of Athens Athens, Greece
提出一种基于最优停止理论和基础模型(如ViT和SAM)的语义感知运动估计框架,通过融合语义注意力分数与失真度量实现自适应停止,在降低计算量的同时保持精度和语义覆盖。
2026-05-22 cs.CV cs.MM
User Digital Twin-Driven Video Streaming for Customized Preferences and Adaptive Transcoding
本研究提出融合用户数字孪生与传统视频流系统的新方法,通过机器学习持续更新用户数字孪生以指导自适应转码,在提升内容个性化的同时降低带宽占用、优化播放质量,推动用户-centric多媒体服务发展。
2025-08-01 cs.MM cs.NI
Large Language Model Based Multi-Agent System Augmented Complex Event Processing Pipeline for Internet of Multimedia Things
University of Oulu(奥卢大学);University of Helsinki(赫尔辛基大学)
本文提出并评估了一种基于大语言模型的多智能体系统框架,结合Autogen与Kafka实现自主复杂事件处理流水线,用于视频查询处理,并通过实验揭示了智能体数量、视频复杂度与延迟及叙事一致性之间的权衡关系。
2025-01-03 cs.AI cs.MA cs.MM
Resource Allocation Frameworks for Network-coded Layered Multimedia Multicast Services
移动内容的爆炸式增长,如视频流到移动设备,推动了对多媒体广播和组播方案的研究。已经提出了多速率传输策略作为向经历不同下行链路信道条件的用户递送分层服务的手段。在本文中,我们考虑点到多点分层服务交付在一个通用的蜂窝系统,并通过应用不同的随机线性网络编码的方法来改善它。我们推导出数据包错误概率的表达式,并使用它们作为性能指标的制定资源分配框架。这些框架的目的是传输方案的优化和每个下行链路信道上的广播分组的数量的最小化,同时向预定比例的用户提供服务保证。作为一个案例的研究,我们提出的框架,然后适应LTE-A标准和eMBMS技术。我们专注于提供基于H.264/SVC标准的视频服务,并展示了分层网络编码在多速率传输中的优势。此外,我们建立的网络编码技术和资源分配方法的选择起着至关重要的作用,对网络的足迹,每个接收到的视频层的质量。
2014-11-20 cs.IT cs.MM cs.NI
A Cloud Platform-as-a-Service for Multimedia Conferencing Service Provisioning
多媒体会议是多方之间实时交换多媒体内容。它是广泛应用的基础(例如,多媒体多人游戏)。这些应用程序所依赖的基于云的会议服务配置将带来诸多好处,例如轻松的服务配置和弹性可扩展性。然而,这仍然是一个巨大的挑战。本文提出了一种用于会议服务提供的PaaS。所提出的PaaS基于最先进的业务模型。它依赖于会议IaaS,而不是VM,提供会议基底(例如,拨入信令、视频混合器和音频混合器)。PaaS支持动态地从底层组成新会议。这已经在本文中原型化,为了评估它,会议IaaS也实施。还进行了性能测量。
2016-05-01 cs.DC cs.MM cs.NI
UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文提出统一无参考质量评估模型UNQA,通过多模态联合训练策略和模态回归模块,实现对音频、图像、视频及视听内容的单一模型质量评估,提升了特征鲁棒性并降低了部署成本。
2024-07-29 cs.MM cs.SD eess.AS
Advance Fake Video Detection via Vision Transformers
University of Trento(特伦托大学);Truebees srl(Truebees有限公司)
本文提出基于Vision Transformer的框架,通过随时间整合ViT嵌入来检测伪造视频,在多个开源和专有数据集上展现出高准确率、泛化能力和少样本学习能力。
2025-04-29 cs.AI cs.CV cs.MM
A Survey of Information Disorder on Video-Sharing Platforms
University of Maryland(马里兰大学)
本文综述了视频共享平台中信息紊乱的研究,分析了其类型、方法论及平台特性,并指出了未来研究的挑战与问题。
2025-10-22 cs.CY cs.MM
Interactive Digital Learning Materials for Kindergarten Students in Bangladesh
随着通信技术的普及,教学法发生了变化,有必要为儿童开发互动学习材料,以提高他们的学习,捕捉和记忆能力。也许,科技时代最重要的创新之一就是多媒体及其应用。为孩子们创造高质量、真实的学习环境势在必行。交互式学习材料可以更容易理解和处理他们的第一次学习。我们使用多媒体应用工具为Playgroup开发了一些互动学习材料,形式为视频。本研究探讨学生透过互动学习材料获得新知识或技能的能力。我们访问了一所幼儿园(幼儿园),采访了班主任,了解他们的教学方法和学生识别英文字母、图片等的能力。该视频包括英文字母与相关的单词和图片,以及激励性的乐趣。我们注意到,几乎所有的孩子都非常有兴趣与他们的学习视频互动。学生们被单独评估,并被要求识别字母和图片。学生们很快就适应了他们的第一个字母。然而,他们的认知发展存在个体差异。这种交互式多媒体可以替代传统的教学法,用于教学游戏组。
2014-11-08 cs.CY cs.MM
GRCN: Graph-Refined Convolutional Network for Multimedia Recommendation with Implicit Feedback
将用户的隐式反馈重新组织为用户-项目交互图,有利于图卷积网络(GCN)在推荐任务中的应用。在交互图中,用户和项目节点之间的边作为GCN的主要元素来执行信息传播并生成信息表示。然而,一个潜在的挑战在于交互图的质量,因为观察到的与不太感兴趣的项目的交互发生在隐式反馈中(例如,用户意外地观看微视频)。这意味着与这种假阳性边缘相关的邻域将受到负面影响,并且用户偏好的信号可能受到严重污染。然而,现有的基于GCN的推荐模型留下这样的挑战,探索,导致次优的表示和性能。在这项工作中,我们专注于自适应地细化交互图的结构,以发现和修剪潜在的假阳性边缘。为此,我们设计了一个新的基于GCN的推荐模型,\emph{Graph-Refined Convolutional Network}(GRCN),它调整交互图的结构自适应的基础上的状态模型的训练,而不是保持固定的结构。特别地,图细化层被设计为以假阳性交互的高置信度来识别噪声边缘,并且因此以软方式修剪它们。然后,我们在细化的图上应用图卷积层,以提取关于用户偏好的信息信号。通过在三个微视频推荐数据集上的大量实验,验证了GRCN的合理性和有效性。进一步的深入分析展示了改进的图如何有益于基于GCN的推荐模型。
2021-11-03 cs.IR cs.MM
Hysia: Serving DNN-Based Video-to-Retail Applications in Cloud
Nanyang Technological University(南洋理工大学);Indeed Inc.(Indeed公司);Singapore Management University(新加坡管理大学)
结合\underline{v}视频流和在线\underline{r}电子邮件(V2 R)最近已经成为一种增长的趋势。在本文中,我们为多媒体领域的从业者和研究人员提供了一个名为Hysia的基于云的平台,用于轻松开发和部署V2 R应用程序。该系统包括:1)后端基础设施,提供优化的V2 R相关服务,包括数据引擎、模型存储库、模型服务和内容匹配;以及2)应用层,实现快速V2 R应用原型。Hysia通过以下方式满足大规模多媒体的行业和学术需求:1)无缝集成最先进的库,包括NVIDIA视频SDK、Facebook faiss和gRPC; 2)有效利用GPU计算; 3)允许开发人员轻松绑定新模型,以满足快速变化的深度学习(DL)技术。在此基础上,我们实现了一个协调器,以进一步优化DL模型服务性能。Hysia已在GitHub上作为开源项目发布,并引起了相当大的关注。我们已经将Hysia作为官方镜像发布到DockerHub,以便在当前云环境中进行无缝集成和部署。
2020-06-09 cs.DC cs.LG cs.MM
SynthGuard: An Open Platform for Detecting AI-Generated Multimedia with Multimodal LLMs
针对现有AI生成多媒体检测工具闭源、模态受限、缺乏透明度等问题,本文推出开放平台SynthGuard,结合传统检测器与MLLMs提供可解释的多模态检测分析服务。
2025-11-16 cs.AI cs.MM cs.SD