Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近，已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而，这些服务带来了新的挑战，因为必须对大量数据进行索引/搜索，而且需要尽量缩短最终用户观察到的响应时间。此外，这些用户与系统动态交互，导致查询请求率波动，需要搜索算法进行调整，以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战，我们引入hypercurves，一个灵活的框架，回答近似k-最近邻（kNN）查询非常大的多媒体数据库，针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行，并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间，它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比，其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比，动态工作分区机制将观察到的查询响应时间减少了约50%。此外，Hypercurves在分布式（多节点）执行中实现了超线性可扩展性，同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明，这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Heterogeneous component interactions: Sensors integration into multimedia applications
资源受限的嵌入式和移动设备正变得越来越普遍。近年来，出现了一些移动和无处不在的设备，如无线传感器，能够感知他们的物理环境。这样的设备使得能够根据上下文演变提出适应用户需求的应用。它意味着传感器和软件组件的协作，这些组件的性质和通信机制不同。本文提出了一个统一的组件模型，以方便地设计基于软件组件和传感器的应用程序，而不照顾他们的性质。然后，它提出了一个国家的技术水平的通信问题的异构组件，并提出了一种交互机制，确保无线传感器和软件组件之间的信息交换。
2008-12-16 cs.MM
Kalinahia: Considering Quality of Service to Design and Execute Distributed Multimedia Applications
信息系统目前面临的挑战之一是在分布式和普适环境中保证半结构化数据传输，如多媒体数据。信息系统必须保证用户的服务质量，确保数据的可访问性，无论硬件和网络条件如何。它们还必须保证信息的一致性，特别是要求服务个性化的可理解性。在此框架内，我们提出了一种设计方法的基础上的原始模型的多媒体应用和服务质量。我们还使用以用户为中心的启发式定义了一个监督平台Kalinahia，允许我们在任何时候定义软件组件的配置构成了用户在服务方面的愿望的最佳答案。
2008-12-13 cs.MM
A Survey on Web Multimedia Mining
数字媒体技术的现代发展使得传输和存储大量的多/富媒体数据（例如，文本、图像、音乐、视频及其组合）比以往任何时候都更加可行和负担得起。然而，处理、挖掘和管理这些富媒体的最新技术仍处于起步阶段。多媒体采集和存储技术的快速发展导致了数据库中存储的数据量的快速增长。如果对这些多媒体文件进行分析，可以揭示对用户有用的信息。多媒体挖掘处理提取隐含的知识，多媒体数据关系，或其他模式没有明确存储在多媒体文件。此外，在检索，索引和分类的多媒体数据与有效的信息融合的不同形式是必不可少的系统的整体性能。本文的目的是提供一个系统的概述多媒体挖掘。本文还介绍了多媒体挖掘的应用过程组件中的问题，以及多媒体挖掘模型。
2011-09-06 cs.MM
From Digital Television to Internet?
本文提供了一个多媒体家庭平台（MHP）规范的一般技术概述。MHP是数字应用程序和用户机器之间的通用接口，无论它们是机顶盒、数字电视机还是多媒体PC。MHP扩展了DVB开放标准。解决的是MHP架构，系统核心和MHP配置文件。
2004-09-30 cs.CY cs.MM
Validating Multimedia Content Moderation Software via Semantic Fusion
The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Semantic Fusion方法及其工具DUO，通过融合多模态输入构造有毒内容来验证多媒体内容审核软件，测试中实现高达100%的错误发现率，并能通过重训练提升模型鲁棒性。
2023-05-23 cs.AI cs.CL cs.CV
A Multimedia Framework for Continuum Robots: Systematic, Computational, and Control Perspectives
Graduate Institute of Architecture（建筑研究所）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对连续体机器人开发缺乏集成框架的问题，本文提出一种整合系统架构、动力学计算与控制策略的统一多媒体框架，可提升开发效率与质量。
2024-10-06 cs.MM cs.RO
CliqueStream: an efficient and fault-resilient live streaming network on a clustered peer-to-peer overlay
在最近的对等流媒体文献中，已经提出了几种基于叠加的实时多媒体流媒体平台。在大多数情况下，为了覆盖的鲁棒性，随机选择覆盖邻居。然而，这会导致底层物理网络中距离较远的节点成为邻居，因此数据在到达目的地之前会传输不必要的距离。为了提高多媒体流等大量数据传输的效率，覆盖邻域应该类似于底层网络中的邻近度。在本文中，我们利用最近提出的一个基于集群的覆盖网络，名为eQuus的邻近和冗余属性，建立高效和强大的覆盖多媒体流传播。为了结合树结构覆盖上的内容推送的效率和数据驱动的网格覆盖的鲁棒性，在树结构中组织更高容量的稳定节点以承载长距离业务，并且在局部网格中组织具有间歇性存在的不太稳定的节点。文中详细介绍了覆盖图的构造和故障恢复过程。仿真研究表明该平台具有良好的局部性。分析表明，故障恢复机制引起的中断时间和控制开销是最小的。
2009-03-26 cs.DC cs.MM cs.NI
An Efficient Approach for Geo-Multimedia Cross-Modal Retrieval
由于移动互联网技术、云计算的快速发展以及在线社交网络和基于位置的服务的普及，产生了大量的具有地理信息的多媒体数据并将其上传到互联网。本文提出了一种新的跨模态多媒体检索技术，即地理多媒体跨模态检索，它的目标是根据地理距离、相似度和语义相似度，检索出一组地理多媒体对象。以前的研究跨模态检索和空间关键字搜索不能有效地解决这个问题，因为他们没有考虑多媒体数据与地理标签，不专注于这种类型的查询。为了有效地解决这一问题，本文首次提出了$k$ NN地理多媒体跨模态查询的定义，并引入了跨模态语义表示空间等相关概念。为了弥合不同模态之间的语义鸿沟，我们提出了一种称为跨模态语义匹配的方法，它包含两个重要组成部分，CorrProj和LogsTran提出了一种新的跨模态语义相似性度量方法，旨在构建一个通用的语义表示空间。此外，我们还设计了一个基于深度学习技术的公共语义表示空间构建框架。提出了一种结合地理多媒体数据和R树的混合索引结构GMR-Tree，并设计了一种高效的$k$ NN搜索算法$k$ GMCMS。对真实数据集和合成数据集的综合实验评估清楚地表明，我们的解决方案优于最先进的方法。
2018-08-20 cs.MM
Triple Attention Network architecture for MovieQA
电影问答，或MovieQA是一个多媒体相关的任务，其中一个提供了视频，字幕信息，问题和候选答案。该任务是预测正确的答案，使用多媒体的组成部分，即视频/图像，音频和文本的问题。传统上，MovieQA是使用多媒体的图像和文本组件完成的。在本文中，我们提出了一种新的网络与三重注意力架构，包括音频的电影QA任务。这种架构是在传统的只关注视频和文本的双重注意力网络之后形成的。实验表明，包括音频使用三重注意网络的结果提供了补充信息的电影QA任务，这是没有捕获的视觉或文本组件的数据。对各种音频特征的实验表明，相对于只使用视觉特征，使用这样的网络确实可以将MovieQA的性能提高约7%。
2021-11-18 cs.MM
Authentication and integrity of smartphone videos through multimedia container structure analysis
Universidad Complutense de Madrid (UCM)（马德里康普顿斯大学）
本文提出一种基于多媒体容器结构分析的新技术，通过分析移动设备生成的MP4、MOV和3GP视频容器结构及其在分享或篡改时的行为，验证视频完整性、识别采集来源并区分原始与被篡改视频。
2024-02-05 cs.CR cs.LG cs.MM
Soccer on Social Media
本报告分析了社交媒体平台的人口统计与多媒体模态特征，通过对欧洲足球联赛和球队的案例研究，指出足球专业人士需精细化运营社交媒体以提升球迷体验和互动。
2023-10-18 cs.MM cs.SI
Knowledge-aware Diffusion-Enhanced Multimedia Recommendation
本文提出知识感知扩散增强架构KDiffE，通过注意力感知矩阵和引导扩散生成低噪声任务相关知识图谱，结合对比学习提升多媒体推荐性能。
2025-07-22 cs.IR cs.MM
The Korrontea Data Modeling
多媒体系统的需求演变，由于其体系结构的演变，现在分布到异构的上下文中。一个关键问题在于它们处理、加工和传输多媒体数据。该数据集成了几个属性，这些属性应该被考虑，因为它拥有相当大的一部分语义，例如视频中的嘴唇同步。在本文中，我们专注于一个模型的定义作为一个基本的抽象描述和建模媒体在多媒体系统中，考虑到他们的属性。该模型将用于软件架构中，以便以有效的方式处理数据。所提供的模型是一个有趣的解决方案，将媒体集成到应用程序中，我们建议考虑和处理它们在一个统一的方式。该模型提出了同步策略，以确保媒体的同步传输。因此，我们使用它的组件模型，我们开发的分布式多媒体系统的设计和部署。
2008-12-16 cs.MM
FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis
Department of Informatics \& Telecommunications National；Kapodistrian University of Athens Athens, Greece
提出一种基于最优停止理论和基础模型（如ViT和SAM）的语义感知运动估计框架，通过融合语义注意力分数与失真度量实现自适应停止，在降低计算量的同时保持精度和语义覆盖。
2026-05-22 cs.CV cs.MM
