VCR: Video representation for Contextual Retrieval
本文提出VCR系统，通过融合视觉、音频和文本特征并利用语义嵌入，结合OpenAI GPT-4，实现大型视频档案的高效索引、上下文检索与直观探索体验。
2024-02-12 cs.IR cs.MM
Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
University of California San Diego（加利福尼亚大学圣地亚哥分校）；University of Michigan（密歇根大学）
该研究针对视频到音乐生成的可复现性问题，构建了OSSL-v2数据集，提出用对话作为条件信号的方法，在电影上评估后性能优于现有基线。
2026-08-13 cs.CV cs.MM cs.SD
CoPhIR: a Test Collection for Content-Based Image Retrieval
基于内容的图像检索（CBIR）方法在文献中提出的可扩展性，以及有效性，是今天的一个重要的研究课题。鉴于Web上丰富的图像，CBIR系统实际上必须向Web规模的数据集飞跃。在本文中，我们报告我们的经验，建立一个测试收集的1亿张图像，与相应的描述性功能，用于实验新的可扩展技术的相似性搜索，并比较他们的结果。在SAPIR（使用对等信息检索搜索视听内容）欧洲项目的背景下，我们必须在一个现实的数据集上实验我们的分布式相似性搜索技术。因此，由于没有大规模的收集可用于研究目的，我们不得不使用欧洲EGEE计算机GRID来处理图像爬行和描述性特征提取（我们使用了五个MPEG-7特征）的非平凡过程。这一努力的结果是CoPhIR，第一个CBIR测试收集这样的规模。CoPhIR现已向研究界开放，供其进行实验和比较，全世界已有50多个研究小组获得了该集合的访问权。
2009-06-01 cs.IR cs.MM
CoachAI: A Project for Microscopic Badminton Match Data Collection and Tactical Analysis
National Chiao Tung University（国立交通大学）；National Taiwan University of Science and Technology（国立台湾科技大学）
基于计算机视觉的对象跟踪已经被用于注释和增强体育视频。对于运动学习和训练，视频回放经常用于赛后回顾和训练回顾，用于战术分析和动作分析。为了自动和系统地收集比赛数据汇集和战术分析，一个名为CoachAI的项目得到了台湾科技部的支持。本计画亦包含资料可视化、训练辅助设备连接、数据仓库之研究。深度学习技术将用于开发基于广播比赛视频的实时微观比赛数据汇集。将使用机器学习技术进行战术分析。为了让数据以更容易理解的形式展现出来，帮助赛前训练，我们将利用AR/VR技术将数据、战术等可视化，并基于物联网技术开发智能羽毛球拍、互联发球机等训练辅助设备，进一步利用比赛数据和战术数据，提高训练效率。特别是，将开发连接的发球机，以执行指定的战术，并在训练中与球员互动。
2019-07-12 cs.CV cs.LG cs.MM
Video-Guided Text-to-Music Generation Using Public Domain Movie Collections
为解决音乐生成系统难以捕捉真实电影制作细微差别的问题，研究引入了公有领域电影数据集 OSSL，并提出一种视频适配器，通过添加视频条件增强自回归 transformer 文本到音乐模型，有效提升了 MusicGen-Medium 的生成保真度与主观兼容性。
2025-06-27 cs.MM cs.SD eess.AS
Système d'indexation et de recherche de vidéo intégrant un système gestuel pour les personnes handicapées
随着高速互联网的出现，视听信息的数量急剧增加。此外，近年来在信息技术领域中的技术进步已经简化了公众在各个领域中对视频数据的使用。这使得将大量视频文件存储到计算机系统中成为可能。为了能够有效地利用这些收藏，有必要开发工具，以方便查阅和处理这些文件。在本文中，我们提出了一种方法索引和检索的视频序列的视频数据库中的大尺寸，基于加权技术来计算的隶属度的一个概念，在视频也是一个结构化的数据的视听（上下文/概念/视频）。最后，我们决定创建一个搜索系统，除了通常的命令外，还提供不同类型的系统访问权限，具体取决于个人的残疾程度。实际上，该应用程序包含一个搜索系统，但通过语音或手势提供对命令的访问。我们在实验层面的贡献与原型的实施。我们集成了系统中提出的技术，以评估其在有效性和精度方面的贡献。
2019-04-24 cs.MM
Recent Trends and Research Issues in Video Association Mining
随着数字图书馆和视频数据库的不断发展，从视频数据库中自动理解和挖掘知识变得越来越重要。在视频数据采掘的研究领域中，发现大型视频数据库中项目之间的关联规则具有重要的意义。在过去几年的研究和发展的基础上，关联规则挖掘在不同的领域，如监控，会议，广播新闻，体育，档案，电影，医疗数据，以及个人和在线媒体收藏中的应用越来越多。本文的目的是提供一个从视频数据库中挖掘关联规则的通用框架。本文还介绍了视频关联挖掘中的研究问题，以及最新的发展趋势。
2011-12-09 cs.DB cs.MM
A Novel Approach for Video Temporal Annotation
计算、通信和数据存储方面的最新进展已经导致越来越多的大型数字图书馆在因特网上公开可用。基于内容的视频检索的主要问题是从原始视频数据中推断语义。视频数据在这些图书馆中发挥着重要作用。视频检索系统处理的不是文字，而是视频记录的集合。因此，系统面临着视频理解的问题。由于视频数据的机器理解仍然是一个尚未解决的研究问题，通常使用文本注释来描述视频数据的内容，根据注释者的理解和视频数据的目的。大多数提出的视频注释系统是域相关的。此外，在这些系统中的许多系统中，视频数据的重要特征，即时间性，被忽视。在本文中，我们提出了一个框架，视频时间标注。该系统使用领域知识和时间本体来执行输入视频的时间注释。
2014-04-17 cs.MM
A Closer Look into Recent Video-based Learning Research: A Comprehensive Review of Video Characteristics, Tools, Technologies, and Learning Effectiveness
本文综述了2016至2021年257篇基于视频的学习研究，提出涵盖音频、视觉、文本、教师行为、学习者活动、交互特征、制作风格和教学设计的八类视频特征分类法，并归纳出工具开发、对照实验、数据分析和设计指南四个主要研究方向。
2023-08-11 cs.MM
Computer-Aided Annotation for Video Tampering Dataset of Forensic Research
视频篡改数据集的标注是一项耗费大量人力和财力的枯燥工作。目前，还没有公开的文献能够提高伪造视频的标注效率。提出了一种视频篡改数据集的计算机辅助标注方法。该方法可用于对伪造视频序列的帧进行标注。通过比较原始视频帧和伪造视频帧，可以定位伪造视频帧中伪造区域的位置和轨迹。然后，根据伪造区域的运动轨迹在时域上选取几个关键点，并在关键点处用鼠标标记出伪造帧的伪造区域。最后，利用基于时间域关键位置坐标的线性预测算法，生成其他视频帧中伪造区域的标注信息，无需人工标注。如果计算机辅助算法生成的限界框偏离了伪造区域的实际位置，我们可以在预览期间使用鼠标改变限界框的位置。该方法将人工标注与计算机辅助标注相结合。该方法解决了计算机辅助标注的不准确性和人工标注效率低的问题，满足了视频被动取证研究中对大量伪造视频进行标注的需要。
2018-02-07 cs.MM
Content based video retrieval
Shah & Anchor Kutchhi Polytechnic（沙阿与安克尔库奇理工学院）；VJTI（维杰扬德拉·贾瓦哈拉尔·泰克工程技术学院）
基于内容的视频检索是一种方便搜索和浏览万维网上的大型图像集的方法。在这种方法中，视频分析进行低层次的视觉特性提取的视频帧。我们认为，为了建立一个有效的视频检索系统，视觉感知必须考虑。我们认为，采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一说法，基于内容的索引和检索系统实现了使用颜色直方图，各种纹理特征和其他方法。视频存储在Oracle 9i数据库中，用户研究测量响应的正确性。
2012-11-20 cs.CV cs.MM
Insights on the V3C2 Dataset
为了使研究结果具有可比性，重要的是要有共同的数据集进行实验和评估。然而，这些数据集的大小可能是其使用的障碍。Vimeo Creative Commons Collection（V3C）是一个视频数据集，旨在代表网络上的视频内容，总共包含大约3800小时的视频，分为三个碎片。在本文中，我们提出了对第二个碎片（V3C2）的见解，并讨论了它们对视频检索等研究领域的影响，该数据集可能特别有用。我们还提供了所有提取的数据，以简化数据集的使用。
2021-05-04 cs.MM
YouTube UGC Dataset for Video Compression Research
非专业视频，通常称为用户生成内容（UGC），在当今的视频共享应用中已经变得非常流行。然而，用于压缩和质量评估的传统指标，如BD速率和PSNR，是为原始原件设计的。因此，当应用于非原始原件（大多数UGC）时，其准确性显着下降。了解UGC情景下压缩和质量评估的困难很重要，但可供研究的公共UGC数据集很少。本文介绍了一个大规模的UGC数据集（1500个20秒的视频片段），从数百万的YouTube视频采样。该数据集涵盖了游戏、体育等热门类别，以及高动态范围（HDR）等新功能。除了一种新的采样方法的基础上提取的特征编码，UGC压缩和质量评估的挑战进行了讨论。传统的基于参考的UGC指标的缺点进行了讨论。我们展示了一种很有前途的方法来评估UGC质量的无参考客观质量指标，并评估当前数据集与三个无参考指标（噪声，带状，SLEEQ）。
2019-08-01 cs.MM eess.IV
Mainstreaming video annotation software for critical video analysis
目前可用的视频注释软件的范围是在商业专业领域内设置的，通过过时的来源或通过在线视频托管服务分发。随着视频内容成为越来越重要的分析工具，需要适当的数字注释技术，其提供与用于基于文本的文献源的注释的工具等同的功能。本文认为，视频注释作为一种有效的研究方法，是作为文献注释的重要性。视频注释已被证明可以引发更高的学习和参与度，但研究很难解释在当代教育实践结构中缺乏视频注释的原因。在学术和非正式的设置中，视频回放作为一种有意义的分析工具的使用是显而易见的，然而补充注释软件的可用性并不是显而易见的，甚至在标准化的计算机软件中并不普遍。研究人员制作的实用软件工具在很短的开发时间内就证明了有效的视频注释。随着软件设计程序可用于快速创建应用程序，本文还强调了缺乏一个开发社区。本文认为，视频注释是一种可访问的工具，不仅适用于学术背景，而且适用于更广泛的实际视频分析应用，有可能成为主流的学习工具。因此，本文提出了一种实用的多模态公共视频研究方法，可能提供更深入的分析媒体内容。这是支持进行视频注释和批判性分析目前可用的工具的动机的深入考虑。
2016-04-20 cs.CY cs.MM
Photoshop Batch Rendering Using Actions for Stylistic Video Editing
本项目提出一种基于 Adobe Photoshop Actions 和 Batch Processing System 的批量渲染工作流，通过系统化自动化实现图像序列视觉编辑的简单一致应用，从而优化生产力并确保结果统一。
2025-05-02 cs.GR cs.HC cs.MM
Multimodal Approach for Video Surveillance Indexing and Retrieval
National School of Engineers (ENIS)（国立工程师学院（ENIS））
在本文中，我们概述了REGIMVid项目中开发的根据内容索引和搜索视频序列的多模式系统。我们系统的很大一部分是作为TREC视频评估的一部分开发的。MAVSIR平台提供了从视听内容和基于概念/事件的视频检索的高级特征提取。我们说明了系统的架构，以及提供一个概述的描述符支持的日期。然后，我们证明了有用的工具箱的背景下，特征提取，概念/事件的学习和检索的大型视频监控数据集。结果令人鼓舞，因为我们能够在几个活动类别中获得良好的结果，而对于所有活动，我们都获得了宝贵的见解和经验。
2013-08-06 cs.CV cs.MM
Game-Based Discovery: Harnessing Mini-Games within Primary Games for Scientific Data Collection and Problem Solving
本研究以《Batman: Arkham Knight》的DNA解谜支线为切入点，归纳主游戏内嵌研究型迷你游戏的设计框架，分析其优劣，提出可将游戏化元素融入休闲游戏以助力科研数据处理与科普。
2024-07-03 cs.HC cs.MM
Temporal Sentence Grounding in Videos: A Survey and Future Directions
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文综述视频时序句子定位（TSGV）的通用流程、多模态理解与交互方法及技术分类，分析现有问题并指出未来研究方向。
2023-03-13 cs.AI cs.CL cs.CV
Coding Estimation based on Rate Distortion Control of H.264 Encoded Videos for Low Latency Applications
本文针对低时空分辨率视频，研究了H.264编码条件对感知质量的影响，通过120种测试场景分析发现，视频质量问题并非源于糟糕编码，而是由率失真控制追踪出的信道容量所致。
2023-03-16 cs.IT cs.MM math.IT
