Efficient Video Indexing on the Web: A System that Leverages User Interactions with a Video Player
在本文中,我们提出了一个基于用户的视频索引方法,自动生成缩略图的最重要的场景的在线视频流,通过分析用户的交互与Web视频播放器。作为验证我们想法的测试平台,我们将YouTube视频播放器扩展到VideoSkip系统中。此外,VideoSkip使用网络数据库(Google应用程序引擎)来记录一些重要参数,例如基本用户操作(播放,暂停,跳过)的时间。此外,我们实现了一个算法,选择代表性的缩略图。最后,我们用来自九个用户的实验数据填充系统。我们发现VideoSkip系统通过利用隐式用户交互(例如暂停和30秒跳过)来索引视频内容。我们的早期发现指向网络视频播放器及其缩略图生成技术的改进。VideSkip系统可以补充基于内容的算法,以便在困难的视频中实现有效的视频索引,例如讲座或体育。
2012-04-27 cs.DL cs.HC cs.IR
Conception and Use of Ontologies for Indexing and Searching by Semantic Contents of Video Courses
如今,网络上的教育课程等视频文档显著增加。然而,当今的信息检索系统不能返回到用户(学生或教师)的部分,这些视频,满足他们的确切需求表示的查询,包括语义信息。在本文中,我们提出了一个模型的教学知识的当前视频。这些知识被用于整个教学视频的索引和语义搜索片段的过程中。我们的实验结果表明,该方法是有前途的。
2012-01-24 cs.DL cs.IR
Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval
Inception AI;Mubadala
VisionRAG是一种无OCR、模型无关的多模态检索系统,通过三阶段金字塔索引提升文档检索效率和准确性。
2026-01-06 cs.AI cs.IR
SmartTennisTV: Automatic indexing of tennis videos
CVIT, KCIS, IIIT Hyderabad(海得拉巴国际信息技术学院视觉信息技术中心)
在本文中,我们展示了一个基于分数的网球视频索引方法。给定一个广播网球视频(BTV),我们用分数索引所有视频片段,以创建一个可导航和可搜索的比赛。我们的方法在时间上分割视频中的集会,然后从每个片段中识别出分数,然后使用网球评分系统的知识来改进分数。最后,我们建立了一个界面,可以毫不费力地检索和查看相关的视频片段,还可以自动标记分段集会与人类可访问的标签,如“故障”和“deuce”。我们的方法的效率证明了BTV的从两个主要的网球锦标赛。
2018-01-04 cs.CV cs.IR
Efficient Indexing of Meta-Data (Extracted from Educational Videos)
针对MOOCs等教育视频日益增多且难以维护的问题,本项目提出从视频讲座中提取学院、发布者、教授等五到六个属性的元数据,并基于此进行高效索引,以帮助学生更好地组织和利用视频资源。
2023-12-11 cs.IR
Content-based Video Indexing and Retrieval Using Corr-LDA
Carnegie Mellon University(卡内基梅隆大学);Technicolor(特艺集团);NITK Surathkal(苏拉特卡尔国家技术学院);NIT Tiruchirappalli(蒂鲁吉拉伯利国家技术学院)
现有的基于Web的多媒体共享网站上的视频索引和检索方法是基于用户提供的稀疏标记。本文提出了一种非常具体的方式搜索视频剪辑,基于视频的内容。我们提出了我们的工作基于内容的视频索引和检索使用的对应潜在狄利克雷分配(corr-LDA)概率框架。这是一个模型,提供了自动注释的视频在数据库中的文本描述符,并带来了额外的好处,利用视频和文本的内容之间的语义关系。我们使用corr-LDA提供的概念级匹配来建立文本和多媒体之间的对应关系,以提高准确性检索内容的目标。在我们的实验中,我们只使用单个录音的音频分量,并将我们的结果与基于SVM的方法进行比较。
2019-11-19 cs.CV cs.IR
Segmentation, Indexing, and Visualization of Extended Instructional Videos
我们提出了一种新的分割方法,和一个新的用户界面的索引和可视化,扩展的教学视频的语义内容。给定视频中的一系列关键帧,我们通过根据媒体类型和视觉相似性对帧进行聚类来生成数据的浓缩视图。使用各种视觉过滤器,关键帧首先被分配一个媒体类型(板,类,计算机,插图,讲台和工作表)。然后,通过具有近线性成本的算法基于内容对媒体类型板和片材的关键帧进行聚类。一个新颖的用户界面,两个用户研究的结果,显示相关的主题使用图标链接拓扑,允许用户快速定位语义相关的视频部分。我们分析了17个教学视频的分割工具的准确性,每个视频的持续时间从75到150分钟(共40小时);分类准确率超过96%。
2003-02-16 cs.CV cs.IR
Probabilistic Management of OCR Data using an RDBMS
扫描表格和文档的数字化正在改变企业管理的数据源。为了将这些新的数据源与企业数据相结合,目前最先进的方法是使用光学字符识别(OCR)软件将图像转换为ASCII文本,然后将得到的ASCII文本存储在关系数据库中。OCR问题具有挑战性,因此OCR的输出通常包含错误。反过来,对OCR输出的查询可能无法检索到相关答案。最先进的OCR程序,例如,为Google Books提供动力的OCR使用概率模型,该模型在OCR过程中捕获许多替代方案。只有当OCR结果存储在数据库中时,这些方法才能消除不确定性。在这项工作中,我们建议保留概率模型OCR过程中产生的关系数据库管理系统。一个关键的技术挑战是OCR软件产生的概率数据非常大(一本书从400 kB的ASCII扩展到2GB)。因此,将这些模型与RDBMS集成的基线解决方案比单表选择项目查询的标准文本处理慢1000倍以上。然而,许多应用程序可能具有介于ASCII和OCR软件输出的完整模型这两个极端之间的质量-性能需求。因此,我们提出了一种新的近似方案称为断奏,允许用户交易召回查询性能。此外,我们提供了一个正式的分析我们的计划的属性,并描述了我们如何将我们的计划与标准的RDBMS文本索引。
2012-01-06 cs.DB cs.DL cs.IR
DnS: Distill-and-Select for Efficient and Accurate Video Indexing and Retrieval
ITI-CERTH(希腊信息技术研究所-希腊研究与技术中心);QMUL(伦敦玛丽女王大学)
在本文中,我们解决了大规模数据集的高性能和计算效率的基于内容的视频检索的问题。当前方法通常提出:(i)采用时空表示和相似性计算的细粒度方法,以高计算成本实现高性能,或者(ii)将视频表示/索引为全局向量的粗粒度方法,其中时空结构丢失,提供低性能但也具有低计算成本。在这项工作中,我们提出了一个知识蒸馏框架,称为蒸馏和选择(DnS),从一个表现良好的细粒度教师网络学习:a)学生网络在不同的检索性能和计算效率的权衡和b)一个学习网络,在测试时快速引导样本到适当的学生,以保持高检索性能和高计算效率。我们训练了几个具有不同体系结构的学生,并得出了性能和效率的不同权衡,即,速度和存储要求,包括使用二进制表示存储/索引视频的细粒度学生。重要的是,所提出的方案允许在大型未标记的数据集中进行知识蒸馏-这会产生好学生。我们在三个不同的视频检索任务的五个公共数据集上评估了DnS,并证明了a)我们的学生在几种情况下达到了最先进的性能,b)DnS框架在检索性能,计算速度和存储空间之间提供了一个很好的权衡。在特定配置中,所提出的方法实现了与教师类似的mAP,但速度快20倍,需要的存储空间少240倍。所收集的数据集和实现可在https://github.com/mever-team/distill-and-select上公开获取。
2022-08-05 cs.CV cs.IR cs.MM
Multi-agents Architecture for Semantic Retrieving Video in Distributed Environment
本文提出了一个集成的多代理架构的索引和检索视频信息,我们的工作重点是阐述一个可扩展的方法,收集了先验的几乎是必要的工具,缓解了主要的交织在整个过程中的视频生命周期(分类,索引和检索)的问题。事实上,有效和最佳的检索视频信息需要一个基于多模态方面的协作方法。显然,它必须考虑到数据源的分布式方面,内容的适应性,语义注释,个性化请求和主动反馈,这些构成了一个充满活力的系统的骨干,以智能的方式提高其性能
2014-07-31 cs.IR
EVISTA: Unified Multimodal Video Search with Evidence-Aware Temporal Path Optimization
Ho Chi Minh University of Technology, VNU-HCM(胡志明市技术大学,越南国立大学胡志明市)
本研究针对多模态视频检索难题,开发了EVISTA系统并提出TEMPO-P方法,在挑战赛查询上实现了多事件的精准有序检索,弥补了仅视觉检索的不足。
2026-10-14 cs.IR
An Algorithm for Index Multimedia Data (Video) using the Movement Oriented Method for Real-time Online Services
多媒体数据是一种可以表示所有类型的数据(图像,声音和文本)的数据形式。对于使用多媒体数据的在线应用来说,在存储介质的使用、排序/索引、检索和系统/数据检索等方面都需要一个比较全面的数据库。为了帮助提供者和用户在线访问多媒体数据,这是必要的。使用索引图像作为参考的系统需要存储介质,以便规则和需要特殊的专业知识来获得所需的文件。将多媒体数据转换为一系列文本形式的故事/故事板将有助于减少媒体存储、系统索引/排序和搜索应用程序的消耗。定向运动是一种正在开发的将多媒体数据的形式改变为故事板的方法。
2010-03-16 cs.IR cs.MM
Content-Based Video Browsing by Text Region Localization and Classification
数字视频数据量在世界范围内不断增加。它强调了需要有效的算法,可以索引,检索和浏览这些数据的内容。这可以通过识别从视频结构自动捕获的语义描述来实现。在这些描述中,视频中的文本被认为是丰富的特征,为视频索引和浏览提供了一种很好的方式。与大多数视频文本检测和提取方法,将视频序列作为静止图像的集合,我们在本文中提出的时空。视频文本定位和识别方法分为两个主要步骤:文本区域定位和文本区域分类。在第一步中,我们通过应用于二值化边缘帧对差异的拆分和合并过程来检测帧中新对象的显著外观。检测到的对象先验地被认为是文本。然后根据局部对比度变化和纹理标准对它们进行滤波,以获得有效的图像。所得到的文本区域进行分类的基础上的视觉语法描述符包含一组语义文本类区域的视觉特征。然后,基于在通过语义标识而丰富的视频序列内出现的所提取的文本区域来生成内容的视觉表。在各种视频序列上进行的实验显示了我们的方法的效率。
2013-01-10 cs.IR cs.MM
Logical segmentation for article extraction in digitized old newspapers
LITIS, University of Rouen(鲁昂大学LITIS实验室)
报纸是由新闻条目和信息性文章组成的文件。它们并不意味着要反复变红:读者可以按照他喜欢的任何顺序挑选他的物品。大多数数字化报纸档案忽略了这种结构属性,只能按问题或最多按页面提供内容访问。我们已经建立了一个数字化工作流程,可以自动从图像中提取报纸文章,从而可以在文章级别上索引和检索信息。我们的后端系统提取页面的逻辑结构来生成信息单元:文章。通过基于机器学习的方法,在像素级别标记每个图像,然后通过检测结构实体(如水平和垂直分隔符、标题和文本行)来构建页面逻辑结构。该逻辑结构存储在与系统产生的ALTO文件相关联的METS包装器中,包括OCRed文本。我们的前端系统提供了一个网络高清晰度的图像可视化,文本索引和检索设施,搜索和阅读的文章水平。翻译错误的文章可以协同更正,从而可以更好地进行索引。我们目前正在测试我们的系统上的档案的杂志鲁昂,法国最古老的地方报纸之一。这250年的出版量为30万页,图像质量和布局复杂性非常多变。1808年考试可在plair.univ-rouen. fr上查阅。
2012-10-03 cs.CV cs.DL cs.IR
Smart Routing for Multimodal Video Retrieval: When to Search What
Cloudglue
本文提出基于LLM的智能路由系统ModaRoute,通过分析查询意图动态选择ASR、OCR和视觉等最优模态,在保持60.9% Recall@5的同时将计算开销降低41%,为大规模多模态视频检索提供了兼顾成本与效果的实用方案。
2025-07-12 cs.AI cs.CV cs.IR
Word Searching in Scene Image and Video Frame in Multi-Script Scenario using Dynamic Shape Coding
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Institute of Engineering & Management(工程与管理学院);Indian Statistical Institute(印度统计研究所)
从自然场景图像和视频帧中检索文本信息是一项具有挑战性的任务,由于其固有的问题,如复杂的字符形状,低分辨率,背景噪声等可用的OCR系统往往无法检索这样的信息在场景/视频帧。关键字定位是一种检索信息的替代方法,在这种情况下可以执行高效的文本搜索。然而,当前的场景/视频图像中的单词识别技术是脚本特定的,并且它们主要是针对拉丁脚本开发的。本文提出了一种新的词发现框架,使用动态形状编码的文本检索自然场景的图像和视频帧。该框架的目的是搜索查询关键字从多个脚本的帮助下,在飞行脚本明智的关键字生成相应的脚本。我们已经使用了两个阶段的词发现方法,使用隐马尔可夫模型(HMM)检测翻译的关键字在一个给定的文本行通过识别行的脚本。一种新的无监督的动态形状编码为基础的计划已被用来组相似的形状字符,以避免混淆,并提高文本对齐。接下来,假设的位置进行验证,以提高检索性能。为了评估所提出的系统从自然场景图像和视频帧中搜索关键字,我们考虑了两个流行的印度语脚本,如孟加拉语(孟加拉语)和梵文以及英语。受印度语脚本中的逐区识别方法的启发[1],逐区文本信息已用于改善印度语脚本中的传统单词定位性能。对于我们的实验,考虑了由不同场景的图像和英语,孟加拉语和梵文脚本的视频帧组成的数据集。实验结果表明了我们提出的单词识别方法的有效性。
2018-07-30 cs.CV cs.IR