arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.07466cs.IRcs.MM
收藏

VCR:用于上下文检索的视频表示

VCR: Video representation for Contextual Retrieval

Oron Nir, Idan Vidra, Avi Neeman, Barak Kinarti, Ariel Shamir

AI总结:

本文提出VCR系统,通过融合视觉、音频和文本特征并利用语义嵌入,结合OpenAI GPT-4,实现大型视频档案的高效索引、上下文检索与直观探索体验。

摘要:

简化媒体档案中的内容发现需要整合先进的数据表示和有效的可视化技术,以向用户清晰传达视频主题。所提出的系统通过融合视觉、音频和文本特征,利用基于文本的方法对视频内容进行准确索引和分类,从而解决了高效浏览大型视频集合的挑战。此外,系统采用语义嵌入为用户提供上下文相关的信息和推荐,借助OpenAI GPT-4在我们的主题本体图上实现了直观且引人入胜的探索体验。

英文摘要:

Streamlining content discovery within media archives requires integrating advanced data representations and effective visualization techniques for clear communication of video topics to users. The proposed system addresses the challenge of efficiently navigating large video collections by exploiting a fusion of visual, audio, and textual features to accurately index and categorize video content through a text-based method. Additionally, semantic embeddings are employed to provide contextually relevant information and recommendations to users, resulting in an intuitive and engaging exploratory experience over our topics ontology map using OpenAI GPT-4.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑