联合时刻检索与高光检测：基于自然语言查询
Joint Moment Retrieval and Highlight Detection Via Natural Language Queries
AI总结：
提出一种基于自然语言查询、利用多模态变换器联合进行视频摘要与高光检测的新方法，在YouTube Highlights和TVSum数据集上验证了其灵活性。
摘要：
视频摘要已成为计算机视觉领域中日益重要的任务，这得益于互联网上可获取的海量视频内容。在本项目中，我们提出了一种基于自然语言查询的联合视频摘要与高光检测新方法，该方法采用多模态变换器。此方法将同时利用视觉和音频线索来匹配用户的自然语言查询，从而从视频中检索最相关且最有趣的时刻。我们的方法采用了视觉变换器（ViTs）中使用的多种近期技术，构建了一个类似变换器的编码器-解码器模型。我们在多个数据集（如YouTube Highlights和TVSum）上评估了我们的方法，以展示所提方法的灵活性。
英文摘要：
Video summarization has become an increasingly important task in the field of computer vision due to the vast amount of video content available on the internet. In this project, we propose a new method for natural language query based joint video summarization and highlight detection using multi-modal transformers. This approach will use both visual and audio cues to match a user's natural language query to retrieve the most relevant and interesting moments from a video. Our approach employs multiple recent techniques used in Vision Transformers (ViTs) to create a transformer-like encoder-decoder model. We evaluated our approach on multiple datasets such as YouTube Highlights and TVSum to demonstrate the flexibility of our proposed method.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
