利用事件与上下文信息并基于生成式 AI 的视频摘要
Video Summarisation with Incident and Context Information using Generative AI
AI总结：
本文提出结合 YOLO-V8 与 Gemini 的 GenAI 视频分析框架，依据用户查询从 CCTV 视频中生成事件与上下文文本摘要，实验显示相似度 72.8%、定性准确率 85%。
摘要：
视频内容生产的激增产生了海量数据，给分析效率和资源利用带来了巨大挑战。解决这一问题需要开发鲁棒的视频分析工具。本文提出一种利用生成式人工智能（Generative Artificial Intelligence，GenAI）的新方法，以促进简化的视频分析。我们的工具旨在针对用户定义的查询提供定制化文本摘要，在庞大的视频数据集中提供聚焦的洞察。不同于传统框架只提供通用摘要或有限的动作识别，我们的方法利用 GenAI 的能力提炼相关信息，提高分析精度和效率。该解决方案采用 YOLO-V8 进行目标检测，并采用 Gemini 进行全面的视频和文本分析，从而实现更高的上下文准确性。通过将 YOLO 与 Gemini 结合，我们的方法可提供从大量 CCTV 录像中提取的文本摘要，使用户无需进行详尽的人工审查，即可快速浏览并核实相关事件。定量评估显示相似度为 72.8%，而定性评估给出的准确率为 85%，证明了所提方法的能力。
英文摘要：
The proliferation of video content production has led to vast amounts of data, posing substantial challenges in terms of analysis efficiency and resource utilization. Addressing this issue calls for the development of robust video analysis tools. This paper proposes a novel approach leveraging Generative Artificial Intelligence (GenAI) to facilitate streamlined video analysis. Our tool aims to deliver tailored textual summaries of user-defined queries, offering a focused insight amidst extensive video datasets. Unlike conventional frameworks that offer generic summaries or limited action recognition, our method harnesses the power of GenAI to distil relevant information, enhancing analysis precision and efficiency. Employing YOLO-V8 for object detection and Gemini for comprehensive video and text analysis, our solution achieves heightened contextual accuracy. By combining YOLO with Gemini, our approach furnishes textual summaries extracted from extensive CCTV footage, enabling users to swiftly navigate and verify pertinent events without the need for exhaustive manual review. The quantitative evaluation revealed a similarity of 72.8%, while the qualitative assessment rated an accuracy of 85%, demonstrating the capability of the proposed method.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
