面向组合事件、基于大语言模型的自增强视频数据管理系统 [技术报告]
Self-Enhancing Video Data Management System for Compositional Events with Large Language Models [Technical Report]
AI总结：
本文提出 VOCAL-UDF 自增强视频数据管理系统，利用 LLM 自动生成程序型或蒸馏模型型 UDF，并通过主动学习选择候选，以支持无预定义模块的组合视频查询。
摘要：
复杂视频查询可以通过将其分解为模块化子任务来回答。然而，现有视频数据管理系统假定每个子任务都存在预定义模块。我们提出 VOCAL-UDF，这是一种新颖的自增强系统，无需预定义模块即可支持视频上的组合查询。VOCAL-UDF 会自动识别并构建缺失模块，并将其封装为用户定义函数（UDF），从而扩展其查询能力。为此，我们构建了一个统一的 UDF 模型，利用大语言模型（LLM）辅助生成新的 UDF。VOCAL-UDF 通过同时支持基于程序的 UDF（即由 LLM 生成的 Python 函数）和蒸馏模型 UDF（从强大的预训练模型蒸馏出的轻量级视觉模型）来处理广泛的概念。为解决用户意图中固有的歧义，VOCAL-UDF 会生成多个候选 UDF，并使用主动学习高效选择最佳候选。凭借自增强能力，VOCAL-UDF 在三个视频数据集上显著提升了查询性能。
英文摘要：
Complex video queries can be answered by decomposing them into modular subtasks. However, existing video data management systems assume the existence of predefined modules for each subtask. We introduce VOCAL-UDF, a novel self-enhancing system that supports compositional queries over videos without the need for predefined modules. VOCAL-UDF automatically identifies and constructs missing modules and encapsulates them as user-defined functions (UDFs), thus expanding its querying capabilities. To achieve this, we formulate a unified UDF model that leverages large language models (LLMs) to aid in new UDF generation. VOCAL-UDF handles a wide range of concepts by supporting both program-based UDFs (i.e., Python functions generated by LLMs) and distilled-model UDFs (lightweight vision models distilled from strong pretrained models). To resolve the inherent ambiguity in user intent, VOCAL-UDF generates multiple candidate UDFs and uses active learning to efficiently select the best one. With the self-enhancing capability, VOCAL-UDF significantly improves query performance across three video datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
