Chrono: 一种用于多模态大语言模型中表示时间的简单蓝图
Chrono: A Simple Blueprint for Representing Time in MLLMs
AI总结：
Chrono提出了一种简单通用的序列蓝图，用于提升多模态大语言模型在视频时间定位和 grounded 视频问答任务中的性能。
摘要：
近年来，大型语言模型（LLMs）的成功促使其扩展到多模态领域，发展出图像-文本多模态大语言模型（MLLMs）以及视频-文本模型。在本工作中，我们通过探索视频中的时间定位任务，研究视频-语言模型中的上下文和时间理解挑战。为了解决这个问题，先前的工作开发了复杂的任务特定架构、新的模块来嵌入时间到MLLMs，或利用额外的输入信号如视频转录来最佳编码上下文和时间信息。我们发现大多数这些努力都被一个更简单的设计所超越。我们介绍了Chrono，一种通用序列蓝图，可以应用于任何图像-文本预训练的MLLM。在涵盖不同MLLM架构和大小的广泛实验中，包括微调和零样本设置，我们展示了在广泛使用的基准Charades-STA、QVHighlights和ActivityNet Captions上的时刻检索的新最先进的结果，以及在NExT-GQA上的基于视频的问题回答。
英文摘要：
The recent success of Large Language Models (LLMs) has prompted the extension to the multimodal domain, developing image-text Multimodal LLMs (MLLMs) and then video-text models. In this work, we investigate the challenge of contextual and temporal comprehension in video-language models by exploring the task of temporal localization in videos. To address this problem, prior works have developed complex task-specific architectures, novel modules to embed time into MLLMs, or leveraged additional input signals such as video transcripts to best encode contextual and temporal information. We find that most of these efforts are surpassed by a much simpler design. We introduce Chrono, a universal sequence blueprint that can be applied to any image-text pretrained MLLM. In extensive experiments spanning different MLLM architectures and sizes, finetuning and zero-shot settings, we demonstrate new state-of-the-art results in moment retrieval on the widely used benchmarks Charades-STA, QVHighlights, and ActivityNet Captions, as well as in grounded video question answering on NExT-GQA.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
