STER-VLM：具有增强参考机制的时空视觉语言模型
STER-VLM: Spatio-Temporal With Enhanced Reference Vision-Language Models
AI总结：
本文提出计算高效的 STER-VLM 框架，通过字幕分解、时间帧选择、参考驱动理解和提示技术增强视觉语言模型的细粒度时空理解能力，并在交通分析任务中取得显著性能提升。
摘要：
视觉语言模型（VLMs）已成为实现自动化交通分析的强大工具；然而，现有方法通常需要大量计算资源，并且在细粒度时空理解方面存在困难。本文提出 STER-VLM，一个计算高效的框架，通过以下方式增强 VLM 性能：（1）字幕分解，分别处理空间和时间信息；（2）带最佳视角过滤的时间帧选择，以获取充分的时间信息；（3）参考驱动理解，用于捕获细粒度运动和动态上下文；以及（4）精心设计的视觉/文本提示技术。在 WTS 和 BDD 数据集上的实验结果表明，在语义丰富度和交通场景解释方面取得了显著提升。我们的框架在 AI City Challenge 2025 Track 2 中取得了 55.655 的良好测试分数，证明了其在推动面向实际应用的资源高效且准确的交通分析方面的有效性。
英文摘要：
Vision-language models (VLMs) have emerged as powerful tools for enabling automated traffic analysis; however, current approaches often demand substantial computational resources and struggle with fine-grained spatio-temporal understanding. This paper introduces STER-VLM, a computationally efficient framework that enhances VLM performance through (1) caption decomposition to tackle spatial and temporal information separately, (2) temporal frame selection with best-view filtering for sufficient temporal information, and (3) reference-driven understanding for capturing fine-grained motion and dynamic context and (4) curated visual/textual prompt techniques. Experimental results on the WTS \cite{kong2024wts} and BDD \cite{BDD} datasets demonstrate substantial gains in semantic richness and traffic scene interpretation. Our framework is validated through a decent test score of 55.655 in the AI City Challenge 2025 Track 2, showing its effectiveness in advancing resource-efficient and accurate traffic analysis for real-world applications.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
