HERO-VQL：分层、第一人称且鲁棒的视觉查询定位
HERO-VQL: Hierarchical, Egocentric and Robust Visual Query Localization
AI总结：
针对第一人称视频中视角变化导致视觉查询定位精度低的问题，提出受人类认知启发的HERO-VQL方法，结合自顶向下注意力引导与第一人称增强一致性训练，在VQ2D数据集上显著优于基线方法。
摘要：
在本研究中，我们致力于解决第一人称视觉查询定位（VQL）问题，该任务要求模型在长时长第一人称视频中定位查询对象。第一人称视频中频繁且突然的视角变化会导致显著的物体外观变化和部分遮挡，使得现有方法难以实现精准定位。为应对这些挑战，我们提出了分层、第一人称且鲁棒的视觉查询定位方法HERO-VQL，这一全新方法受人类物体识别认知过程启发。我们提出了两项核心技术：一是自顶向下注意力引导（TAG），二是基于第一人称增强的一致性训练（EgoACT）。自顶向下注意力引导通过利用类别token获取高层上下文、借助主成分得分图实现细粒度定位，对注意力机制进行优化。为提升在多样且具挑战性的匹配场景下的学习效果，EgoAug（第一人称增强）通过从真值标注中随机选取对应物体替换查询来增强查询多样性，并通过对视频帧重新排序模拟极端视角变化。此外，CT（一致性训练）损失确保物体定位在不同增强场景下保持稳定。在VQ2D数据集上开展的大量实验验证了HERO-VQL可有效应对第一人称场景的挑战，性能显著优于各基线方法。
英文摘要：
In this work, we tackle the egocentric visual query localization (VQL), where a model should localize the query object in a long-form egocentric video. Frequent and abrupt viewpoint changes in egocentric videos cause significant object appearance variations and partial occlusions, making it difficult for existing methods to achieve accurate localization. To tackle these challenges, we introduce Hierarchical, Egocentric and RObust Visual Query Localization (HERO-VQL), a novel method inspired by human cognitive process in object recognition. We propose i) Top-down Attention Guidance (TAG) and ii) Egocentric Augmentation based Consistency Training (EgoACT). Top-down Attention Guidance refines the attention mechanism by leveraging the class token for high-level context and principal component score maps for fine-grained localization. To enhance learning in diverse and challenging matching scenarios, EgoAug enhances query diversity by replacing the query with a randomly selected corresponding object from groundtruth annotations and simulates extreme viewpoint changes by reordering video frames. Additionally, CT loss enforces stable object localization across different augmentation scenarios. Extensive experiments on VQ2D dataset validate that HERO-VQL effectively handles egocentric challenges, significantly outperforming baselines.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
