Dense360：基于全向全景图的密集理解
Dense360: Dense Understanding from Omnidirectional Panoramas
AI总结：
该研究针对多模态大语言模型有限视场的局限，构建了带可靠性标注的大规模全向全景数据集，提出适配等距柱状投影的位置编码方案解决全景畸变问题，并发布首个全向密集理解基准，推动全景场景下的视觉语言密集理解研究。
摘要：
多模态大语言模型（MLLMs）需要全面的视觉输入以实现对物理世界的密集理解。现有MLLMs通过有限视场（FOV）的视觉输入（例如70度）展现出出色的世界理解能力，而我们率先开展了基于全向全景图的密集理解研究。我们首先推出了一个带有全套可靠性评分标注的全向全景图数据集。具体而言，该数据集包含16万张全景图，配有500万条密集实体级描述、100万条唯一指代表达式以及10万条基于实体定位的全景场景描述。与多视图方案相比，全景图通过等距柱状投影（ERP）可提供更完整、紧凑且连续的场景表示。然而，ERP的使用给MLLMs带来两大关键挑战：i）沿纬度圈的空间连续性问题，ii）信息密度随纬度变化的问题。我们通过ERP-RoPE（一种专为全景ERP设计的位置编码方案）解决了这些挑战。此外，我们还推出了Dense360-Bench，这是首个用于评估MLLMs全向描述与定位能力的基准，为推进全景场景下的密集视觉-语言理解建立了综合框架。
英文摘要：
Multimodal Large Language Models (MLLMs) require comprehensive visual inputs to achieve dense understanding of the physical world. While existing MLLMs demonstrate impressive world understanding capabilities through limited field-of-view (FOV) visual inputs (e.g., 70 degree), we take the first step toward dense understanding from omnidirectional panoramas. We first introduce an omnidirectional panoramas dataset featuring a comprehensive suite of reliability-scored annotations. Specifically, our dataset contains 160K panoramas with 5M dense entity-level captions, 1M unique referring expressions, and 100K entity-grounded panoramic scene descriptions. Compared to multi-view alternatives, panoramas can provide more complete, compact, and continuous scene representations through equirectangular projections (ERP). However, the use of ERP introduces two key challenges for MLLMs: i) spatial continuity along the circle of latitude, and ii) latitude-dependent variation in information density. We address these challenges through ERP-RoPE, a position encoding scheme specifically designed for panoramic ERP. In addition, we introduce Dense360-Bench, the first benchmark for evaluating MLLMs on omnidirectional captioning and grounding, establishing a comprehensive framework for advancing dense visual-language understanding in panoramic settings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
