One of the most exciting applications of vision models involve pixel-level reasoning. Despite the abundance of vision foundation models, we still lack representations that effectively embed spatio-temporal properties of visual scenes at the pixel level. Existing frameworks either train on image-based pretext tasks, which do not account for dynamic elements, or on video sequences for action-level reasoning, which does not scale to dense pixel-level prediction. We present a framework that learns pixel-accurate feature descriptors from videos, LILA. The core element of our training framework is linear in-context learning. LILA leverages spatio-temporal cue maps -- depth and motion -- estimated with off-the-shelf networks. Despite the noisy nature of those cues, LILA trains effectively on uncurated video datasets, embedding semantic and geometric properties in a temporally consistent manner. We demonstrate compelling empirical benefits of the learned representation across a diverse suite of vision tasks: video object segmentation, surface normal estimation and semantic segmentation.
Pixel-Anchor: A Fast Oriented Scene Text Detector with Combined Networks
Cloudwalk Technology（云从科技）
近年来，语义分割和通用目标检测框架已被场景文本检测任务广泛采用。但二者在实践中都存在明显的不足。在本文中，我们提出了一种新的端到端可训练的深度神经网络框架，称为Pixel-Anchor，它通过特征共享和锚级注意力机制将语义分割和SSD结合在一个网络中来检测定向场景文本。为了处理场景文本的大小和纵横比有很大的变化，我们结合FPN和ASPP操作作为我们的编码器-解码器结构的语义分割部分，并提出了一种新的自适应预测层的SSD。Pixel-Anchor在单个网络前向传递中检测场景文本，除了涉及有效的融合非最大值抑制之外，没有复杂的后处理。我们已经在公共数据集上对建议的Pixel-Anchor进行了基准测试。Pixel-Anchor在文本定位精度和运行速度方面优于竞争方法，更具体地说，在ICDAR 2015数据集上，所提出的算法在960 x 1728分辨率图像的10 FPS下实现了0.8768的F分数。
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
On Boosting Semantic Street Scene Segmentation with Weak Supervision
Eindhoven University of Technology（埃因霍温理工大学）
训练用于语义分割的卷积网络需要每像素的地面真值标签，这非常耗时，因此获得成本很高。因此，在这项工作中，我们研究和开发了一种分层的深度网络架构和相应的语义分割损失，可以从弱监督（如边界框或图像级别标签）以及强逐像素监督中进行训练。我们证明了层次结构和强（每像素）和弱（边界框）标签的同时训练，即使来自单独的数据集，也会不断提高仅针对每像素训练的性能。此外，我们探索了添加弱图像级标签的更具挑战性的情况。我们从巨大的Open Images数据集中收集街景图像和弱标签来生成OpenScapes数据集，并使用这个新的数据集来提高两个已建立的每像素标记数据集Cityscapes和Vistas的分割性能。我们报告在关键街道场景类上的性能提升高达+13.2%mIoU，在512 x 1024分辨率下，Titan V GPU的Cityscapes推理速度为20 fps。我们的网络和OpenScapes数据集与研究社区共享。
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Plug-and-Play DISep: Separating Dense Instances for Scene-to-Pixel Weakly-Supervised Change Detection in High-Resolution Remote Sensing Images
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；Institute of Artificial Intelligence, Wuhan University（武汉大学人工智能研究院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Graduate School of Frontier Sciences, University of Tokyo（东京大学前沿科学研究生院）；Institute of Geodesy and Photogrammetry, ETH Zürich（苏黎世联邦理工学院大地测量与摄影测量研究所）
DiffPixelFormer: Differential Pixel-Aware Transformer for RGB-D Indoor Scene Segmentation
State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）；Institute for Infocomm Research, A*STAR（信息通信研究机构，A*STAR）；College of Information Science and Electronic Engineering, Zhejiang University（信息科学与电子工程学院，浙江大学）
TSceneJAL: Joint Active Learning of Traffic Scenes for 3D Object Detection
Research Institute of Trustworthy Autonomous Systems, and Department of Computer Science and Engineering, Southern University of Science and Technology (SUSTech), China（可信自主系统研究 institute，计算机科学与工程系，南方科技大学，中国）；State Key Lab of Internet of Things for Smart City, University of Macau, China（智慧城市物联网国家重点实验室，澳门大学，中国）；Kuang-Chi Institute of Advanced Technology, China（广驰先进技术研究所，中国）；Shenzhen Deeproute.ai Co.,Ltd, China（深圳DeepRoute.ai有限公司，中国）
MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Technology Sydney（悉尼科技大学）；University of Oxford（牛津大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；DarkMatter AI Research（DarkMatter AI 研究院）
Single Network Panoptic Segmentation for Street Scene Understanding
Eindhoven University of Technology（埃因霍温理工大学）
在这项工作中，我们提出了一个用于全景分割的单一深度神经网络，其目标是为输入图像的每个像素提供类别标签，如语义分割，以及图像中特定对象的唯一标识符，然后进行实例分割。我们的网络进行联合语义和实例分割预测，并将这些组合起来形成全景格式的输出。这有两个主要好处：首先，整个全景预测是在一次通过中进行的，减少了所需的计算时间和资源;其次，通过联合学习任务，信息在两个任务之间共享，从而提高了性能。我们的网络在两个街景数据集上进行评估：Cityscapes和Mapillary Vistas。通过利用信息交换和改进合并算法，我们提高了单个网络的性能，并在Mapillary Vistas验证的Panoptic Quality（PQ）指标上获得了23.9分，输入分辨率为640 x 900像素。在Cityscapes验证中，我们的方法在512 x 1024像素的输入分辨率下获得了45.9的PQ分数。此外，我们的方法相对于单独的网络将预测时间减少了2倍。
The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IIIS, Tsinghua University（清华大学交叉信息研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Deepmind（深度思考）；MIT BCS（麻省理工学院脑与认知科学系）；CBMM（脑、心智与机器中心）
LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；National University of Singapore（新加坡国立大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
NOVA3R: Non-pixel-aligned Visual Transformer for Amodal 3D Reconstruction
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University College London（伦敦大学学院）；Zhejiang Lab（之江实验室）
Splaxel: Efficient Distributed Training of 3D Gaussian Splatting for Large-scale Scene Reconstruction via Pixel-level Communication
Independent Researcher（独立研究者）；Rice University（里士满大学）；University of Georgia（佐治亚大学）；University of Houston（休斯顿大学）；University of Washington（华盛顿大学）；Argonne National Labs（阿贡国家实验室）
Center for Visual Information Technology - Kohli Center on Intelligent Systems（视觉信息技术中心——科利智能系统中心）；International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）
