In this work, we investigate whether state-of-the-art object detection systems have equitable predictive performance on pedestrians with different skin tones. This work is motivated by many recent examples of ML and vision systems displaying higher error rates for certain demographic groups than others. We annotate an existing large scale dataset which contains pedestrians, BDD100K, with Fitzpatrick skin tones in ranges [1-3] or [4-6]. We then provide an in-depth comparative analysis of performance between these two skin tone groupings, finding that neither time of day nor occlusion explain this behavior, suggesting this disparity is not merely the result of pedestrians in the 4-6 range appearing in more difficult scenes for detection. We investigate to what extent time of day, occlusion, and reweighting the supervised loss during training affect this predictive bias.
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Courant Institute, New York University（纽约大学柯朗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
A General Framework for Development of the Cortex-like Visual Object Recognition System: Waves of Spikes, Predictive Coding and Universal Dictionary of Features
Unsupervised Learning of Visual Structure using Predictive Generative Networks
Harvard University（哈佛大学）
预测未来环境状态的能力是智能的核心支柱。从本质上讲，有效的预测需要一个世界的内部模型，以及对世界变化规律的理解。在这里，我们使用CNN-LSTM-deCNN框架，探索由深度神经网络开发的内部模型，该深度神经网络使用基于预测合成视频序列中未来帧的损失进行训练。我们首先表明，这种架构可以在视觉序列预测任务中实现出色的性能，包括在标准“弹跳球”数据集中的最先进性能（Sutskever et al.，2009年）。使用加权均方误差和对抗性损失（Goodfellow等人，2014年），相同的架构成功地推断出计算机生成的面部的平面外旋转。此外，尽管经过端到端的训练，只预测像素级信息，但我们的预测生成网络学习了底层三维对象本身潜在结构的表示。重要的是，我们发现，这种表示是自然宽容的对象变换，以及推广到新的任务，如分类的静态图像。仅使用重建损失训练的类似模型无法有效地推广。我们认为，预测可以作为一个强大的无监督的损失，学习丰富的内部表示的高级对象的功能。
TrajectoryFormer: 3D Object Tracking Transformer with Predictive Trajectory Hypotheses
CUHK（香港中文大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Samsung Telecommunication Research（三星电信研究院）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；CPII（香港中文大学工程学院感知与交互研究中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出基于点云的TrajectoryFormer，通过融合时间预测框与当前检测框生成轨迹假设，并结合运动、外观特征及全局—局部交互，恢复漏检目标，在Waymo 3D MOT基准上达到SOTA。
GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture
Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系）；Research Center for Information Technology Innovation, Academia Sinica（中华学术院信息技术创新研究中心）；Microsoft AI（微软人工智能）
