LLA: Loss-aware Label Assignment for Dense Pedestrian Detection
Waseda University（早稻田大学）；Megvii Technology（旷视科技）
标记分配由于其对检测器性能的影响而在一般目标检测中得到了广泛的研究。然而，这些工作都没有集中在密集的行人检测标签分配。在本文中，我们提出了一个简单而有效的分配策略，称为损耗感知标签分配（LLA），以提高行人检测器在人群场景中的性能。LLA首先计算每个锚点和地面实况（GT）对之间的分类（cls）和回归（reg）损失。然后将联合损失定义为cls和reg损失的加权总和作为分配指标。最后，锚与前K个最小节点损失为某一GT盒指定为它的正锚。未分配给任何GT框的参数被认为是负数。损失感知标签分配是基于这样的观察，即具有较低联合损失的锚通常包含更丰富的语义信息，因此可以更好地表示其对应的GT盒。在CrowdHuman和CityPersons上的实验表明，这种简单的标签分配策略可以在两个著名的一级检测器RetinaNet和FCOS上分别提高MR 9.53%和5.47%，证明了LLA的有效性。
2021-03-12 cs.CV
Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Shanghai AI Laboratory（上海人工智能实验室）
图卷积网络（GCN）已成功用于视频中的3D人体姿态估计。然而，它往往是建立在固定的人体关节亲和力，根据人体骨骼。这可能会降低GCN处理视频中复杂的时空姿态变化的适应能力。为了缓解这个问题，我们提出了一种新的动态图网络（DG-Net），它可以动态地识别人体关节的亲和力，并估计3D姿态自适应学习空间/时间的联合关系从视频。与传统的图卷积不同，我们引入动态空间/时间图卷积（DSG/DTG）来发现每个视频样本的空间/时间人体关节亲和力，这取决于该视频中人体关节之间的空间距离/时间运动相似性。因此，它们可以有效地理解哪些关节在空间上更接近和/或具有一致的运动，以在将2D姿态提升到3D姿态时减少深度模糊性和/或运动不确定性。我们对三个流行的基准进行了广泛的实验，例如，Human3.6M、HumanEva-I和MPI-INF-3DHP，其中DG-Net以更少的输入帧和模型大小优于许多最近的SOTA方法。
2021-09-15 cs.CV
YOLOCS: Object Detection based on Dense Channel Compression for Feature Spatial Solidification
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing University（重庆大学）；Inspur Yunzhou Industrial Internet Co., Ltd（浪潮云洲工业互联网有限公司）；Guoqi Zhimo (Chongqing) Technology Co., Ltd（国汽智眸（重庆）科技有限公司）；Shenzhen University（深圳大学）
本文提出面向特征空间固化的密集通道压缩方法，并引入DCFS和ADH模块构建YOLOCS模型，在MSCOCO数据集上以相似推理速度实现AP显著提升。
2024-10-13 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
Joint Color-Spatial-Directional clustering and Region Merging (JCSD-RM) for unsupervised RGB-D image segmentation
Laboratoire Hubert Curien, Université Jean Monnet（让·莫奈大学于贝尔·居里实验室）
深度成像传感器的最新进展提供了对与颜色同步的深度（称为RGB-D图像）的容易访问。本文提出了一种无监督的室内RGB-D图像分割和分析方法。我们考虑一个统计图像生成模型的基础上的颜色和几何的场景。我们的方法包括一个联合颜色空间方向聚类方法，然后统计平面区域合并方法。我们在纽约大学深度数据库上评估了我们的方法，并将其与现有的无监督RGB-D分割方法进行了比较。结果表明，该方法与现有方法相比，计算时间更短。此外，它打开了有趣的视角，以无监督的方式融合颜色和几何形状。
2015-09-06 cs.CV
EDDense-Net: Fully Dense Encoder Decoder Network for Joint Segmentation of Optic Cup and Disc
COMSATS University Islamabad（伊斯兰堡COMSATS大学）；Queen’s University of Belfast（贝尔法斯特女王大学）；Aarhus University（奥胡斯大学）；King Saud University（沙特国王大学）
本文提出 EDDense-Net 全密集编码器-解码器网络用于视杯和视盘联合分割，通过密集块与分组卷积降低复杂度并保留空间信息，在两个公开数据集上准确率与效率均超越现有方法，可辅助青光眼诊断。
2023-11-23 cs.CV eess.IV
Spatial Lifting for Dense Prediction
School of Computer Science and Engineering（计算机科学与工程学院）
提出空间提升（SL）方法，将2D图像提升至高维空间并用3D U-Net等高维网络处理，在19个基准上取得竞争力的密集预测性能，同时参数量减少超98%并降低推理成本。
2025-07-14 cs.CV cs.LG eess.IV
Automated Road Extraction from Satellite Imagery Integrating Dense Depthwise Dilated Separable Spatial Pyramid Pooling with DeepLabV3+
Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）
本文提出用密集深度可分离空洞空间金字塔池化模块替代DeepLabV3+中的ASPP，并结合主干网络与Squeeze-and-Excitation模块，以提升卫星影像中复杂道路结构的自动提取精度。
2024-10-18 cs.CV cs.LG
Chain-of-Look Spatial Reasoning for Dense Surgical Instrument Counting
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出Chain-of-Look框架，通过结构化视觉链提升密集手术器械计数的准确性，并引入邻近损失函数和SurgCount-HD数据集，实验证明其在复杂场景中的优越性能。
2026-02-11 cs.AI cs.CV
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
Ford Greenfield Labs（福特绿地实验室）
三维目标检测和密集深度估计是自动驾驶中最重要的任务之一。多传感器模态可以共同属性朝向更好的机器人感知，并为此，我们介绍了一种方法，用于联合训练三维目标检测和单目密集深度重建神经网络。它在推理过程中将LiDAR点云和单个RGB图像作为输入，并生成对象姿势预测以及密集重建的深度图。将LiDAR点云转换为一组体素，并使用3D卷积层提取其特征，从中回归物体姿态参数。相应的RGB图像特征提取使用另一个二维卷积神经网络。我们进一步使用这些组合特征来预测密集的深度图。虽然我们的目标检测是以监督的方式训练的，但深度预测网络是用自监督和监督损失函数训练的。我们还介绍了一个损失函数，边缘保持平滑损失，并表明，这导致更好的深度估计相比，边缘感知平滑损失函数，经常用于深度预测工作。
2021-09-14 cs.AI cs.CV cs.LG
JointNet: Extending Text-to-Image Diffusion for Dense Distribution Modeling
Apple（苹果公司）；Nanjing University（南京大学）；The Hong Kong University of Science and Technology（香港科技大学）
JointNet扩展预训练文本到图像扩散模型，通过锁定RGB分支并添加密集连接的新模态分支，高效学习图像与深度等密集模态的联合分布，适用于RGBD生成、深度预测、深度条件图像生成及3D全景生成等任务。
2023-10-10 cs.CV
Dense Captioning with Joint Inference and Visual Context
Snap Inc.（Snap公司）
密集字幕是一个新兴的计算机视觉课题，用于理解具有密集语言描述的图像。目标是密集地检测视觉概念（例如，对象、对象部分以及它们之间的交互），用简短的描述性短语标记每个对象。我们确定了两个关键的挑战，密集字幕，需要妥善处理时，解决这个问题。首先，每个图像中密集的视觉概念注释与高度重叠的目标区域相关联，使得每个视觉概念的准确定位具有挑战性。其次，大量的视觉概念使得很难仅通过外观来识别它们中的每一个。我们提出了一个新的模型管道的基础上两个新的想法，联合推理和上下文融合，以减轻这两个挑战。我们设计我们的模型架构在一个有条不紊的方式，并彻底评估架构的变化。我们的最终模型，紧凑和高效，实现了最先进的准确性Visual Genome的密集字幕与73\%的相对增益相比，以前的最佳算法。定性实验也揭示了我们的模型在密集字幕的语义能力。
2017-08-07 cs.CV
Joint Pose and Principal Curvature Refinement Using Quadrics
Monash University（莫纳什大学）
在本文中，我们提出了一种新的联合方法优化表面曲率和姿态对齐。我们提出了两种实现这种联合优化策略，包括快速实现，使用两个帧和离线多帧的方法。我们证明了一个数量级的改进，在模拟状态的最先进的密集相对点到平面迭代最近点（ICP）的姿态对齐使用我们的密集联合帧到帧的方法，并显示可比的姿态漂移密集点到平面ICP束调整使用低成本的深度传感器。此外，我们改进的联合二次曲面为基础的方法可以用来更准确地估计表面曲率的噪声点云比以前的方法。
2017-07-14 cs.CV
Flow-NeRF: Joint Learning of Geometry, Poses, and Dense Flow within Unified Neural Representations
HKUST（香港科技大学）
提出 Flow-NeRF 统一框架，通过以位姿为条件的双射光流映射和跨空间特征增强，联合在线优化几何、相机位姿与稠密光流，并在四类任务上取得优异结果。
2025-03-13 cs.CV
Dense Non-rigid Structure-from-Motion Made Easy - A Spatial-Temporal Smoothness based Solution
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
提出了一种基于时空平滑的稠密非刚体运动恢复结构（NRSfM）求解方法。首先，我们回顾了时间光滑性，并证明了它可以直接扩展到稠密的情况。其次，我们建议利用空间平滑诉诸拉普拉斯的三维非刚性形状。第三，为了处理测量中的真实世界噪声和离群值，我们通过使用$L_1$范数对数据项进行鲁棒化。通过这种方式，我们的方法可以鲁棒地利用空间和时间平滑有效地，使密集的非刚性重建容易。我们的方法是非常容易实现的，它涉及到解决一系列的最小二乘问题。在合成图像和真实图像的密集NRSfM任务上的实验结果表明，该方法优于最先进的密集非刚性重建方法。
2017-06-27 cs.CV
Adversarial Patch Generation for Visual-Infrared Dense Prediction Tasks via Joint Position-Color Optimization
Yanshan University（燕山大学）；University of Exeter（埃克塞特大学）
本文提出AP-PCO框架，通过联合优化位置和颜色生成对抗性补丁，提升视觉-红外密集预测任务中的攻击性能和隐蔽性。
2026-02-27 cs.CV
Dense 3D Face Decoding over 2500FPS: Joint Texture & Shape Convolutional Mesh Decoders
Imperial College London（帝国理工学院）；University of Middlesex（密德萨斯大学）；FaceSoft
3D可变形模型（3DMM）是使用一组线性基和更具体的主成分分析（PCA）来表示面部纹理和形状变化的统计模型。3DMM被用作统计先验，通过求解非线性最小二乘优化问题从图像重建3D人脸。最近，3DMM被用作生成模型，用于通过深度卷积神经网络（DCNN）训练从图像到模型参数的非线性映射（\ie，回归器）。尽管如此，所有上述方法都在参数展开的UV空间上使用完全连接的层或2D卷积，从而导致具有许多参数的大型网络。在本文中，我们提出了第一个，据我们所知，非线性3DMMs通过学习联合纹理和形状自动编码器使用直接网格卷积。我们演示了这些自动编码器如何用于训练非常轻的模型，这些模型以超过2500 FPS的速度在野外执行彩色网格解码（CMD）。
2019-04-06 cs.CV
DeSTNet: Densely Fused Spatial Transformer Networks
Onfido Research（Onfido研究院）
现代卷积神经网络（CNN）在一系列计算机视觉任务上非常强大。然而，当数据的特点是由空间变换引起的大类内变异时，它们的性能可能会降低。空间Transformer网络（Space-Transformer Network，简称ANN）目前是CNN在端到端学习框架中移除这些转换并提高性能的首选方法。在本文中，我们提出了密集融合空间Transformer网络（DeSTNet），据我们所知，这是第一个密集融合模式，用于组合多个STNs。具体来说，我们展示了如何将多个STNs的连接模式从顺序变为密集，从而产生更强大的对齐模块。在MNIST、GTSRB和IDocDB三个基准上的大量实验表明，所提出的技术优于相关的最先进的方法（即，STNs和CSTNs）在准确性和鲁棒性方面都有改进。
2018-07-16 cs.CV
D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features
Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
一个成功的点云配准往往依赖于通过歧视性的3D局部特征的稀疏匹配的鲁棒建立。尽管基于学习的3D特征描述符的快速发展，很少有人注意到3D特征检测器的学习，甚至更少的两个任务的联合学习。在本文中，我们利用3D点云的3D全卷积网络，并提出了一种新颖实用的学习机制，可以密集预测每个3D点的检测分数和描述特征。特别是，我们提出了一种关键点选择策略，克服了3D点云的固有密度变化，并进一步提出了一种由训练过程中的动态特征匹配结果指导的自监督检测器丢失。最后，我们的方法在室内和室外场景下都取得了最先进的结果，在3DMatch和KITTI数据集上进行了评估，并在ETH数据集上显示了其强大的泛化能力。面向实际应用，我们表明，通过采用可靠的特征检测器，采样较少的特征就足以实现准确和快速的点云对齐。[code release]（https：//github.com/XuyangBai/D3Feat）
2020-03-06 cs.CV
Dense Multimodal Fusion for Hierarchically Joint Representation
School of Computer Science（计算机学院）；Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）
多模态通过以不同的方式描述相同的内容，可以提供比单一模态更有价值的信息。因此，通过融合不同模态的特征来学习有效的联合表示被寄予厚望。然而，以前的方法主要集中在融合由单峰深度网络生成的浅层特征或高级表示，这些方法仅捕获跨模态的部分层次相关性。在本文中，我们提出了密集集成的表示之间的不同的模态特定的网络，这被命名为密集多模态融合（DMF）之间的多个共享层的greenstacking。不同共享层中的联合表示可以捕获不同级别的相关性，并且共享层之间的连接也提供了一种有效的方式来学习分层相关性之间的依赖性。这两个属性共同促成了DMF中的多条学习路径，从而实现了更快的收敛、更低的训练损失和更好的性能。我们评估我们的模型上三个典型的多模态学习任务，包括视听语音识别，跨模态检索，和多模态分类。实验结果表明，该模型能够学习到更有效的联合表示。
2018-10-08 cs.CV cs.MM
DenseRaC: Joint 3D Pose and Shape Estimation by Dense Render-and-Compare
Facebook Reality Labs（Facebook现实实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了DenseRaC，一种新的端到端的框架，用于从单目RGB图像中联合估计3D人体姿势和体形。我们的两步框架采用身体像素到表面的对应图（即，IUV图）作为代理表示，然后执行参数化的人体姿势和形状的估计。具体来说，给定估计的IUV图，我们开发了一个深度神经网络，优化3D身体重建损失，并进一步集成渲染和比较方案，以最小化输入和渲染输出之间的差异，即，密集的身体标志，身体部位面具，和对抗性先验。为了促进学习，我们进一步利用网络抓取的Mocap序列，3D扫描和动画构建了一个大规模合成数据集（MOCA）。生成的数据涵盖了多样化的相机视图、人类动作和体型，并与完整的地面实况配对。我们的模型联合学习从混合数据集中表示3D人体，减轻了不成对的训练数据的问题。我们的实验表明，DenseRaC在各种与人类相关的任务的公共基准测试中获得了优于最先进技术的性能。
2019-10-09 cs.CV cs.LG eess.IV
From Spots to Pixels: Dense Spatial Gene Expression Prediction from Histology Images
Beijing Institute of Technology（北京理工大学）；The Australian National University（澳大利亚国立大学）
本文提出PixNet，通过组织学图像直接预测密集空间基因表达，提升不同尺度下的基因表达预测精度。
2025-11-25 cs.CV
JASPR: Joint Spatial Representation learning of histology and spatial genomics for improved virtual genomic screening and clinical prognostication
提出自监督框架JASPR，通过跨模态重建目标整合HE图像和空间转录组数据，学习联合空间表示，在乳腺癌数据上显著提升基因表达预测和预后价值。
2026-06-24 cs.CV
Joint Event Detection and Description in Continuous Video Streams
Boston University（波士顿大学）；Baidu Research（百度研究院）；University of British Columbia（英属哥伦比亚大学）
密集视频字幕是一个细粒度的视频理解任务，涉及两个子问题：定位长视频流中的不同事件，并为本地化事件生成字幕。我们提出了联合事件检测和描述网络（JEDDi-Net），它解决了密集的视频描述任务的端到端的方式。我们的模型连续编码的输入视频流与三维卷积层，提出了可变长度的时间事件的基础上汇集的功能，并生成他们的字幕。建议特征通过来自共享视频特征编码的3D感兴趣段池在每个建议段内提取。为了明确建模的视觉事件和他们的字幕在一个单一的视频之间的时间关系，我们还提出了一个两级分层字幕模块，跟踪上下文。在大规模的ActivityNet Captions数据集上，JEDDi-Net展示了通过标准指标衡量的改进结果。我们还提出了第一个密集字幕结果的TACoS-MultiLevel数据集。
2018-12-25 cs.CV
UniGP: Taming Diffusion Transformer for Prior-Preserved Unified Generation and Perception
The Hong Kong University of Science and Technology（香港科学与技术大学）；DAMO Academy, Alibaba Group（阿里云达摩院）；Hupan Lab（虎扑实验室）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Zeekr Automobile R&D Co., Ltd.（小鹏汽车研发有限公司）
提出UniGP框架，基于MMDiT通过简单联合训练统一可控生成与密集预测，无需复杂任务设计，保留骨干先验，在多个任务上超越先前统一方法并与专用方法持平。
2026-06-29 cs.CV
MoGenTS: Motion Generation based on Spatial-Temporal Joint Modeling
Alibaba Group（阿里巴巴集团）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出MoGenTS框架，通过将每个独立关节量化为向量以保留时空结构，并利用2D关节VQVAE、时空2D掩码与注意力机制建模时空信号，在多个数据集上显著提升运动生成性能。
2024-12-18 cs.CV
Dense Cross-Scale Image Alignment With Fully Spatial Correlation and Just Noticeable Difference Guidance
针对现有无监督图像对齐精度有限、计算复杂的问题，提出考虑跨尺度特征相关性、支持精度效率权衡、含全空间相关性模块及恰可察觉差异引导的模型，实验证明其优于现有最优方法。
2025-11-12 cs.CV
Dense Interaction Learning for Video-based Person Re-identification
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
基于视频的人物重新识别（re-ID）旨在跨视频片段匹配同一个人。有效地利用多尺度细粒度特征，同时建立它们之间的结构交互是其成功的关键。在本文中，我们提出了一个混合框架，密集交互学习（DenseIL），它采用了基于CNN和基于注意力的架构的主要优势，以解决基于视频的人重新识别困难。DenseIL包含一个CNN编码器和一个密集交互（DI）解码器。CNN编码器负责有效地提取有区别的空间特征，而DI解码器被设计为密集地对跨帧的时空固有交互进行建模。与之前的工作不同的是，我们还让DI解码器密集地关注中间细粒度的CNN特征，从而自然地为每个视频剪辑产生多粒度的时空表示。此外，我们引入空间-时间位置嵌入（STEP-Emb）到DI解码器中，以研究时空输入之间的位置关系。我们的实验在多个标准的基于视频的人重新识别数据集上一致且显着优于所有最先进的方法。
2021-08-17 cs.CV
Joint Dense-Point Representation for Contour-Aware Graph Segmentation
Barts Health NHS Trust（巴特保健国民保健信托基金会）；Queen Mary University of London（伦敦玛丽女王大学）
提出联合学习点与像素轮廓表示的方法，结合图分割与稠密分割优势，通过混合轮廓距离损失解决边界惩罚问题，在多个Chest X-ray数据集上显著提升了分割稳定性与准确性。
2023-06-21 cs.CV cs.LG eess.IV
JGR-P2O: Joint Graph Reasoning based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image
South China University of Technology（华南理工大学）；University of Oulu（奥卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有技术的基于单深度图像的3D手部姿势估计方法基于密集预测，包括体素到体素预测、点对点回归和逐像素估计。尽管这些方法具有良好的性能，但它们在本质上存在一些问题，例如准确性和效率之间的权衡差，以及带有局部卷积的普通特征表示学习。针对上述问题，提出了一种基于像素预测的图像分割方法。关键思想有两个方面：a）明确建模关节之间的依赖关系以及像素和关节之间的关系，以更好地进行局部特征表示学习; b）统一密集的逐像素偏移预测和直接联合回归，以进行端到端训练。具体来说，我们首先提出了一个图卷积网络（GCN）的联合图推理模块来模拟关节之间的复杂依赖关系，并增加每个像素的表示能力。然后，我们密集地估计所有像素在图像平面和深度空间中到关节的偏移，并通过对所有像素的预测进行加权平均来计算关节的位置，完全丢弃复杂的后处理操作。所提出的模型使用高效的2D全卷积网络（FCN）骨干实现，并且只有大约1.4M的参数。在多个3D手部姿态估计基准测试上进行的大量实验表明，该方法在单个NVIDIA 1080Ti GPU上以约110 fps的速度非常高效地运行的同时，实现了新的最先进的精度。
2020-07-10 cs.CV
Joint 3D Human Shape Recovery and Pose Estimation from a Single Image with Bilayer Graph
University of Utah（犹他大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
从图像估计3D人体形状和姿势的能力在许多情况下是有用的。最近的方法已经探索使用图卷积网络，并取得了可喜的成果。3D形状由网格（无向图）表示的事实使得图卷积网络自然适合此问题。然而，图卷积网络具有有限的表示能力。来自图中节点的信息被传递给连接的邻居，信息的传播需要连续的图卷积。为了克服这个限制，我们提出了一个双尺度图的方法。我们使用一个粗糙的图，从一个密集的图，估计人的三维姿态，和密集的图估计的三维形状。与稠密图相比，粗糙图中的信息可以传播更长的距离。此外，姿态信息可以指导恢复局部形状细节，反之亦然。我们认识到粗糙和密集之间的连接本身就是一个图，并引入图融合块来交换不同尺度的图之间的信息。我们对模型进行了端到端的训练，并证明我们可以在多个评估数据集上获得最先进的结果。
2021-12-05 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University（复旦大学）；University of Maryland, College Park（马里兰大学学院公园分校）
VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Vision Pretraining for Dense Spatial Perception
针对现有视觉基础模型牺牲空间细节理解的问题，提出以边界为中心的掩码边界建模自监督预训练范式，提升稠密空间感知能力与下游任务性能。
2026-07-07 cs.CV
Multimodal joint prediction of traffic spatial-temporal data with graph sparse attention mechanism and bidirectional temporal convolutional network
Sun Yat-sen University（中山大学）；Bolu Abant Izzet Baysal University（博卢阿班特伊泽特拜萨尔大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹王子大学）
本文提出GSABT方法，通过图稀疏注意力机制与双向时间卷积网络实现多模态交通时空数据联合预测，在三个真实数据集上取得最优性能。
2024-12-24 cs.CV
Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning
The University of Tokyo（东京大学）
使用卷积神经网络（CNN）从图像中提取特征并使用递归神经网络（RNN）生成字幕的工作流程已经成为图像描述任务的事实标准。然而，由于CNN特征最初是为分类任务而设计的，因此它主要关注图像的主要显著元素，并且通常无法正确地传达关于局部次要元素的信息。我们建议将编码与局部聚集描述符（VLAD）的空间金字塔的子区域的CNN功能，以产生图像表示，更好地反映图像的局部信息。我们的研究结果表明，我们的紧凑VLAD编码方法可以匹配CNN功能，只有3%的维度，当与空间金字塔相结合时，它会导致图像字幕，更准确地考虑到本地元素。
2016-03-30 cs.CV
H-Flow: Self-supervised Human Scene Flow via Physics-inspired Joint Multi-modal Learning
Michigan State University（密歇根州立大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出H-Flow，一种能够同时捕捉骨骼运动学和表面变形的密集人体场景流方法，通过物理启发的联合多模态学习实现自监督，引入高保真合成基准DynAct4D，并在标准基准和零样本场景中优于现有方法。
2026-05-21 cs.CV
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
高质量的视频修复是一个很有前途但又具有挑战性的任务。现有的方法采用注意力模型，通过从参考帧中搜索缺失的内容来完成一帧，并进一步逐帧完成整个视频。然而，这些方法可能会受到沿着空间和时间维度的不一致的注意力结果的影响，这通常会导致视频中的模糊和时间伪影。在本文中，我们提出了一个联合学习时空Transformer网络（STTN）的视频修复。具体来说，我们同时填补丢失的区域在所有输入帧的自我注意，并建议优化STTN的时空对抗损失。为了显示所提出的模型的优越性，我们进行定量和定性的评价，使用标准的静止掩模和更真实的运动物体掩模。演示视频可在https://github.com/researchmm/STTN上获得。
2020-07-20 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）；Research Center for Intelligent Security Technology, CIGIT（智能安全技术研究中心（CIGIT））
我们提出了一种简单的方法，同时重建的3D面部结构，并提供密集的对齐。为了实现这一点，我们设计了一个二维表示称为UV位置图，它记录了一个完整的脸在UV空间的三维形状，然后训练一个简单的卷积神经网络，从一个单一的二维图像回归。我们还在训练过程中将权重掩码集成到损失函数中，以提高网络的性能。我们的方法不依赖于任何先前的人脸模型，并可以重建完整的面部几何形状以及语义意义。同时，我们的网络非常轻量级，处理一张图像只需9.8ms，比以前的作品快得多。在多个具有挑战性的数据集上的实验表明，我们的方法在重建和对齐任务上都大大优于其他最先进的方法。
2018-03-21 cs.CV cs.GR
Learning Multiple Dense Prediction Tasks from Partially Annotated Data
University of Edinburgh（爱丁堡大学）
尽管最近在密集预测问题的多任务学习方面取得了进展，但大多数方法都依赖于昂贵的标记数据集。在本文中，我们提出了一种标签有效的方法，并研究了在部分注释的数据（即不是所有的任务标签都可用于每个图像）上的多个密集预测任务的联合学习，我们称之为多任务部分监督学习。我们提出了一个多任务训练过程，成功地利用任务关系来监督其多任务学习时，数据是部分注释。特别是，我们学会了将每个任务对映射到一个联合的成对任务空间，通过另一个以任务对为条件的网络，以计算效率高的方式在它们之间共享信息，并通过保留有关输入图像的高级信息来避免学习琐碎的跨任务关系。我们严格证明，我们提出的方法有效地利用图像与未标记的任务，并优于现有的半监督学习方法和相关方法的三个标准基准。
2022-05-04 cs.CV
GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose
SenseTime Research（商汤科技研究院）
我们提出了GeoNet，一个联合无监督学习框架，用于从视频中进行单目深度、光流和自我运动估计。这三个组件通过3D场景几何的性质耦合在一起，由我们的框架以端到端的方式共同学习。具体地说，几何关系提取的各个模块的预测，然后结合作为一个图像重建损失，推理静态和动态场景的部分分开。此外，我们提出了一个自适应的几何一致性损失，以增加对离群值和非朗伯区域的鲁棒性，有效地解决了遮挡和纹理模糊。在KITTI驾驶数据集上的实验表明，我们的方案在所有三个任务中都取得了最先进的结果，比以前的无监督方法表现得更好，并且与有监督的方法相结合。
2018-03-12 cs.CV
DePT3R: Joint Dense Point Tracking and 3D Reconstruction of Dynamic Scenes in a Single Forward Pass
University of California, Los Angeles（加州大学洛杉矶分校）
DePT3R通过提取深度时空特征和密集预测头，实现动态场景的密集点跟踪与3D重建，无需相机姿态，提升适应性和效率。
2026-04-02 cs.AI cs.CV
Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition
Zhengzhou University（郑州大学）；DAMO Academy, Alibaba Group (U.S.) Inc（阿里巴巴集团（美国）达摩院）；University of Wollongong（伍伦贡大学）
尽管Transformer在各种视觉任务中取得了很大的进步，但它仍然是基于视觉的动作识别的探索不足，只有少数尝试。此外，这些方法直接在空间和时间维度上计算所有关节的成对全局自注意，低估了判别性局部关节和短程时间动态的影响。在这项工作中，我们提出了一种新的焦点和全球时空Transformer网络（FG-STFormer），它配备了两个关键组件：（1）FG-SFormer：焦点关节和全球部分耦合空间Transformer。它迫使网络专注于分别为学习到的有区别的空间关节和人体部位建模相关性。选择性的局灶节点消除了无信息节点在积累相关性过程中的负面影响。同时，焦点关节和身体部位之间的相互作用被纳入通过相互交叉注意来增强空间依赖性。(2)FG-TFormer：焦点和全局时间Transformer。扩展时间卷积被集成到全局自注意力机制中，以显式地捕获关节或身体部位的局部时间运动模式，这对使时间Transformer工作至关重要。在NTU-60，NTU-120和NW-UCLA三个基准上的大量实验结果表明，我们的FG-STFormer超越了所有现有的基于变压器的方法，并与最先进的基于GCN的方法相媲美。
2022-10-06 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University（首尔大学）；Inha University（仁荷大学）
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题，提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块，首次将Transformer成功应用于360°深度估计，并在多个基准上达到最先进性能。
2021-12-30 cs.CV
SCPNet: Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification
Zhejiang University（浙江大学）；Megvii Inc. (Face++)（旷视科技（Face++））
在过去的几年里，整体人再识别（ReID）得到了广泛的研究，并取得了令人瞩目的进展。然而，在实际场景中，人经常被障碍物或其他人遮挡，这使得部分人重新识别不是微不足道的。在本文中，我们提出了一个空间通道并行网络（SCPNet），其中ReID特征中的每个通道都关注身体的给定空间部分。空间-通道对应关系监督网络学习用于整体和部分人重新识别的区分特征。在四个整体ReID数据集上训练的单个模型在这四个数据集上实现了具有竞争力的准确性，并且在两个未训练的部分ReID数据集上优于最先进的方法。
2018-10-16 cs.CV
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；E-surfing Vision Technology Co., Ltd.（天翼视觉科技有限公司）
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题，提出I2ST，通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
Spatial Morphing Kernel Regression For Feature Interpolation
University of California, Merced（加州大学默塞德分校）
近年来，地理标记的社交媒体作为地理知识发现的新来源已经变得流行。地面图像和视频提供了一个不同的角度比开销图像，并可以应用于一系列的应用，如土地利用绘图，活动检测，污染绘图等，这种数据的稀疏和不均匀的分布提出了一个问题，但是，生成密集的地图。因此，我们调查的问题，空间插值的高维特征提取稀疏的社会媒体，使密集的标签使用标准分类器。此外，我们展示了如何先验知识的区域边界可以用来提高插值通过空间变形核回归。我们表明，插值然后分类框架可以产生密集的地图从稀疏的观察，但必须小心选择插值方法。我们还表明，空间变形内核提高了结果。
2018-05-04 cs.CV
Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking
The Hong Kong University of Science and Technology（香港科技大学）
直接从序列图像中学习多个三维目标的运动是困难的，而几何光束法平差缺乏定位不可见目标质心的能力。为了利用深度神经网络强大的目标理解能力，同时解决精确的几何建模以实现一致的轨迹估计，我们提出了一种基于时空联合优化的立体3D目标跟踪方法。从网络中，我们检测相邻图像上的相应的2D边界框，并回归初始3D限界框。然后使用基于区域的网络预测与对象质心相关联的密集对象线索（局部深度和局部坐标）。同时考虑到即时定位精度和运动一致性，我们的优化模型之间的关系的对象质心和观察到的线索到一个联合的时空误差函数。所有的历史线索将被总结，以有助于通过每帧边缘化策略的当前估计，而无需重复计算。KITTI跟踪数据集的定量评估表明，我们的方法优于以前的基于图像的3D跟踪方法的显着利润率。我们还报告了多个类别和更大数据集（KITTI raw和Argoverse Tracking）的广泛结果，以供未来的基准测试。
2020-04-20 cs.CV
Road Mapping In LiDAR Images Using A Joint-Task Dense Dilated Convolutions Merging Network
Norwegian Computing Center（挪威计算中心）；UiT the Arctic University of Norway（挪威北极大学（特罗姆瑟大学））
对林业来说，准确地绘制用于卡车运输木材的道路是重要的，但也是具有挑战性的。在这项工作中，我们提出了一个密集扩张卷积合并网络（DDCM-Net）来检测激光雷达图像中的这些道路。DDCM-Net可以有效地识别具有相似纹理和颜色的多尺度和复杂形状的道路，并且比现有方法具有更优越的性能。为了进一步提高其准确推断道路类别的能力，我们提出了使用联合任务学习策略，该策略利用两个辅助输出分支，即多类分类和二进制分割，与全类分割的主要输出相结合。这推动网络学习更强大的表示，预计将提高主要任务的最终性能。此外，我们引入了一个迭代随机加权方法来自动权衡辅助任务的联合损失。这可以避免手动调整每个任务损失的权重的困难和昂贵的过程。实验表明，我们提出的联合任务DDCM-Net可以实现更好的性能与更少的参数和更高的计算效率比以前的国家的最先进的方法。
2019-09-07 cs.CV cs.LG eess.IV
Dense open-set recognition with synthetic outliers generated by Real NVP
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
今天的深度模型通常无法检测不属于训练分布的输入。这导致了自信的错误预测，这可能会在许多重要的应用领域（如医疗保健和自动驾驶）中导致毁灭性的后果。有趣的是，歧视和生成模型似乎同样受到影响。因此，这种脆弱性是一个重要的研究挑战。我们考虑一种基于联合学习的合成离群值的判别式训练的离群值检测方法。我们通过对RNVP模型进行采样来获得合成离群值，RNVP模型经过联合训练以在训练分布的边界处生成数据点。我们表明，这种方法可以适用于同时语义分割和密集离群检测。我们目前的图像分类实验CIFAR-10，以及语义分割实验三个现有的数据集（StreetHazards，WD Pascal，Fishyscapes Lost & Found），和一个贡献的数据集。我们的模型在最先进的技术水平方面具有竞争力，尽管只使用一次向前传递进行预测。
2020-11-22 cs.CV
SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction
Key Laboratory for Information Science of Electromagnetic Waves, Ministry of Education, Fudan University（复旦大学电磁波信息科学教育部重点实验室）；Discipline and Technology Center of Microwave Vision Intelligent Sensing, Fudan University（复旦大学微波视觉智能感知学科与技术中心）
提出空间-频率联合感知异质知识蒸馏框架SFKD，利用多级离散小波变换解耦空间信息，结合双流双阶段精化模块和高斯滤波频率损失，实现异质模型间的有效知识迁移。
2026-07-03 cs.CV
DOR3D-Net: Dense Ordinal Regression Network for 3D Hand Pose Estimation
Samsung R&D Institute China–Beijing（三星中国北京研发研究院）；Multimedia System TU, SAIT, SEC, Korea（韩国三星电子高级技术院多媒体系统技术部）
本文将3D手部姿态估计重新表述为密集序数回归问题，提出DOR3D-Net，通过将偏移值回归分解为带序数约束的二元分类子任务降低噪声，并结合两种损失端到端训练，在多个公开数据集上显著优于现有SOTA方法。
2024-03-20 cs.AI cs.CV
Joint Object-Material Category Segmentation from Audio-Visual Cues
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Technicolor（特艺公司）
仅从视觉线索识别物体并推断场景的材料属性并不总是可能的，因为物体可能在视觉上看起来相似，但由非常不同的材料制成。因此，在本文中，我们提出了一种方法，增加了可用的密集的视觉线索与稀疏的听觉线索，以估计密集的对象和材料的标签。由于估计对象类和材料属性是相互信息，我们优化我们的多输出标签联合使用随机场框架。我们在一个新的数据集上评估我们的系统，该数据集包含我们公开提供的成对视觉和听觉数据。我们证明，这种联合估计的对象和材料标签显着优于任何类别的估计孤立。
2016-01-10 cs.CV cs.SD
Spatial Lifting for Dense Prediction
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）
本文提出空间提升（SL）方法，通过将2D图像提升到高维空间并用3D网络处理，在保持性能的同时大幅减少参数和推理成本，并支持密集监督与不确定性估计。
2026-10-02 cs.AI cs.CV cs.LG
