SUB-Depth: Self-distillation and Uncertainty Boosting Self-supervised Monocular Depth Estimation
School of Computing Sciences（计算科学学院）；University of East Anglia（东英吉利大学）
我们提出了SUB-Depth，一个通用的多任务训练框架，用于自监督单目深度估计（SVM）。使用SUB-Depth训练的深度模型优于在标准单任务训练框架中训练的相同模型。通过将额外的自蒸馏任务引入到标准的训练框架中，SUB-Depth训练深度网络，不仅可以预测图像重建任务的深度图，还可以从具有未标记数据的经过训练的教师网络中提取知识。为了利用这种多任务设置，我们提出了每个任务的同方差不确定性公式，以惩罚可能受到教师网络噪声影响或违反网络噪声假设的区域。我们对KITTI进行了广泛的评估，以证明使用所提出的框架训练一系列现有网络所取得的改进，并且我们在这项任务上实现了最先进的性能。此外，SUB-Depth使模型能够估计深度输出的不确定性。
2022-11-29 cs.CV
Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）；University of Bonn（波恩大学）
本文介绍了排名信息噪声对比估计（RINCE），一个新的成员在家庭的InfoNCE损失，保持了排名排序的正样本。与标准的InfoNCE损失相比，它需要将训练对严格地二进制分离为相似和不相似的样本，RINCE可以利用有关相似性排名的信息来学习相应的嵌入空间。我们表明，建议的损失函数学习有利的嵌入相比，标准的InfoNCE时，至少可以获得嘈杂的排名信息，或当定义的积极和消极的是模糊的。我们证明了这一点的监督分类任务，额外的超类标签和嘈杂的相似性分数。此外，我们还通过对视频的无监督表示学习进行实验，证明了RINCE也可以应用于无监督训练。特别是，嵌入产生更高的分类精度，检索率和性能更好的分布外检测比标准的InfoNCE损失。
2022-01-27 cs.CV
Detaching and Boosting: Dual Engine for Scale-Invariant Self-Supervised Monocular Depth Estimation
Northwestern Polytechnical University（西北工业大学）；Baidu Inc.（百度公司）
单目深度估计（MDE）在自我监督的情况下已经成为一个有前途的方法，因为它避免了地面真实深度的要求。尽管不断努力，MDE仍然对尺度变化敏感，特别是当所有训练样本都来自一台相机时。同时，它进一步恶化，因为相机移动导致预测深度和尺度变化之间的严重耦合。在本文中，我们提出了一种自监督MDE的尺度不变方法，其中尺度敏感特征（SSFs）被分离，而尺度不变特征（SIF）被进一步提升。具体而言，提出了一种简单但有效的数据增强方法，通过模仿摄像机变焦过程来分离SSF，使模型对尺度变化具有鲁棒性。此外，设计了动态交叉注意模块，通过自适应融合多尺度交叉注意特征来提高SIF。在KITTI数据集上的大量实验表明，分离和提升策略在MDE中是相互补充的，并且我们的方法在0.097到0.090的绝对相对误差范围内实现了对现有作品的新的最先进性能。该代码将很快公布。
2023-02-20 cs.CV
Boosting Semi-Supervised 2D Human Pose Estimation by Revisiting Data Augmentation and Consistency Training
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Chongqing Academy of Science and Technology（重庆科学技术研究院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对2D人体姿态估计需大量标签的问题，提出基于半监督学习的方法，通过挖掘未标记数据，结合现有增强方法的协同效应构建易-难增强对，以多路径预测优化多损失，提升模型性能与通用性。
2025-02-13 cs.CV
Interactive Hand Pose Estimation: Boosting accuracy in localizing extended finger joints
Tsinghua University（清华大学）
准确的三维手势估计在人机交互中起着重要的作用。在人机界面的实际应用中，手指的伸展关节，特别是相应的指尖，比其他关节重要得多。我们提出了一种新的方法来细化伸出手指关节位置后，获得粗略的手姿态估计。它首先检测哪些手指正在伸出，然后基于随机森林，某些联合的相邻像素投票为其新位置。该算法在两个公共数据集上进行了测试：MSRA15和ICVL。在伸出手指的细化阶段之后，预测的HMI手指关节位置的误差显著减小。所有指尖的平均误差减少约5mm（相对超过20%）。伸展指尖位置更加精确，在MSRA 15中减少了10.51mm（相对41.4%）。
2018-07-25 cs.CV cs.HC
BioDet: Boosting Industrial Object Detection with Image Preprocessing Strategies
Technical University of Munich（慕尼黑技术大学）；XYZ Robotics（XYZ机器人）
针对工业环境中目标检测在杂乱、光照不足等条件下性能退化的问题，提出基于低光增强和基础模型开词汇检测引导背景去除的即插即用预处理流程，显著提升检测精度且开销极小。
2025-10-23 cs.CV
Depth-based Privileged Information for Boosting 3D Human Pose Estimation on RGB
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对单RGB图像3D人体姿态估计的歧义问题，提出利用特权信息范式，让RGB生成网络学习深度预训练主干的特征，仅用RGB即可提取深度信息，提升性能且适配小数据集。
2024-09-17 cs.CV
Boosting Monocular Metric Depth Estimation via Bokeh Rendering
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Beihang University（北航大学）
提出BokehDepth两阶段框架，利用物理生成模型产生校准散景堆栈作为无监督几何信号，通过散景感知聚合模块提升单目深度估计的度量精度。
2026-05-25 cs.CV
Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation
近年来，多阶段策略已成为视觉跟踪的一种流行趋势。该策略首先利用基本跟踪器对目标进行粗定位，然后利用细化模块获得更精确的结果。然而，现有的细化模块受到有限的可移植性和精度。在这项工作中，我们提出了一种新颖的，灵活的和准确的细化模块称为Alpha-Refine，它利用一个精确的像素相关层与空间感知的非局部层融合功能，并可以预测三个互补的输出：限界框，角落和掩码。为了明智地选择最合适的输出，我们还设计了一个轻量级的分支选择器模块。我们将建议的Alpha-Refine模块应用于五个著名的和最先进的基础跟踪器：DiMP，ATOM，SiamRPN++，RTMDNet和ECO。在TrackingNet、LaSOT和VOT 2018基准上的综合实验表明，与其他现有的细化方法相比，该方法显着提高了跟踪性能。源代码将在https://github.com/MasterBin-IIAU/AlphaRefine上提供。
2021-04-05 cs.CV
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从单个RGB图像估计关节式3D手部对象姿势是一个高度模糊且具有挑战性的问题，需要包含不同手部姿势、对象类型和相机视点的大规模数据集。大多数真实世界的数据集缺乏这些数据。相比之下，数据合成可以很容易地分别确保这些差异。然而，构建有效和多样的手-物体交互以及从大量的合成数据中有效地学习仍然是具有挑战性的。为了解决上述问题，我们提出了ArtiBoost，一个轻量级的在线数据增强方法。ArtiBoost通过在复合手对象配置和视点空间（CCV-space）中采样，可以覆盖不同的手对象姿态和摄像机视点，并通过损失反馈和样本重新加权，自适应地丰富当前难以识别的项。ArtiBoost在学习管道内交替执行数据探索和合成，这些合成数据被混合到真实世界的源数据中进行训练。我们在简单的学习基线网络上应用ArtiBoost，并在几个手部对象基准测试中见证了性能的提升。我们的模型和代码可以在https://github.com/lixiny/ArtiBoost上找到。
2022-03-25 cs.AI cs.CV
VI-Net: Boosting Category-level 6D Object Pose Estimation via Learning Decoupled Rotations on the Spherical Representations
South China University of Technology（华南理工大学）；DexForce Technology Co. Ltd.（德擎科技有限公司）；Hong Kong Polytechnic University（香港理工大学）
针对6D姿态估计中SO(3)空间旋转学习难的问题，提出VI-Net将旋转解耦为视点与平面内旋转，基于SPA-SConv构建球面特征金字塔实现等变特征提取，在类别级6D姿态估计任务上精度大幅超越现有方法。
2023-08-19 cs.CV
PRIMA: Boosting Animal Mesh Recovery with Taxonomic Priors and Adaptation-Driven Data Bootstrapping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出PRIMA框架，通过生物先验（BioCLIP嵌入）和测试时自适应策略，解决严重物种和姿态不平衡下的3D四足动物网格恢复问题，实现高泛化性能并构建大规模伪3D数据集Quadruped3D。
2026-10-28 cs.CV
ShapeBoost: Boosting Human Shape Estimation with Part-Based Parameterization and Clothing-Preserving Augmentation
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
针对单目RGB图像中不同体型与服装导致的人体形状恢复难题，提出ShapeBoost框架，通过基于部位的形状参数化、半解析重建及保留服装的数据增强，提升罕见体型和多样服装下的估计精度。
2024-03-02 cs.CV
Boosting Image-based Mutual Gaze Detection using Pseudo 3D Gaze
Google（谷歌）；Waymo
相互注视检测，即，预测两个人是否在看着对方，在理解人类互动中起着重要的作用。在这项工作中，我们专注于基于图像的相互凝视检测的任务，并提出了一种简单有效的方法，通过在训练阶段使用辅助3D凝视估计任务来提高性能。我们实现了性能提升，而无需额外的标签成本，通过训练的3D凝视估计分支使用伪3D凝视标签推导出的相互凝视标签。通过在3D凝视估计和相互凝视检测分支之间共享头部图像编码器，我们实现了比通过单独训练相互凝视检测分支所学习的更好的头部特征。在三个图像数据集上的实验结果表明，该方法在不增加额外标注的情况下，显著提高了检测性能。这项工作还引入了一个新的图像数据集，该数据集由33.1K对人类组成，在29.2K图像中使用相互凝视标签进行注释。
2020-12-22 cs.CV
Improved Multi-Class Cost-Sensitive Boosting via Estimation of the Minimum-Risk Class
Transmural Biotech（跨壁生物技术公司）；Caltech（加州理工学院）
我们提出了一个简单的统一框架，多类成本敏感的提升。最小风险类别是直接估计的，而不是通过后验分布的近似。我们的方法联合优化了二进制弱学习器及其相应的输出向量，要求类在每次迭代时共享特征。通过以成本敏感的方式进行训练，弱学习者被投入到区分重要的类别中，以牺牲不太相关的分类边界为代价。额外的贡献是一个家庭的损失函数以及证明我们的算法是Boostable在理论意义上，以及一个有效的程序增长决策树作为弱学习者。我们在各种数据集上评估我们的方法：合成平面数据集，常见的UCI数据集，MNIST数字，SUN场景和CUB-200鸟类。结果显示，在所有数据集上，针对几个强基线（包括非提升多类方法）的最新性能。
2016-11-15 cs.CV cs.LG
Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning
Fudan University（复旦大学）；Meituan（美团）；Zhejiang Lab（之江实验室）
针对现有BEV感知深度估计未优先关注检测目标的问题，提出IA-BEV方法，通过类别结构先验挖掘与自增强学习优化深度估计，在nuScenes基准上实现3D目标检测的SOTA性能。
2023-12-13 cs.CV
Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Remark AI
视觉目标跟踪的目标是精确地估计给定目标的限界框，这是一个具有挑战性的问题，由于变形和遮挡等因素。近年来，许多跟踪器采用多阶段跟踪策略来提高限界框估计的质量。这些方法首先粗略地定位目标，然后在接下来的阶段中细化初始预测。然而，现有的方法仍然受到有限的精度，不同阶段的耦合严重限制了方法的可移植性。本文提出了一种新的、灵活的、精确的细化模块Alpha-Refine（AR），它可以显著提高基本跟踪器的框估计质量。通过探索一系列的设计方案，我们得出结论，成功的细化的关键是提取和维护尽可能详细的空间信息。遵循这一原则，Alpha-Refine采用逐像素相关、角点预测头和辅助掩模头作为核心部件。在TrackingNet、LaSOT、GOT-10 K和VOT 2020基准测试中，使用多个基本跟踪器进行的综合实验表明，我们的方法在几乎没有额外延迟的情况下显着提高了基本跟踪器的性能。所提出的Alpha-Refine方法导致了一系列增强的跟踪器，其中ARSiamRPN（AR增强的SiamRPNpp）和ARDiMP 50（AR增强的DiMP 50）实现了良好的效率-精度权衡，而ARDiMPsuper（AR增强的DiMP-super）在实时速度上实现了非常有竞争力的性能。代码和预训练模型可在https://github.com/MasterBin-IIAU/AlphaRefine上获得。
2021-07-11 cs.CV
WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation
College of Engineering, Ocean University of China（中国海洋大学工程学院）；College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院）
针对水下自监督单目深度估计受动态目标、图像退化、拍摄角度多变影响的问题，提出WaterMono框架，结合教师引导异常掩码、图像增强与旋转蒸馏策略，有效提升深度估计与图像增强效果。
2024-06-19 cs.CV
KAN-FPN-Stem:A KAN-Enhanced Feature Pyramid Stem for Boosting ViT-based Pose Estimation
WuHan University of Technology（武汉理工大学）
KAN-FPN-Stem通过引入KAN操作符改进ViT前端的特征融合，显著提升姿态估计性能。
2025-12-23 cs.CV
Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving
Beijing University of Posts and Telecommunications（北京邮电大学）
研究自动驾驶中全天候自监督深度估计问题，提出用多教师蒸馏和鲁棒雷达融合的自训练管道，包括不确定性感知多教师蒸馏及POV-BEV雷达融合方法，经实验验证该方法具鲁棒性且性能达最优。
2026-07-24 cs.CV
Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出自监督框架EndoMINI，结合低秩专家混合与本征图像对齐，在多内窥镜数据集上实现了更优的可泛化深度估计性能。
2026-08-04 cs.AI cs.CV
M3Depth: Wavelet-Enhanced Depth Estimation on Mars via Mutual Boosting of Dual-Modal Data
IEEE Publication Technology Department（IEEE出版技术部门）
针对火星非结构化地形纹理稀疏、几何约束不足导致深度估计性能下降的问题，提出M3Depth模型，通过小波卷积核、深度与法向一致性损失及互增强细化模块提升精度，在合成火星数据集上较SOTA方法提升16%，适用于真实火星场景。
2025-06-14 cs.CV cs.RO
Boosting Light-Weight Depth Estimation Via Knowledge Distillation
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；South China Normal University（华南师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Zhejiang University（浙江大学）；Tohoku University（东北大学（日本））
本文提出一种轻量级单目深度估计网络，通过紧凑架构降低复杂度，并利用辅助无标签数据引导知识蒸馏以弥合师生模型容量差距，在仅用1%参数量的情况下达到与最先进方法相当的性能。
2023-04-16 cs.CV
3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling
PhiGent Robotics（菲根特机器人公司）；University of Cambridge（剑桥大学）；Shanghai Jiaotong University（上海交通大学）
针对真实LiDAR点云3D场景流标签稀缺问题，提出3DSFLabelling伪自动标注与运动增强方法，在多个真实数据集上显著超越现有监督和无监督方法。
2024-03-01 cs.CV
Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences
University of Sydney（悉尼大学）；Tongji University（同济大学）
本文提出LiSTM框架，利用不可学习运动估计生成的过去与未来轨迹先验，通过MGFA、DCWM和级联交叉注意力解码器增强点云序列时空融合，在Waymo与nuScenes上提升3D检测性能。
2024-09-06 cs.CV
Boosting Image Quality Assessment Performance: Unsupervised Score Fusion by Deep Maximum a Posteriori Estimation
University of Waterloo, Canada（加拿大滑铁卢大学）；McMaster University, Canada（加拿大麦马斯特大学）
提出一种基于深度最大后验估计的无监督图像质量评估分数融合框架，通过细粒度不确定性估计提高融合预测的准确性并降低不确定性。
2026-05-28 cs.CV eess.IV
MoGDE: Boosting Mobile Monocular 3D Object Detection with Ground Depth Estimation
Shanghai Jiao Tong University（上海交通大学）；Donghua University（东华大学）
移动环境中的单目3D目标检测（Mono 3D）（例如，在车辆、无人机或机器人上）是一项重要但具有挑战性的任务。由于单目视觉的远近视差现象和摄像机姿态的不断变化，使得对远距离目标的检测精度很难得到保证。受物体的深度可以根据其所在地面的深度很好地确定的见解的启发，在本文中，我们提出了一种新的Mono 3D框架，称为MoGDE，它不断估计图像的相应地面深度，然后利用估计的地面深度信息来指导Mono 3D。为此，我们利用姿态检测网络来估计相机的姿态，然后根据3D到2D的透视几何构造描绘像素级地面深度的特征图。此外，为了改进Mono 3D，利用估计的地面深度，设计了一种基于Transformer结构的RGB-D特征融合网络，利用远程自注意力机制有效识别地面接触点，并将相应的地面深度固定到图像特征图上。我们在真实世界的KITTI数据集上进行了广泛的实验。实验结果表明，MoGDE能有效地提高Mono 3D的精度和鲁棒性。与最先进的方法相比，MoGDE产生了最佳性能，并且在KITTI 3D基准测试中排名第一。
2023-03-23 cs.CV
NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images
The Chinese University of Hong Kong（香港中文大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；Peking University（北京大学）
本文提出 NVComposer，通过图像-位姿双流扩散模型与几何感知特征对齐，隐式建模多张无位姿稀疏图像的空间关系，实现无需外部对齐的高质量生成式多视图新视角合成。
2024-12-06 cs.CV
3D Human Pose Estimation = 2D Pose Estimation + Matching
Carnegie Mellon University（卡内基梅隆大学）
我们探索3D人体姿态估计从一个单一的RGB图像。虽然许多方法试图直接从图像测量中预测3D姿态，但我们探索了一种简单的架构，通过中间2D姿态预测进行推理。我们的方法基于两个关键的观察结果：（1）深度神经网络已经彻底改变了2D姿态估计，即使对于具有自遮挡的姿态也能产生准确的2D预测。(2)3D mocap数据的大数据集现在很容易获得，这使得通过简单的记忆（例如，最近的邻居）。由此产生的架构是微不足道的实现与现成的2D姿态估计系统和3D mocap库。重要的是，我们证明此类方法的性能优于几乎所有最先进的3D姿态估计系统，其中大多数系统直接尝试从2D测量值回归3D姿态。
2017-04-11 cs.CV
Boosting 3-DoF Ground-to-Satellite Camera Localization Accuracy via Geometry-Guided Cross-View Transformer
The Australian National University（澳大利亚国立大学）；Ford Motor Company（福特汽车公司）
针对基于图像检索的跨视图地对星定位精度低的问题，提出几何引导跨视图Transformer结合神经位姿优化器与不确定性引导空间相关的方法，在KITTI数据集上大幅提升3自由度定位精度。
2023-07-20 cs.CV
GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
本文提出基于条件变分自编码器的GLENet框架，通过生成3D边界框标签不确定性并结合不确定性感知质量估计，持续提升多种3D检测器在KITTI和Waymo上的性能。
2024-07-08 cs.CV
HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions
The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）
提出HandBooster方法，通过在手-物交互上训练条件生成空间并采样合成有效数据样本，提升3D手部网格重建的数据多样性与性能，在HO3D和DexYCB基准上显著超越SOTA。
2024-03-27 cs.CV
Boosting Monocular 3D Object Detection with Object-Centric Auxiliary Depth Supervision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hyundai Motor Company（现代汽车公司）；Hanyang University（汉阳大学）
单目3D检测的最新进展利用深度估计网络明确地作为3D检测网络的中间阶段。由于在大规模数据集上训练的深度估计网络，深度图方法比其他方法产生更准确的对象深度。然而，深度图方法可能受到深度图的准确性的限制，并且顺序地使用两个分离的网络进行深度估计和3D检测显著地增加了计算成本和推理时间。在这项工作中，我们提出了一种方法，以提高RGB图像为基础的3D检测器，通过联合训练检测网络与深度预测损失类似的深度估计任务。通过这种方式，我们的3D检测网络可以通过来自原始LiDAR点的更多深度监督来监督，这不需要任何人工注释成本，以估计准确的深度，而无需显式预测深度图。我们的新的以对象为中心的深度预测损失集中在前景对象周围的深度，这对于3D目标检测很重要，以对象为中心的方式利用逐像素深度监督。我们的深度回归模型被进一步训练来预测深度的不确定性，以表示对象的3D置信度。为了用原始LiDAR点有效地训练3D检测器并实现端到端训练，我们重新审视了3D对象的回归目标并设计了网络架构。在KITTI和nuScenes基准测试上的大量实验表明，我们的方法可以显着提高基于单目图像的3D检测器的性能，在保持实时推理速度的同时优于深度图方法。
2022-10-29 cs.CV
Cascaded Pyramid Network for 3D Human Pose Estimation Challenge
SK T-Brain
在过去的十年中，人们对人体姿态估计的兴趣越来越大。虽然在二维姿态估计方面已经做了大量的工作，但三维姿态估计的研究相对较少，本文提出了一种基于上下两阶段的三维姿态估计框架。在我们的2D姿态估计过程中，GloabalNet和RefineNet使我们能够找到被遮挡或不可见的2D关节，而由残留块组成的2D到3D姿态估计器用于有效地将2D关节提升到3D关节。所提出的方法在ECCV 2018 PoseTrack Challenge中的“3D人体姿势估计”验证数据集上实现了有希望的结果，平均每个关节位置误差为42.39。'
2018-10-03 cs.CV
Pose Guided Structured Region Ensemble Network for Cascaded Hand Pose Estimation
Tsinghua University（清华大学）；Bytedance Inc.（字节跳动公司）
从单个深度图像估计手部姿态是计算机视觉和人机交互中的一个重要课题。尽管卷积神经网络在这一领域取得了很大的进展，但准确的手部姿态估计仍然是一个具有挑战性的问题。在本文中，我们提出了一个姿势引导的结构化区域包围网络（Pose-REN），以提高手部姿势估计的性能。该方法在初始姿态估计的指导下，从卷积神经网络的特征图中提取区域，生成更优、更有代表性的手部姿态估计特征。提取的特征区域，然后集成层次根据手关节的拓扑结构，采用树结构的完全连接。该网络直接对手部姿态进行精确估计，并利用迭代级联方法得到最终的手部姿态。在公开手势数据集上的综合实验表明，我们提出的方法优于最先进的算法。
2018-06-24 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Boosting Camera Motion Control for Video Diffusion Transformers
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
本文针对视频扩散Transformer（DiT）中相机运动精度退化问题，提出基于无分类器引导的Camera Motion Guidance（CMG）方法，将相机控制能力提升超400%，并引入稀疏相机控制流程简化长视频位姿指定，普遍适用于U-Net和DiT模型。
2024-10-14 cs.AI cs.CV
Human Pose Estimation using Motion Priors and Ensemble Models
Toyota Technological Institute（丰田工业大学）
图像和视频中的人体姿态估计是用于实现各种人体活动识别任务（例如，人机交互、手势识别、监视和视频摘要）。本文提出了两种类型的人体姿态估计方法：1）三维人体姿态跟踪运动先验和2）二维人体姿态估计集成建模。
2019-01-26 cs.CV
DSC-PoseNet: Learning 6DoF Object Pose Estimation via Dual-scale Consistency
Baidu Research（百度研究院）；ReLER University of Technology Sydney（悉尼科技大学ReLER）
与2D对象边界框标记相比，人类注释3D对象姿态非常困难，特别是当场景的深度图像不可用时。本文研究了当只给出RGB图像和2D对象注释时，我们是否可以有效地估计对象的姿态。为此，我们提出了一个两步的姿态估计框架，以获得6DoF的对象构成的2D对象边界框。在第一步中，框架学习以弱监督的方式从真实和合成数据中分割对象，并且分割掩码将充当姿态估计的先验。在第二步中，我们设计了一个双尺度的姿态估计网络，即DSC-PoseNet，通过采用差分渲染器来预测对象的姿态。具体来说，我们的DSC-PoseNet首先通过比较分割掩模和渲染的可见对象掩模来预测原始图像尺度下的对象姿态。然后，我们调整对象区域到一个固定的规模，以估计构成一次。以这种方式，我们消除了大尺度的变化，并专注于旋转估计，从而促进姿势估计。此外，我们利用初始姿态估计来生成伪地面实况，以自监督的方式训练我们的DSC-PoseNet。这两个尺度下的估计结果被集成为我们最终的姿态估计。在广泛使用的基准测试上进行的大量实验表明，我们的方法的性能大大优于在合成数据上训练的最先进的模型，甚至与几种完全监督的方法相当。
2021-04-08 cs.CV
Semi-supervised 3D Hand-Object Pose Estimation via Pose Dictionary Learning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）
三维手目标位姿估计是理解人与环境交互的一个重要问题。目前的手部物体姿态估计方法需要详细的3D标签，这是昂贵的和劳动密集型的。为了解决数据汇集的问题，我们提出了一种半监督的三维手部物体位姿估计方法，其中包括两个关键技术：位姿字典学习和面向对象的坐标系。所提出的位姿字典学习模块可以通过重构误差来区分不可行位姿，使未标记的数据能够提供监督信号。所提出的面向对象的坐标系可以使3D估计等变的相机的角度。在FPHA和HO-3D数据集上进行了实验。我们的方法减少了19.5% / 24.9%的手/物体的估计误差相比，直接使用标记数据FPHA和优于几个基线方法。大量的实验也验证了所提出的方法的鲁棒性。
2021-07-16 cs.CV
Fast and Flexible Human Pose Estimation with HyperPose
Peking University（北京大学）；Tongji University（同济大学）；Imperial College London（帝国理工学院）；University of Edinburgh（爱丁堡大学）
人体姿态估计是多媒体应用中一个重要而又具有挑战性的任务。现有的姿态估计库的目标是再现标准姿态估计算法。当涉及到为现实世界的应用定制这些算法时，现有的库中没有一个可以同时提供开发自定义姿态估计算法的灵活性和在商品设备上执行这些算法的高性能。在本文中，我们介绍Hyperpose，一个新的灵活和高性能的姿态估计库。Hyperpose提供了富有表现力的Python API，使开发人员能够轻松地为其应用程序自定义姿态估计算法。它还提供了一个高度优化的实时姿态估计模型推理引擎。该引擎可以动态地将精心设计的姿态估计任务分派给CPU和GPU，从而自动实现硬件资源的高利用率，而无需考虑部署环境。广泛的评估结果表明，Hyperpose可以实现高达3.1倍~7.3倍的高姿态估计吞吐量相比，最先进的姿态估计库，而不影响估计精度。到2021年，Hyperpose在GitHub上获得了超过1000颗星，吸引了来自行业和学术界的用户。
2022-10-26 cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University（首尔大学）
虽然在利用卷积神经网络（CNN）的2D人体姿态估计中已经取得了成功，但是3D人体姿态估计尚未被彻底研究。在本文中，我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先，我们添加了2D姿态信息，通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二，我们发现，更准确的3D姿态是通过结合相对于多个关节的相对位置的信息，而不是仅仅一个根关节。实验结果表明，该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
卷积神经网络在图像识别任务中的表现优于人类，但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的，因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而，对抗攻击的成功率可以在黑盒环境中进一步提高。因此，本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明，该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法，我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs（诺基亚贝尔实验室）；New York University（纽约大学）
对深度学习的一个关键批评是，为了训练具有高性能和良好泛化能力的模型，需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归（SCR）进行单目摄像机姿态估计的任务，提出了一种新的摄像机姿态估计网络（DANCE）的领域自适应方法，该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像（没有已知的姿势，排序或场景坐标标签）和空间的3D表示（例如，扫描的点云），这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像，并通过应用无监督图像级领域自适应技术（不成对的图像到图像转换）来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时，使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能（在这两种情况下，都使用PnP-RANSAC进行最终姿态估计）。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Multi-Person Full Body Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
多人姿态估计在许多领域都有着重要的应用。虽然前人对人体姿态估计的各个部分进行了大量的研究，但对于多人的全身姿态估计还需要进一步的研究。我们的工作是通过知识蒸馏开发一个完整的模型，可以估计全身姿态。基于AlphaPose系统和MSCOCO2017数据集进行训练，我们的模型在我们手动注释的验证数据集上实现了51.5 mAP。相关资源可在https://esflfei.github.io/esflfei.gethub.io/website.html获得。
2020-08-23 cs.CV
CullNet: Calibrated and Pose Aware Confidence Scores for Object Pose Estimation
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
我们提出了一种新的方法，用于单视图，基于图像的对象姿态估计。具体而言，在本文中，几个构成的建议估计之间的剔除假阳性的问题。我们提出的方法针对的是CNN预测的置信度值不准确的问题，目前许多方法都使用CNN来选择最终的对象姿势预测。我们提出了一个名为CullNet的网络，解决了这个任务。CullNet将从3D模型渲染的姿势遮罩对和原始图像中的裁剪区域作为输入。然后，这被用于校准姿势提议的置信度分数。这组新的置信度分数被发现是更可靠的准确的对象姿态估计，如我们的结果所示。我们在多个具有挑战性的数据集（LINEMOD和遮挡LINEMOD）上的实验结果反映了我们所提出的方法的实用性。我们的整体姿态估计管道在这些标准对象姿态估计数据集上的性能优于最先进的对象姿态估计方法。我们的代码可在https://github.com/kartikgupta-at-anu/CullNet上公开获取。
2019-09-30 cs.CV
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network
Middle East Technical University（中东技术大学）
在本文中，我们提出了MultiPoseNet，一种新的自下而上的多人姿态估计架构，它结合了多任务模型和一种新的分配方法。MultiPoseNet可以联合处理人物检测、关键点检测、人物分割和姿势估计问题。新的分配方法是由姿态残差网络（PRN）实现的，该网络接收关键点和人物检测，并通过将关键点分配给人物实例来产生准确的姿态。在COCO关键点数据集上，我们的姿势估计方法在准确性（比之前的最佳结果高出4点mAP）和速度方面都优于所有之前的自下而上方法;它的性能也与最好的自上而下方法相当，同时至少快4倍。我们的方法是最快的实时的系统与23帧/秒。源代码可从以下网址获得：https://github.com/mkocabas/pose-residual-network
2018-07-11 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
Boosting Occluded Image Classification via Subspace Decomposition Based Estimation of Deep Features
Tongji University（同济大学）；University of Kansas（堪萨斯大学）
部分遮挡图像的分类是一个极具挑战性的计算机视觉问题，即使是最先进的深度学习技术。为了实现对遮挡图像的鲁棒图像分类，提出了一种基于子空间分解的估计（SDBE）方法。提出的基于SDBE的分类方案首先采用基本卷积神经网络提取深度特征向量（DFV），然后利用SDBE计算原始无遮挡图像的DFV进行分类。SDBE通过将被遮挡图像的DFV沿着遮挡错误字典（OED）的线性跨度投影到类字典（CD）的线性跨度上来执行。该算法将训练集的差分矢量与额外的图像对集合的遮挡误差矢量连接起来，分别构造出了CD和OED。本文研究了SDBE的两种实现：$l_1$ -范数和平方$l_2$ -范数正则化最小二乘估计。通过采用在ILSVRC 2012训练集上预训练的ResNet-152作为基础网络，在Caltech-101和ILSVRC 2012数据集上对所提出的基于SBDE的分类方案进行了广泛的评估。大量的实验结果表明，基于SDBE的分类方法显著提高了遮挡图像的分类精度，在ILSVRC 2012数据集上，$20\%$遮挡下的分类精度提高了约$22.25\%$.
2020-01-13 cs.CV cs.LG
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University（首尔国立大学）；Kwangwoon University（光云大学）
虽然最近在3D人体姿态估计方面取得了显着的改进，但大多数先前的方法仅处理单人情况。在这项工作中，我们首先提出了一个完全基于学习的，相机距离感知自顶向下的方法，从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测，绝对三维人体根定位，根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果，而无需任何地面实况信息，并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University（约翰斯·霍普金斯大学）
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而，用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中，我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明，这些复杂的自上而下的潜力，可以很容易地分解成标准的形式，在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明，分割的知识有助于更好地执行姿态估计，反之亦然。
2016-06-17 cs.CV
Object detection and Autoencoder-based 6D pose estimation for highly cluttered Bin Picking
Cognitive Systems Group, CS Department \ Karls Universit\"at T\"ubingen, Germany
料仓拾取是工业环境和机器人领域的核心问题，其主要模块是6D位姿估计。然而，工业深度传感器在处理小物体时缺乏准确性。因此，我们提出了一个框架，姿态估计在高度杂乱的场景中的小对象，主要依赖于RGB数据，并利用深度信息只为姿态细化。在这项工作中，我们比较合成数据生成方法的目标检测和姿态估计，并介绍了一个姿态过滤算法，确定最准确的估计姿态。我们将使我们
2021-06-15 cs.CV
Learning to Refine Human Pose Estimation
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Saarland Informatics Campus（萨尔州信息学园区）
图像和视频中的多人姿态估计是一项重要而具有挑战性的任务，具有许多应用。尽管卷积神经网络的发展使得人类姿势估计有了很大的改进，但仍然存在许多困难的情况，即使是最先进的模型也不能正确地定位所有身体关节。这就需要一个额外的细化步骤来解决这些具有挑战性的情况，并且可以很容易地应用于任何现有的方法之上。在这项工作中，我们引入了一个姿态细化网络（PoseRefiner），它将图像和给定的姿态估计作为输入，并通过对输入输出空间的联合推理来学习直接预测细化的姿态。为了让网络学习改进不正确的身体关节预测，我们采用了一种新的数据增强方案进行训练，其中我们对“硬”人体姿势情况进行建模。我们评估了我们的方法在四个流行的大规模姿态估计基准，如MPII单人和多人姿态估计，PoseTrack姿态估计和PoseTrack姿态跟踪，并报告系统的改进，在最先进的。
2018-04-21 cs.CV
