Unsupervised Difficulty Estimation with Action Scores
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
评估机器学习模型中的难度和偏差已经变得非常重要,因为当前的模型正在应用于现实世界的情况。在本文中,我们提出了一种简单的方法,用于计算基于训练过程中每个样本的损失累积的难度分数。我们称之为行动得分。我们提出的方法不需要对模型进行任何修改,也不需要任何外部监督,因为它可以作为从训练过程中收集信息的回调来实现。我们在两种不同的设置中测试和分析我们的方法:图像分类和目标检测,我们表明,在这两种设置中,动作得分可以提供有关模型和数据集偏差的见解。
2020-11-23 cs.CV cs.LG
Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);NLPR&MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peking University(北京大学);Zhongguancun Academy(中关村学院)
本文通过建模问题难度先验信息,改进基于强化学习的多模态推理性能,通过数据筛选、优势分化和难度提示提升模型推理深度和准确性。
2025-12-14 cs.CV
Anchor Loss: Modulating Loss Scale based on Prediction Difficulty
California Institute of Technology(加州理工学院);CODE42.ai
我们提出了一种新的损失函数,动态地重新调整交叉熵的预测难度的基础上,关于一个样本。图像分类任务中的深度神经网络架构难以消除视觉上相似的对象。同样,在人体姿态估计中,对称的身体部位经常会混淆网络,因为它们会被分配不加区分的分数。这是由于输出预测,其中仅选择最高置信度标签,而不考虑不确定性的度量。在这项工作中,我们将预测难度定义为来自正面和负面标签之间的置信度得分差距的相对属性。更准确地说,所提出的损失函数惩罚网络,以避免错误预测的得分是显著的。为了证明我们的损失函数的有效性,我们在两个不同的领域进行评估:图像分类和人体姿态估计。与基线方法相比,我们发现这两种应用程序都有改进,实现了更高的准确性。
2019-09-24 cs.CV cs.LG
Monocular Depth Estimation: A Survey
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
单目深度估计通常被描述为一个病态的和固有的模糊问题。从二维图像中估计深度是场景重建、三维目标识别、分割和检测的关键步骤。这个问题可以定义为:给定一个RGB图像作为输入,预测每个像素的密集深度图。由于大多数场景具有较大的纹理和结构变化、对象遮挡和丰富的几何细节,这个问题变得更加严重。所有这些因素导致难以进行准确的深度估计。在本文中,我们回顾了五篇论文,试图解决深度估计问题的各种技术,包括监督,弱监督和无监督学习技术。然后,我们比较这些文件,并了解彼此的改进。最后,我们探讨潜在的改进,可以帮助更好地解决这个问题。
2019-01-27 cs.CV
On Image Registration and Subpixel Estimation
Texas A&M University(得克萨斯农工大学)
本文研究理想化一维图像配准问题,证明亚像素推断能力取决于函数复杂性、函数与像素尺寸关系及采样观测数量。
2024-05-21 cs.CV
DecomPose: Disentangling Cross-Category Optimization Contention for Category-Level 6D Object Pose Estimation
Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology, Wuhan, Hubei, China(智能机器人湖北省重点实验室,武汉理工大学,武汉,湖北,中国);University of Science(科学技术大学);Peking University, Beijing, China(北京大学,北京,中国)
本文提出DecomPose框架,通过数据驱动的难度代理和不对称分支策略,解耦跨类优化冲突,提升类别级6D姿态估计性能。
2026-05-15 cs.AI cs.CV
Improving Robustness for Pose Estimation via Stable Heatmap Regression
Tsinghua University(清华大学);Southeast University(东南大学);Kuaishou Technology(快手科技)
深度学习方法在姿态估计方面取得了出色的性能,但鲁棒性的缺乏导致关键点在相似图像之间发生剧烈变化。针对这一问题,提出了一种稳定的热图回归方法,以缓解网络对小扰动的脆弱性。我们利用热图中不同行和列之间的相关性来缓解多峰问题,并设计了一个高度差异化的热图回归,使关键点与周围的点区分开来。最大稳定性训练损失用于简化优化难度,当最小化两个相似图像的预测间隙时。该方法在两个基准数据集上的鲁棒性比最先进的方法有了显著的提高,并保持了较高的性能。
2021-05-08 cs.CV
Visualization of Convolutional Neural Networks for Monocular Depth Estimation
Tohoku University(东北大学);RIKEN(理化学研究所)
最近,卷积神经网络(CNN)在单目深度估计的任务上取得了巨大的成功。一个基本但尚未回答的问题是:CNN如何从单个图像中推断深度。为了回答这个问题,我们考虑通过识别输入图像的相关像素以进行深度估计来可视化CNN的推断。我们将其公式化为识别最小数量的图像像素的优化问题,CNN可以从该图像像素中估计深度图,该深度图与来自整个图像的估计值具有最小差异。为了解决通过深度CNN进行优化的困难,我们建议使用另一个网络来预测前向计算中的相关图像像素。在我们的实验中,我们首先展示了这种方法的有效性,然后将其应用于室内和室外场景数据集上的不同深度估计网络。结果提供了几个发现,有助于探索上述问题。
2019-04-06 cs.CV
Deep Fence Estimation using Stereo Guidance and Adversarial Learning
Samsung Research Institute, Bangalore(班加罗尔三星研究院)
人们捕捉难忘的图像的事件和展览,往往是由一个铁丝网封闭松散称为围栏。最近的作品在消除围栏有限的性能,由于在初始围栏分割的困难。本文提出了一种基于立体图像对的栅栏引导模板(FM),用于栅栏的精确分割。该二进制引导掩模包含关于栅栏结构的确定性线索,并且作为深度栅栏估计模型的附加输入而给出。我们还引入了方向性连接损失(DCL),它与对抗性损失一起使用,以精确检测细线。在真实场景中获得的实验结果表明,该方法优于国家的最先进的技术。
2020-07-03 cs.CV
Video-based Pose-Estimation Data as Source for Transfer Learning in Human Activity Recognition
TU Dortmund University(多特蒙德工业大学)
人体活动识别(HAR)使用身体上的设备识别特定的人类活动在不受约束的环境中。HAR是具有挑战性的,由于人的运动的内部和内部的变化;此外,从身体上的设备注释的数据集是稀缺的。这个问题主要是由于数据创建的困难,即,记录,昂贵的注释,以及缺乏对人类活动的标准定义。以前的工作表明,迁移学习是一个很好的策略,解决方案与稀缺的数据。然而,带注释的身体上设备数据集的稀缺性仍然存在。本文提出使用用于人体姿态估计的数据集作为迁移学习的源;具体而言,它部署了来自视频数据集的人体关节的注释像素坐标序列,用于HAR和人体姿态估计。我们在四个基于基准视频的源数据集上预训练了一个深度架构。最后,对三个提高HAR性能的体上设备数据集进行了评估。
2022-12-02 cs.CV
Efficient Globally-Optimal Correspondence-Less Visual Odometry for Planar Ground Vehicles
ShanghaiTech University(上海科技大学)
平面地面车辆的运动通常是非完整的,因此可以通过2自由度阿克曼转向模型来建模。我们分析了估计这种运动的可行性与向下面对的相机,施加正面平行运动相对于地平面。这将运动估计变成一个简单的图像配准问题,其中我们只需要识别一个2参数平面单应性。然而,从这种设置中产生的一个困难是,地平面特征是不明显的,因此难以在连续视图之间匹配。我们通过向基于平面的Ackermann运动估计引入第一个全局最佳、无对应性的解决方案来遇到这个困难。该解决方案依赖于分支定界优化技术。通过低维参数化,推导出的紧边界,和一个有效的实现,我们展示了这种技术是如何最终服从准确的实时运动估计。我们证明了它的全局最优性,并分析了假设一个局部恒定的旋转中心的影响。我们对真实数据的结果最终证明了一个显着的优势,更传统的,基于对应的假设和测试计划。
2022-03-01 cs.CV cs.RO
HomebrewedDB: RGB-D Dataset for 6D Pose Estimation of 3D Objects
Technical University of Munich(慕尼黑工业大学);Siemens Corporate Technology(西门子中央研究院)
创建和评估6D对象姿态检测器的最重要的先决条件之一是具有标记的6D姿态的数据集。随着深度学习的出现,对此类数据集的需求不断增长。尽管存在一些,但它们是稀缺的,通常具有有限的设置,例如每个序列一个对象,或者它们专注于特定的对象类型,例如无纹理的工业零件。此外,两个重要的组成部分往往被忽视:仅使用可用的3D模型而不是真实数据进行训练和可扩展性,即训练一种方法来检测所有对象,而不是为每个对象训练一个检测器。其他挑战,如遮挡,变化的光线条件和对象外观的变化,以及精确定义的基准要么不存在,要么分散在不同的数据集中。在本文中,我们提出了一个用于6D姿态估计的数据集,该数据集涵盖了上述挑战,主要针对3D模型(纹理和无纹理)的训练,可扩展性,遮挡以及光线条件和对象外观的变化。该数据集包含33个对象(17个玩具,8个家庭和8个行业相关对象),超过13个不同难度的场景。我们还提出了一组基准测试各种所需的检测器属性,特别是专注于可扩展性方面的对象和电阻的数量变化的光线条件,遮挡和杂波。我们还使用最先进的DPOD检测器为所提出的基准设定了基线。考虑到制作这样的数据集的难度,我们计划发布代码,允许其他研究人员在未来扩展这个数据集或制作自己的数据集。
2019-09-30 cs.CV cs.RO
Hand Pose Estimation via Latent 2.5D Heatmap Regression
NVIDIA Research(英伟达研究院);University of Bonn(波恩大学)
手的三维姿态估计是人机交互的重要组成部分。随着计算机视觉的最新进展,使用深度或多视图传感器估计3D姿态已经变得更容易,然而,从单个RGB图像回归姿态要不那么简单。主要的困难来自于3D姿态需要某种形式的深度估计的事实,这在仅给出RGB图像的情况下是模糊的。在本文中,我们提出了一种新的方法,通过一个新的2.5D姿态表示从单目图像的3D手姿态估计。我们的新表示估计构成了一个缩放因子,如果给出了手的大小的先验,则可以额外估计。我们隐式地学习深度图和热图分布与一个新的CNN架构。我们的系统在存在严重遮挡的情况下,在几个具有挑战性的数据集上实现了2D和3D手部姿势的最新估计。
2018-04-25 cs.CV cs.LG
Unsupervised Single Image Underwater Depth Estimation
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
水下图像的深度估计是一个极具挑战性的问题,并且是高度不适定的。由于缺乏大型广义水下深度数据集和难以获得地面真实深度图,因此无法使用直接深度回归等监督学习技术。在本文中,我们提出了一种无监督的方法,深度估计,从一个单一的水下图像采取“在野外”,使用阴霾作为线索的深度。我们的方法是基于间接的深度图估计,我们学习不成对的RGB-D陆地图像和任意水下图像之间的映射函数,以估计所需的深度图。我们提出了一种方法,它是基于周期一致性学习的原则,并使用基于密集块的自动编码器作为生成器网络。我们评估和比较我们的方法定量和定性的各种不同的衰减和散射条件下的水下图像,并表明我们的方法产生国家的最先进的结果,从一个单一的水下图像的无监督深度估计。
2019-05-28 cs.CV eess.IV
Deep Optics for Monocular Depth Estimation and 3D Object Detection
Stanford University(斯坦福大学)
深度估计和3D目标检测对于场景理解是至关重要的,但由于在图像捕获期间3D信息的丢失,因此对单个图像执行仍然具有挑战性。最近使用深度神经网络的模型已经改善了单目深度估计性能,但在预测绝对深度和在标准数据集之外进行推广方面仍然存在困难。在这里,我们将深度光学的范例,即光学和图像处理的端到端设计,引入到单目深度估计问题中,使用编码散焦模糊作为由神经网络解码的附加深度线索。我们评估了几种光学编码策略以及三个数据集上的深度估计的端到端优化方案,包括NYU Depth v2和KITTI。我们发现一个优化的自由曲面透镜设计产生最好的结果,但色差从单透镜提供显着改善的性能。我们建立了一个物理原型,并验证色差改善深度估计的现实世界的结果。此外,我们在KITTI数据集上训练对象检测网络,并表明针对深度估计优化的镜头也会提高3D目标检测性能。
2019-04-18 cs.CV eess.IV