Unsupervised Difficulty Estimation with Action Scores
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
评估机器学习模型中的难度和偏差已经变得非常重要,因为当前的模型正在应用于现实世界的情况。在本文中,我们提出了一种简单的方法,用于计算基于训练过程中每个样本的损失累积的难度分数。我们称之为行动得分。我们提出的方法不需要对模型进行任何修改,也不需要任何外部监督,因为它可以作为从训练过程中收集信息的回调来实现。我们在两种不同的设置中测试和分析我们的方法:图像分类和目标检测,我们表明,在这两种设置中,动作得分可以提供有关模型和数据集偏差的见解。
2020-11-23 cs.CV cs.LG
Predicting Privileged Information for Height Estimation
University of Houston(休斯顿大学);University of Ioannina(约阿尼纳大学)
在本文中,我们提出了一种新的回归为基础的方法,采用特权信息估计的高度使用人体计量学。人体测量的实际值很难使用最先进的计算机视觉算法准确估计。因此,我们使用人体测量的比率作为特征。由于许多人体测量在现实生活中的情况下,在测试时不可用,我们采用了学习使用特权信息(LUPI)框架中的回归设置。代替使用LUPI范式以其原始形式进行回归(即,ε-SVR+),我们训练回归模型,预测在测试时的特权信息。然后使用预测以及可观察的特征来执行高度估计。一旦估计了高度,就执行到类的映射。我们证明了所提出的方法可以比ε-SVR+算法更好,更快地估计身高,并报告不同性别和四分位数人类的结果。
2017-02-09 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Predicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation Using Displacement Fields
LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
当前用于从单目图像进行深度图预测的方法倾向于预测输入图像中的遮挡边界的平滑、局部化差的轮廓。这是不幸的,因为遮挡边界是识别对象的重要线索,正如我们所展示的,可能会导致一种从场景重建中发现新对象的方法。为了改进预测的深度图,最近的方法依赖于各种形式的滤波或预测加性残差深度图来细化第一估计。相反,我们学习预测,给定通过某种重建方法预测的深度图,2D位移场能够将遮挡边界周围的像素重新采样为更清晰的重建。我们的方法可以以端到端的可训练方式应用于任何深度估计方法的输出。为了进行评估,我们在流行的NYUv 2-Depth数据集的测试分割中手动注释了所有图像中的遮挡边界。我们表明,我们的方法提高了所有国家的最先进的单眼深度估计方法,我们可以评估,而不会降低深度精度的其余图像的遮挡边界的本地化。
2020-05-10 cs.CV
Absolute Human Pose Estimation with Depth Prediction Network
Eötvös Loránd University(厄特沃什·罗兰大学)
三维人体姿态估计的常用方法是预测人体关节相对于髋关节的坐标。这对于一个人来说很好,但对于多个交互的人来说是不够的。预测绝对坐标的方法首先估计根相对位姿,然后通过二次优化任务计算平移。我们提出了一个神经网络,预测关节在相机为中心的坐标系,而不是根相对的。与以前的方法不同,我们的网络工作在一个单步的没有任何后处理。我们的网络在MuPoTS-3D数据集上击败了以前的方法,并获得了最先进的结果。
2019-04-11 cs.CV
LocalBins: Improving Depth Estimation by Learning Local Distributions
KAUST(阿卜杜拉国王科技大学);National Center for Artificial Intelligence (NCAI), Saudi Data and Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局国家人工智能中心)
我们提出了一种新的架构深度估计从一个单一的图像。该架构本身基于流行的编码器-解码器架构,该架构经常用作所有密集回归任务的起点。我们建立在AdaBins上,AdaBins估计输入图像的深度值的全局分布,并以两种方式发展架构。首先,我们预测每个像素的局部邻域的深度分布,而不是预测全局深度分布。其次,我们不是只预测解码器末端的深度分布,而是涉及解码器的所有层。我们称这种新架构为LocalBins。我们的结果表明,在NYU-Depth V2数据集的所有指标上,都有明显的改进。代码和预训练模型将公开提供。
2022-03-28 cs.CV
Anchor Loss: Modulating Loss Scale based on Prediction Difficulty
California Institute of Technology(加州理工学院);CODE42.ai
我们提出了一种新的损失函数,动态地重新调整交叉熵的预测难度的基础上,关于一个样本。图像分类任务中的深度神经网络架构难以消除视觉上相似的对象。同样,在人体姿态估计中,对称的身体部位经常会混淆网络,因为它们会被分配不加区分的分数。这是由于输出预测,其中仅选择最高置信度标签,而不考虑不确定性的度量。在这项工作中,我们将预测难度定义为来自正面和负面标签之间的置信度得分差距的相对属性。更准确地说,所提出的损失函数惩罚网络,以避免错误预测的得分是显著的。为了证明我们的损失函数的有效性,我们在两个不同的领域进行评估:图像分类和人体姿态估计。与基线方法相比,我们发现这两种应用程序都有改进,实现了更高的准确性。
2019-09-24 cs.CV cs.LG
Predicting Out-of-View Feature Points for Model-Based Camera Pose Estimation
University of Bristol(布里斯托大学)
在这项工作中,我们提出了一个新的框架,使用深度学习来预测输入图像中的视野外的对象特征点。该系统的开发考虑到了基于模型的跟踪应用,特别是在自主检查机器人的情况下,只有部分的对象的视图是可用的。通过在网络训练期间对特征点标签应用缩放来启用视图外预测。这与递归神经网络架构相结合,旨在为最终预测层提供来自输入图像空间范围的丰富特征信息。为了展示这些视野外预测的多功能性,我们描述了如何将它们集成到粒子滤波跟踪器和基于优化的跟踪器中。为了评估我们的工作,我们将我们的框架与仅预测图像内部点的框架进行了比较。我们表明,随着视野中的对象数量的减少,能够预测图像边界之外的鲁棒性增加了最终的姿态估计。
2018-03-05 cs.CV cs.RO
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture
New York University(纽约大学);Courant Institute(库朗研究所);Facebook AI Research(Facebook人工智能研究院)
在本文中,我们解决三个不同的计算机视觉任务使用一个基本架构:深度预测,表面法线估计,语义标记。我们使用一个多尺度卷积网络,它能够很容易地适应每个任务,只需要很小的修改,从输入图像直接回归到输出映射。我们的方法使用一系列尺度逐步细化预测,并在没有任何超像素或低级别分割的情况下捕获许多图像细节。我们在所有三项任务的基准测试中均实现了最先进的性能。
2015-12-17 cs.CV
3D Room Layout Estimation Beyond the Manhattan World Assumption
MINDsLab, Inc.(MINDsLab 公司);Seoul National University(首尔大学)
从单个图像预测3D房间布局在许多应用中是一项具有挑战性的任务。在本文中,我们提出了一种新的训练和后处理方法,用于3D房间布局估计,建立在最近的最先进的3D房间布局估计模型。实验结果表明,我们的方法优于国家的最先进的方法在预测可见的房间布局的大幅度提高。我们的方法已获得2020年3D视觉工作坊整体场景结构的第三名。
2020-09-07 cs.CV cs.LG
Predicting Depth Maps from Single RGB Images and Addressing Missing Information in Depth Estimation
Connected urban mobility, Faculty of Engineering, University of Applied Sciences, Aschaffenburg, Germany(连接城市移动性,工程学院,应用科学大学,阿施费尔德,德国)
本文提出一种多层训练算法,从单张RGB图像生成深度图并修复深度图像中的缺失信息,在Cityscapes数据集上验证了其在城市场景中的有效性。
2025-09-22 cs.AI cs.CV
DecomPose: Disentangling Cross-Category Optimization Contention for Category-Level 6D Object Pose Estimation
Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology, Wuhan, Hubei, China(智能机器人湖北省重点实验室,武汉理工大学,武汉,湖北,中国);University of Science(科学技术大学);Peking University, Beijing, China(北京大学,北京,中国)
本文提出DecomPose框架,通过数据驱动的难度代理和不对称分支策略,解耦跨类优化冲突,提升类别级6D姿态估计性能。
2026-05-15 cs.AI cs.CV
Predicting Visual Improvement after Macular Hole Surgery: a Cautionary Tale on Deep Learning with Very Limited Data
Université Laval(拉瓦尔大学);Centre Hospitalier Universitaire de Montréal(蒙特利尔大学医学中心)
我们研究了机器学习模型从术前数据(视网膜图像和临床特征)预测黄斑裂孔手术后视力改善的潜力。收集我们自己的数据,我们最终只有121个样本,使我们的工作在非常有限的数据制度。我们探索了各种针对有限数据的深度学习方法来训练深度计算机视觉模型,发现所有测试的深度视觉模型在临床特征上都优于简单的回归模型。我们认为这是一个令人信服的证据,证明了在非常有限的数据上使用深度学习的极端困难。
2021-11-15 cs.CV cs.LG eess.IV
HccePose(BF): Predicting Front & Back Surfaces to Construct Ultra-Dense 2D-3D Correspondences for Pose Estimation
Southeast University(东南大学);Purdue University(普渡大学)
本文提出HccePose(BF),通过预测物体前后表面并密集采样构建超密集2D-3D对应关系,结合HCCE编码,在BOP七个核心数据集上超越现有SOTA方法,提升姿态估计精度。
2025-10-14 cs.AI cs.CV
Predicting Future Pedestrian Motion in Video Sequences using Crowd Simulation
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
在过去的几十年里,人类和群体分析已经成为一个重要的领域,一些当前和相关的应用涉及到估计未来的运动的行人在真实的视频序列。本文提出了一种方法,提供运动估计的真实行人在下一秒,使用人群模拟。我们的方法是基于物理学和几何学,并使用BioCrowds作为人群模拟方法来估计未来的位置的人在视频序列。结果表明,我们的估计方法即使对于可能发生事件的复杂视频也能很好地工作。当提前2秒以上估计32个行人的未来运动时,达到的最大平均误差为$2.72$ cm。本文讨论了这一点和其他结果。
2019-04-10 cs.CV cs.GR
Representing Visual Evidence for Item Difficulty Prediction: Visual Textualization and Image-Native Modeling
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Maryland(马里兰大学)
本文针对题目难度预测的视觉证据表征问题,对比仅用文本、视觉文本化与原生图像建模三种方式,发现原生图像建模是有竞争力的替代方案,其有效性取决于VLMs的适配方式。
2026-08-06 cs.CL cs.CV
Predicting Alzheimer's Disease Using 3DMgNet
School of Mathematics and Computational Science, Xiangtan University(湘潭大学数学与计算科学学院);In-Chao Institute(因超研究所)
阿尔茨海默氏病(AD)是一种不可逆的脑神经退行性疾病,可导致记忆力减退、沟通困难和定向障碍。对于阿尔茨海默病的诊断,临床上往往需要一系列的量表对诊断进行评估,这不仅增加了医生的工作量,也使得诊断的结果具有很强的主观性。因此,对于阿尔茨海默病,通过影像学手段寻找早期诊断标志物已成为当务之急。在本文中,我们提出了一种新的3DMgNet架构,这是一个统一的框架,多网格和卷积神经网络诊断阿尔茨海默病(AD)。该模型使用开放数据集(ADNI数据集)进行训练,然后使用我们的较小数据集进行测试。最后,该模型实现了92.133%的准确率为AD与NC分类,并显着降低了模型参数。
2022-01-12 cs.CV cs.LG eess.IV
A Methodology to Evaluate Strategies Predicting Rankings on Unseen Domains
Montefiore Institute, University of Liège, Belgium(蒙特夫罗研究所,利耶大学,比利时)
本文提出一种方法,在留出一个领域的方式下,评估不同策略在未见领域上预测排名的能力,针对40种无监督背景减除方法在53个视频领域中的表现。
2025-05-21 cs.CV cs.PF
Deep Probability Estimation
New York University(纽约大学);NYU School of Medicine(纽约大学医学院)
可靠的概率估计在许多存在固有(任意)不确定性的实际应用中至关重要。概率估计模型是根据观察到的结果(例如是否下雨,或者患者是否死亡)进行训练的,因为感兴趣事件的地面真实概率通常是未知的。因此,这个问题类似于二元分类,区别在于目标是估计概率而不是预测具体结果。本文研究了基于深度神经网络的高维数据概率估计。有几种方法可以提高这些模型产生的概率,但它们主要集中在模型(认知)的不确定性。对于具有固有不确定性的问题,在没有获得地面真实概率的情况下评估性能是具有挑战性的。为了解决这个问题,我们构建了一个合成数据集来研究和比较不同的可计算指标。我们评估现有的方法的合成数据,以及在三个现实世界的概率估计任务,所有这些都涉及固有的不确定性:从雷达图像的降水预测,预测癌症患者的生存从组织病理学图像,并预测车祸从dashcam视频。我们还给出了一个理论分析的模型,高维概率估计再现了我们的实验中所示的几个现象。最后,我们提出了一种新的方法,概率估计使用神经网络,修改训练过程,以促进输出概率是一致的经验概率计算的数据。该方法优于现有的方法上的模拟以及真实世界的数据的大多数指标。
2022-10-11 cs.AI cs.CV cs.LG