Evaluating AI systems under uncertain ground truth: a case study in dermatology
Google DeepMind(谷歌DeepMind);Google(谷歌);Bogazici University(博加齐奇大学)
针对医疗AI评估中忽略真实标签不确定性(鉴别诊断个体不确定性与专家分歧)导致性能高估的问题,提出统计聚合方法捕捉真实标签不确定性,在皮肤病分类中证明其能提供更准确的性能及不确定性估计,指出医疗诊断需更细致的评估协议。
2025-04-13 cs.CV cs.LG stat.ME
Learning Nonparametric Human Mesh Reconstruction from a Single Image without Ground Truth Meshes
University of Washington(华盛顿大学);Microsoft(微软)
非参数化方法在从单目图像重建三维人体网格上显示出了良好的效果。与以前的方法不同,使用参数化的人体模型,如皮肤多人线性模型(SMPL),并试图回归模型参数,非参数方法放松了对参数空间的严重依赖。然而,现有的非参数方法需要真值网格作为每个顶点的回归目标,并且获得真值网格标签是非常昂贵的。在本文中,我们提出了一种新的方法来学习人体网格重建没有任何真值网格。这是通过在图卷积神经网络(Graph CNN)的损失函数中引入两个新项来实现的。第一项是拉普拉斯先验,它在重建的网格上充当正则化器。第二项是部分分割损失,其迫使重建网格的投影区域与部分分割相匹配。在多个公开数据集上的实验结果表明,在不使用3D真值网格的情况下,该方法的性能优于需要使用真值网格进行训练的现有方法.
2020-02-28 cs.CV
A metric for evaluating 3D reconstruction and mapping performance with no ground truthing
University of California, Merced(加州大学默塞德分校)
在评估3D映射性能时并不容易,因为现有的指标需要只能用特殊仪器收集的地面实况数据。在本文中,我们提出了一个度量,密集地图后验(dense map posterior),用于此评估。它可以在没有任何地面实况数据的情况下工作。相反,它从密集点云观测中计算一个反映地图后验概率的可比值。在我们的实验中,建议的ESTA是基准对地面真相为基础的指标。结果表明,该方法可以提供类似的评估能力。该指标使得评估不同的方法更加灵活,并开辟了许多新的可能性,例如自监督方法和更多可用的数据集。
2021-04-19 cs.CV eess.IV
Geometry Enhancements from Visual Content: Going Beyond Ground Truth
Tal-Aviv University(特拉维夫大学)
这项工作提出了一种新的循环架构,从图像中提取高频模式,并重新插入它们作为几何特征。这个过程使我们能够提高低成本深度传感器的分辨率,一方面捕捉精细的细节,另一方面忠于扫描的真值。我们为深度超分辨率任务提供了最先进的结果,以及视觉上有吸引力的增强生成的3D模型。
2022-03-05 cs.CV
Beyond the Ground Truth: Enhanced Supervision for Image Restoration
本文提出一种增强真实图像的框架,通过超分辨率和自适应频率掩码生成高质量监督,提升图像修复效果,实验表明其能改善修复图像质量。
2026-04-01 cs.CV
Be Careful When Evaluating Explanations Regarding Ground Truth
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学);University of Natural Resources and Life Sciences Vienna(维也纳自然资源与生命科学大学);Medical University of Graz(格拉茨医科大学)
针对图像分类器解释评估侧重模型而非解释方法的问题,提出联合评估深度神经网络与解释方法结合的安全关键系统鲁棒性的框架,通过微调程序量化对齐差异,实验揭示视觉Transformer鲁棒性及系统对抗攻击脆弱性。
2023-11-08 cs.CV cs.LG
3D Ground Truth Reconstruction from Multi-Camera Annotations Using UKF
Department of Electrical Engineering and Computer Science, GIST, Korea(电气工程与计算机科学系,韩国全州科学技术院)
本文提出了一种基于UKF的多摄像头注释方法,用于从2D图像注释中重建准确的3D地面真实,同时输出完整3D物体形状。
2025-11-18 cs.CV
Easy-GT: Open-Source Software to Facilitate Making the Ground Truth for White Blood Cells Nucleus
University of Tehran(德黑兰大学);Nimaad Health Equipment Development Company(Nimaad健康设备开发公司);K. N. Toosi University of Technology(K. N. Toosi理工大学)
白细胞(WBC)的核在其检测和分类中起着重要作用。适当的核特征提取是必要的,以适应合适的人工智能模型来分类白细胞。因此,需要设计一种方法来精确地分割细胞核。应该在由血液学家区分的基础事实与检测到的细胞核之间进行比较,以准确地评估细胞核分割方法的性能。人工建立真值对专家来说是一项耗时且繁琐的任务。本文介绍了一种智能开源软件Easy-GT,可以更快、更容易地创建白细胞核的真值。该软件首先通过采用新的基于Otsu阈值的方法检测细胞核,骰子相似系数(DSC)为95.42%;然后血液学家可以使用设计的按钮修改阈值来创建更准确的真值。该软件可使真值的形成速度提高6倍以上。
2021-06-08 cs.CV eess.IV
Plant Stem Segmentation Using Fast Ground Truth Generation
Purdue University(普渡大学)
植物萎蔫的准确表型分析对于理解植物对环境胁迫的反应是非常重要的。对植物形状的分析可能被用来准确地量化枯萎的程度。植物形状分析可以通过定位茎来增强,茎在萎蔫期间充当一致的参考点。在本文中,我们展示了深度学习方法可以准确地分割番茄植物茎。我们还提出了一种基于控制点的真值方法,该方法大大减少了为深度学习方法创建训练数据集所需的资源。实验结果表明,我们提出的真值方法和基于深度学习的干分割的可行性。
2020-01-24 cs.CV
Ground Truth Simulation for Deep Learning Classification of Mid-Resolution Venus Images Via Unmixing of High-Resolution Hyperspectral Fenix Data
Technion Israel Institute of Technology(以色列理工学院);Bar-Ilan University(巴伊兰大学)
由于缺乏足够的实地数据,训练用于分类的深度神经网络构成了遥感领域的一个主要问题。通过人工判读获取高分辨率真值(GT)既成本低又不一致。相反,我们建议利用高分辨率的高光谱图像来解决这个问题,通过分解这些图像来获得可靠的GT来训练深度网络。具体来说,我们模拟GT从高分辨率,高光谱FENIX图像,并使用它来训练卷积神经网络(CNN)基于像素的分类。我们展示了如何将模型成功地转移到新的中分辨率VENUS图像分类。
2019-11-24 cs.CV cs.LG cs.NE
CALVIS: chest, waist and pelvis circumference from 3D human body meshes as ground truth for deep learning
Paris Lodron University of Salzburg(萨尔茨堡帕里斯·洛德龙大学)
本文提出了一种从三维人体网格中计算$\textbf{C}$ hest、w $\textbf{A}$ ist和pe $\textbf{LVIS}$周长的方法CALVIS。我们的动机是使用这些数据作为训练卷积神经网络(CNN)的真值。以前的工作使用了大规模的CAESAR数据集或确定这些人体测量$\textit{manually}$从一个人或人的三维人体网格。不幸的是,获取这些数据是一项耗费成本和时间的工作。相比之下,我们的方法可以自动用于3D网格。我们合成八个人体网格,并应用CALVIS计算胸围,腰围和骨盆周长。我们定性评估的结果,并观察到,测量确实可以用来估计一个人的形状。然后,我们通过用CALVIS生成真值来训练一个小的CNN,来评估我们的方法的可扩展性。在用我们的数据训练网络之后,我们实现了竞争性验证误差。此外,我们公开了CALVIS的实施,以推动该领域的发展。
2020-02-12 cs.CV cs.LG
Long-Term Visual Localization in Dynamic Benthic Environments: A Dataset, Footprint-Based Ground Truth, and Visual Place Recognition Benchmark
Department of Marine Technology(海洋技术系);Norwegian University of Science and Technology(挪威科学技术大学);Trondheim, Norway(特罗姆瑟,挪威)
本文提出一个用于长期底栖环境视觉定位的 curated 数据集和基于足迹的地面真实方法,评估了八种最先进的视觉地点识别方法,发现其在该数据集上的 Recall@K 显著低于传统基准。
2026-03-04 cs.CV cs.RO
Deformation-Compensated Learning for Image Reconstruction without Ground Truth
Washington University in St. Louis(圣路易斯华盛顿大学);Mallinckrodt Institute of Radiology(马林克罗特放射学研究所)
用于医学图像重建的深度神经网络传统上使用高质量的地面实况图像作为训练目标进行训练。最近关于Noise2Noise(N2N)的工作表明,使用同一对象的多个噪声测量值作为替代地面实况的可能性。然而,现有的基于N2N的方法不适合从经历非刚性变形的对象的测量中学习。本文通过提出变形补偿学习(DeCoLearn)方法来解决这个问题,该方法通过补偿对象变形来训练深度重建网络。DeCoLearn的一个关键组件是深度配准模块,它与深度重建网络联合训练,而无需任何地面实况监督。我们在模拟和实验收集的磁共振成像(MRI)数据上验证了DeCoLearn,并表明它显着提高了成像质量。
2021-12-17 cs.CV eess.IV
Long-Tailed Recognition by Mutual Information Maximization between Latent Features and Ground-Truth Labels
Seoul National University(首尔国立大学)
本文将长尾识别重新定义为潜在特征与真实标签之间的互信息最大化,无缝整合对比学习与logit调整,提出新损失函数,在长尾识别基准上达到最先进性能,并验证了其在图像分割中的通用性。
2023-08-08 cs.CV cs.LG
Training Image Estimators without Image Ground-Truth
Washington University in St. Louis(圣路易斯华盛顿大学)
深度神经网络在图像估计应用中已经非常成功,例如压缩感测和图像复原,作为从部分、模糊或以其他方式退化的测量来估计图像的手段。这些网络在大量相应的测量值和真值图像对上进行训练,从而隐式地学习利用特定领域的图像统计。但与测量数据不同的是,在许多应用环境中收集大量的真值图像训练集通常是昂贵的或不切实际的。在本文中,我们介绍了一种用于训练图像估计网络的无监督框架,该框架来自仅包含测量值的训练集-每个图像具有两个不同的测量值-但没有用于输出所需的完整图像的真值。我们证明了我们的框架可以应用于常规和盲图像估计任务,其中在后一种情况下,测量模型的参数(例如,模糊核)是未知的:在推断期间,并且可能也在训练期间。我们评估我们的方法训练网络的压缩感知和盲反卷积,考虑后者的非盲和盲训练。我们的无监督框架产生的模型几乎与完全监督训练的模型一样准确,尽管无法访问任何真值图像。
2019-10-28 cs.CV
Population Mapping in Informal Settlements with High-Resolution Satellite Imagery and Equitable Ground-Truth
University of Warwick(华威大学);NYU(纽约大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个可推广的框架,人口估计密集,非正式住区的低收入城市地区-所谓的“贫民窟”-使用高分辨率卫星图像。准确的人口估计是政府当局和非政府组织有效分配资源分配的一个关键因素,例如在医疗紧急情况下。我们利用与当地社区合作收集的公平的真值数据:通过培训和社区制图,当地居民贡献了他们独特的领域知识,同时也保持了对他们数据的代理权。这种做法使我们能够避免将潜在的偏差带入建模管道,这可能来自不太严格的地面实况方法。我们将我们的方法与机器学习社区正在进行的讨论相结合,旨在使现实世界的机器学习应用程序更具包容性,公平性和责任感。由于资源密集型的真值生成过程,我们的训练数据是有限的。我们提出了一个网格化的人口估计模型,使灵活和可定制的空间分辨率。我们在尼日利亚的三个实验站点上测试了我们的管道,利用预先训练和微调的视觉网络来克服数据稀疏性。我们的研究结果突出了将常见的基准模型转移到现实世界任务的困难。我们对此进行了讨论,并提出了进一步的步骤。
2020-09-17 cs.CV cs.CY cs.LG
Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection
National Lab of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);Visionfinity Inc.(Visionfinity公司);ObjectEye Inc.(ObjectEye公司);Universal AI Inc.(通用人工智能公司);AnyVision;Queen’s University Belfast(贝尔法斯特女王大学)
近年来,基于深度学习的人脸标志点检测取得了巨大的成功。尽管如此,我们注意到,语义模糊性大大降低了检测性能。具体地,语义模糊性意味着一些界标(例如,沿着面部轮廓均匀分布的那些界标)不具有清晰和准确的定义,从而导致注释者的注释不一致。因此,这些通常由公共数据库提供的不一致的注释通常用作监督网络训练的真值,导致准确性降低。据我们所知,很少有研究调查这个问题。在本文中,我们提出了一种新的概率模型,它引入了一个潜在的变量,即“真正的”真值,这是语义上一致的,以优化。该框架耦合了两个部分:(1)训练地标检测CNN和(2)搜索“真实”真值。这两个部分被交替优化:搜索到的“真实”地面实况监督CNN训练;并且训练后的CNN辅助搜索“真实"真值。此外,为了恢复由于遮挡和低质量而导致的不自信的预测地标,我们提出了一个全局热图校正单元(GHCU),通过考虑全局人脸形状作为约束来校正离群值。在基于图像(300 W和AFLW)和基于视频(300-VW)的数据库上进行的大量实验表明,该方法有效地提高了地标检测的准确性,并达到了最先进的性能。
2019-03-26 cs.CV
Robust Loss Functions for Object Grasping under Limited Ground Truth
Ocean University of China(中国海洋大学)
针对物体抓取训练中真实标签缺失与含噪问题,本文提出结合伪标签的预测类别概率方法和对称损失函数,实验证明可提升典型抓取网络性能2%至13%。
2024-09-09 cs.CV cs.RO
Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior
Ulsan National Institute of Science and Technology(蔚山科学技术院)
压缩感知是一种从欠采样测量中恢复原始图像的方法。为了克服该逆问题的不适定性,使用图像先验知识,例如小波域中的稀疏性、最小总变差或自相似性。最近,已经提出了基于深度学习的压缩图像恢复方法,并且已经产生了最先进的性能。他们使用基于深度学习的数据驱动方法而不是手工制作的图像先验来解决欠采样数据的不适定逆问题。具有讽刺意味的是,为它们训练深度神经网络需要“干净”的真值图像,但从欠采样数据中获得最佳质量的图像需要经过良好训练的深度神经网络。为了解决这一困境,我们提出了新的方法,基于两个良好的理论:降噪近似消息传递和斯坦的无偏风险估计。我们提出的方法能够从欠采样测量中训练基于深度学习的图像去噪器,而无需真值图像和图像先验,并从欠采样数据中恢复具有最先进质量的图像。我们评估了我们的方法用于高斯随机,编码衍射图案和压缩感知MRI测量矩阵的各种压缩感知恢复问题。我们的方法在没有真值图像和没有图像先验的所有情况下都取得了最先进的性能。它们也产生了与具有真值数据的方法相当的性能。
2018-12-19 cs.CV
SurfaceAug: Closing the Gap in Multimodal Ground Truth Sampling
Noblis(诺布利斯公司)
针对多模态检测器缺乏强数据增强的问题,本文提出 SurfaceAug 真实标签采样算法,通过联合重采样图像与点云实现双模态目标级变换,并在 KITTI 汽车检测上达到新最优。
2023-12-06 cs.CV
Computed tomography data collection of the complete human mandible and valid clinical ground truth models
Medical University of Graz(格拉茨医科大学);Computer Algorithms for Medicine Laboratory(医学计算机算法实验室);Graz University of Technology(格拉茨工业大学)
基于图像的算法软件分割在许多医学领域中是一个越来越重要的课题。医学分割用于医学三维可视化、诊断或治疗支持,特别是在复杂的医学病例中。然而,可访问的医学数据库是有限的,并且用于评估算法的有效医学真值数据库是罕见的,并且通常仅包括少数图像。医学真值数据和基于图像的伪影的不准确性或无效性也限制了这种数据库的创建,这与上下颌复合体的CT数据集特别相关。该贡献提供了完整下颌骨的独特且可访问的数据集,包括源自临床实践的10次CT扫描的20个有效真值分割模型,没有伪影或错误切片。从每个CT扫描,两个3D真值模型由临床专家通过独立的手动逐层分割创建,并对模型进行统计学比较,以证明其有效性。这些数据可用于进行人类下颌骨的系列图像研究,评估分割算法和开发适当的图像工具。
2019-02-14 cs.CV
On the Evaluation of Video Keyframe Summaries using User Ground Truth
Bangor University(班戈大学);Middlesex University(密德萨斯大学)
考虑到人们对从视频中创建关键帧摘要的极大兴趣,令人惊讶的是,很少有人对它们的评估和比较进行正式化。用户研究经常进行,以证明所提出的方法比一个或两个竞争对手的方法产生更有吸引力的摘要。但是,更大规模的比较研究不可能使用这种用户调查。在这里,我们提出了一个歧视能力的措施,作为一个正式的方式来量化统一的基线上的改进,假设一个或多个真值摘要。使用VSUMM视频集合,我们研究了10种视频特征类型,包括CNN和SURF,以及6种用于匹配来自两个摘要的帧的方法。我们的研究结果表明,一个简单的帧表示,通过色调直方图足以比较关键帧摘要的目的。随后,我们提出了一个正式的协议比较摘要时,真值。
2017-12-19 cs.CV
Registration of serial sections: An evaluation method based on distortions of the ground truths
Hannover Medical School(汉诺威医学院);Leibniz-Fachhochschule School of Business(莱布尼茨应用科学大学商学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Biomedical Research in Endstage and Obstructive Lung Disease Hannover (BREATH), Member of the German Center for Lung Research (DZL)(汉诺威终末期与阻塞性肺病生物医学研究(BREATH),德国肺研究中心(DZL)成员)
组织学连续切片的配准是一项具有挑战性的任务。连续切片显示出切片造成的扭曲和损坏。缺少关于切割前组织外观的信息使得2D配准的现实验证变得极其困难。这项工作提出了基于地面实况的配准评价方法。首先,我们提出了一种方法来生成测试数据的注册。我们以类似于连续切片的切割失真的方式扭曲天生配准的图像堆栈。测试用例是从现有的3D数据集生成的,因此地面真相是已知的。其次,我们的测试用例生成的前提评估与已知的真值的注册。我们的方法,这样的评估技术区分这项工作从其他方法。在我们的评价中,登记不足和登记过多的情况都很明显。我们还调查了现有的验证工作。我们提出了一个全系列的评估,在六个不同的注册方法适用于我们扭曲的3D数据集的动物肺。我们的扭曲和地面真相数据集是公开的。
2021-06-06 cs.CV
Nonlinear Equivariant Imaging: Learning Multi-Parametric Tissue Mapping without Ground Truth for Compressive Quantitative MRI
University of Bath(巴斯大学);GE Healthcare(通用电气医疗集团);Technical University of Munich(慕尼黑工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
当前最先进的从快速、压缩、磁共振指纹(MRF)进行定量组织图的重建使用监督式深度学习,其缺点是需要有限的高保真真值组织图训练数据。本文提出了非线性等变成像(NLEI),这是一种自监督学习方法,可以消除深度MRF图像重建对真值的需求。NLEI将最近的等变成像框架扩展到非线性逆问题,如MRF。只有快速、压缩采样的MRF扫描用于训练。NLEI使用时空先验来学习组织映射:空间先验是从MRF数据对一组几何图像变换的不变性中获得的,而时间先验是从由预训练的神经网络近似的非线性Bloch响应模型中获得的。在两个采集设置上进行回顾性测试,我们观察到NLEI(自监督学习)接近监督学习的性能,尽管在训练期间没有使用真值。
2022-11-23 cs.CV eess.IV
A novel approach to generate datasets with XAI ground truth to evaluate image models
University of the Balearic Islands(巴利阿里群岛大学)
针对可解释人工智能(XAI)领域缺乏真值(GT)难以验证研究的问题,提出一种生成带XAI真值的图像模型评估数据集的新方法,实验验证其正确性。
2023-10-03 cs.AI cs.CV cs.LG
Hyperspectral Unmixing: Ground Truth Labeling, Datasets, Benchmark Performances and Survey
高光谱解混(HU)是一个非常有用的和越来越流行的预处理步骤,为广泛的高光谱应用。然而,HU研究受到三个因素的限制:(a)高光谱图像的数量(b)大多数高光谱图像的地面实况没有在网上共享,这可能给研究人员评估其算法造成许多不必要的麻烦;(c)大多数最新方法的代码没有共享,这也可能拖延新方法的测试。因此,本文从以下三个方面对上述问题进行了研究:(1)作为一个深刻的贡献,我们提供了一个一般的标记方法的胡。有了它,我们标记了多达15个高光谱图像,提供了18个版本的地面实况。据我们所知,这是第一篇总结和分享HU多达15个高光谱图像及其18个地面实况版本的论文。观察到高光谱分类(HyC)比HU有更多的标准数据集(其地面真理通常是公开共享的),我们提出了一个有趣的方法来转换HyC数据集的HU研究。(2)为了进一步方便在不同条件下的HU方法的评估,我们审查和实现的算法,以产生一个复杂的合成高光谱图像。通过调整代码中的超参数,我们可以从四个角度验证HU方法。该代码也将在网络上共享。(3)为了提供一个标准的比较,我们回顾了多达10个最先进的HU算法,然后选择了5个最基准的HU算法,并在15个真实的高光谱数据集上进行了比较。实验结果具有一定的可重复性,实现的代码将在网络上共享。
2017-10-11 cs.CV
Resolving Class Imbalance for LiDAR-based Object Detector by Dynamic Weight Average and Contextual Ground Truth Sampling
Korea University(高丽大学);Hyundai Motor Company(现代汽车公司)
自动驾驶系统需要一个3D物体检测器,它必须可靠地感知所有存在的道路代理,以安全地导航环境。然而,现实世界的驾驶数据集经常遭受数据不平衡的问题,这导致难以训练在所有类别中都能很好地工作的模型,从而导致不希望的不平衡次优性能。在这项工作中,我们提出了一种方法来解决这种数据不平衡的问题。我们的方法由两个主要部分组成:(i)基于LiDAR的3D物体检测器,具有每类多个检测头,其中每个头的损失通过动态权重平均进行修改以平衡。(ii)上下文真值(GT)采样,其中我们通过利用语义信息来利用采样的真值GT对象来增强点云,从而改进传统的GT采样技术。我们对KITTI和nuScenes数据集的实验证实了我们提出的方法在处理数据不平衡问题方面的有效性,与现有方法相比,可以产生更好的检测精度。
2022-10-07 cs.CV
CrackGAN: Pavement Crack Detection Using Partially Accurate Ground Truths Based on Generative Adversarial Learning
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰伦公司)
全卷积网络是逐像素语义分割/检测的强大工具。然而,当使用部分准确的地面真值(GT)处理裂缝检测时,这是有问题的:由于准确的GT的不可用和数据不平衡,网络可能很容易收敛到将所有像素视为背景(BG)的状态,并且仍然实现了非常好的损失,称为“全黑”现象。为了解决这个问题,我们提出了crack-patch-only(CPO)监督生成对抗学习进行端到端训练,这迫使网络始终生成crack-GT图像,同时通过将较大尺寸的裂缝图像馈送到非对称U形生成器中来保留裂缝和BG图像翻译能力,以克服“全黑”问题。使用四个裂缝数据集验证了所提出的方法,并实现了最先进的性能相比,最近发表的作品在效率和准确性。
2020-06-26 cs.CV cs.LG eess.IV
Ground-truth dataset and baseline evaluations for image base-detail separation algorithms
基本-细节分离是一个基本的计算机视觉问题,包括用粗糙结构建模光滑的基本层,以及包含纹理类结构的细节层。估计基础的挑战之一是保持对象或部件之间的清晰边界,以避免光晕伪影。已经提出了许多方法来解决这个问题,但没有真实图像的真值数据集进行定量评估。我们提出了一个过程来构建这样的数据集,并提供了两个数据集:Pascal Base-Detail和Fashionista Base-Detail,分别包含1000和250张图像。我们的假设是基础是分段光滑的,我们通过多项式模型标记每一片的外观。这些片段是从人类注释中获得的对象和对象的部分。最后,我们提出了一种方法来评估我们的基本细节真值的方法,我们比较了七个国家的最先进的算法的性能。
2016-02-18 cs.CV
Joint Demosaicking and Denoising in the Wild: The Case of Training Under Ground Truth Uncertainty
The Hong Kong University of Science and Technology(香港科技大学)
图像去马赛克和去噪是数字相机流水线中的两个关键基本步骤,旨在从噪声亮度读数中重建干净的彩色图像。在本文中,我们提出并研究了Wild-JDD,一种新的学习框架,用于在野外进行联合去马赛克和去噪。在以前的作品,一般假设训练数据的真值是一个完美的现实反映,我们认为在这里更常见的不完美的情况下,真值的不确定性在野外。我们首先说明其表现为各种各样的文物,包括拉链效应,彩色云纹和残留噪声。然后,我们制定了一个两阶段的数据退化过程,以捕捉这样的真值的不确定性,共轭先验分布的基础分布。在此之后,我们推导出一个证据下限(ELBO)损失训练一个神经网络,近似的参数的共轭先验分布条件下的退化输入。最后,为了进一步提高对分布外输入的性能,我们设计了一个简单但有效的微调策略,将输入作为弱信息先验。考虑到真值的不确定性,Wild-JDD在优化过程中具有良好的可解释性。大量的实验验证,它优于国家的最先进的计划联合去马赛克和去噪任务的合成和现实的原始数据集。
2021-01-12 cs.CV eess.IV
Creating Realistic Ground Truth Data for the Evaluation of Calibration Methods for Plenoptic and Conventional Cameras
Kiel University(基尔大学)
摄像机标定方法通常包括捕获已知标定模式的图像,并使用检测到的对应关系来优化假设的摄像机模型的参数。对这些方法的有意义的评价依赖于现实的合成数据的可用性。在以前的工作与传统的相机的合成数据主要是通过渲染完美的图像与针孔相机,随后添加失真和像差的渲染和对应关系,根据假设的相机模型创建。这种方法可能会使评估产生偏差,因为并非每个相机都完全符合假设的模型。此外,在全光相机校准领域中,根本不存在可用的合成真值数据。我们解决这些问题,提出了一种方法的基础上向后光线追踪创建现实的真值数据,可用于无偏的评价这两种类型的相机的校准方法。
2022-03-09 cs.CV cs.GR
Nonrigid Optical Flow Ground Truth for Real-World Scenes with Time-Varying Shading Effects
University College London(伦敦大学学院);University of Bath(巴斯大学);Google(谷歌)
在本文中,我们提出了一个密集的真值数据集的非刚性变形现实世界的场景。我们的数据集包含长视频序列和短视频序列,并能够对基于RGB的跟踪和配准方法进行定量评估。为了构建RGB序列的真值,我们同时捕获近红外(NIR)图像序列,其中密集标记(仅在NIR中可见)表示真值位置。这允许与自动跟踪的RGB位置进行比较并形成误差度量。大多数包含非刚性变形序列的先前数据集基于合成数据。我们的捕获协议使我们能够获得真实世界的变形对象与逼真的光度效果-如模糊和照明变化-以及闭塞和复杂的变形。构建了一个公共评估网站,以允许使用各种统计测量对基于RGB图像的光流和其他密集跟踪算法进行排名。此外,我们提出了一个RGB-NIR多光谱光流模型,允许通过自适应地结合来自RGB和互补NIR通道的特征信息进行能量优化。在我们的实验中,我们评估了现有的八个基于RGB的光流方法对我们的新数据集。我们还评估了我们的混合光流算法,通过比较现有的两种多光谱方法,以及不同的输入通道在RGB,NIR和RGB-NIR。
2016-07-15 cs.CV
A System-driven Automatic Ground Truth Generation Method for DL Inner-City Driving Corridor Detectors
Robert Bosch GmbH(罗伯特·博世有限公司)
数据驱动的感知方法在自动驾驶系统中已经得到了很好的应用。在许多领域甚至达到了超人的性能。与预测和规划方法不同,感知域主要使用监督学习算法。因此,剩余的主要挑战是有效生成真值数据。由于感知模块位于传感器附近,因此它们通常在高带宽的原始传感器数据上运行。因此,真值标签的生成通常导致大量的人工工作,这导致标签本身和必要的质量控制的高成本。在这方面的贡献,我们提出了一个自动标记的方法,语义分割的驾驶自我走廊,减少了人工的努力的一个因素,150个以上。所提出的整体方法可以用于自动数据循环,允许不断改进依赖的感知模块。
2022-07-20 cs.AI cs.CV cs.RO
NoPo-Avatar: Generalizable and Animatable Avatars from Sparse Inputs without Human Poses
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
NoPo-Avatar通过仅使用图像输入,无需姿态信息,实现了从稀疏输入中生成通用且可动画化的3D人体avatar,提升了在噪声姿态下的鲁棒性和广泛应用性。
2025-11-20 cs.CV
Multi-Stream Networks and Ground-Truth Generation for Crowd Counting
University of Campinas(坎皮纳斯大学)
人群景物分析近年来受到了广泛的关注,因为它具有广泛的应用,例如,法医学,城市规划,监控和安全。在这种情况下,一个具有挑战性的任务被称为人群计数,其主要目的是估计单个图像中存在的人数。一个多流卷积神经网络的开发和评估,在这项工作中,它接收图像作为输入,并产生一个密度图,表示在一个端到端的方式的空间分布的人。为了解决复杂的人群计数问题,例如极其不受约束的规模和视角变化,网络架构利用每个流具有不同大小过滤器的感受野。此外,我们研究了两种最常见的方式对地面真实值的产生的影响,并提出了一种基于微小人脸检测和尺度插值的混合方法。在两个具有挑战性的数据集UCF-CC-50和ShanghaiTech上进行的实验表明,使用我们的地面真值生成方法可以获得更好的结果。
2020-03-11 cs.CV
AI-based analysis of super-resolution microscopy: Biological discovery in the absence of ground truth
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙弗雷泽大学);Birzeit University(比尔宰特大学)
本文介绍利用弱监督人工智能分析超分辨显微数据,以在缺乏真实标注下探索亚细胞纳米结构,加速生物学发现。
2024-05-27 cs.AI cs.CV cs.LG
Automatic Ground Truths: Projected Image Annotations for Omnidirectional Vision
University of South Australia(南澳大利亚大学);Defence Science and Technology Group(国防科技集团)
我们提出了一种新的数据集由多个对象的全方位视频的质心位置自动注释。全方位视觉是一个活跃的研究领域,专注于在视频分析和场景理解中使用球形图像,涉及诸如目标检测、跟踪和识别的任务。我们的目标是提供一个大的和一致的注释视频数据集,可用于训练和评估这些任务的新算法。在这里,我们描述的实验设置和软件环境,用于捕获和映射到图像中的多个对象的3D地面实况位置。此外,我们估计的映射位置上的预期系统误差。除了最终的数据产品外,我们还公开发布重新校准相机和/或重做此映射所需的软件工具和原始数据。该软件还提供了一个简单的框架,用于将标准图像注释工具或视觉跟踪系统的结果与我们映射的地面实况注释进行比较。
2017-09-12 cs.CV
Pose Estimation for Human Wearing Loose-Fitting Clothes: Obtaining Ground Truth Posture Using HFR Camera and Blinking LEDs
Kogakuin University(工学院大学)
人体姿态估计,特别是运动员,可以帮助提高他们的表现。然而,如果受试者穿着宽松的衣服,如滑雪/滑雪板穿着,则使用现有的方法,如人类注释,这种估计是困难的。本研究开发了一种方法,用于获得的真值数据的二维(2D)的人穿着宽松的衣服构成。这种方法使用快速冲洗发光二极管(LED)。受试者被要求穿着宽松的衣服,并将LED放在目标关节上。通过选择薄的薄膜状宽松衣服,使用相机直接观察LED。所提出的方法通过使用高帧率相机以240 fps捕获场景,并通过提取LED开和关帧来渲染两个30 fps的图像序列。考虑到人体运动的速度,两个视频序列之间的时间差异可以忽略不计。LED开启视频用于手动注释接头,从而获得真值数据。此外,LED关闭视频(相当于30 fps的标准视频)证实了现有基于机器学习的方法和手动注释的准确性。实验结果表明,该方法可以获得标准RGB视频的真值数据。此外,据透露,无论是手动注释还是最先进的姿态估计器都无法获得目标关节的正确位置。
2022-12-08 cs.CV
Real-MFF: A Large Realistic Multi-focus Image Dataset with Ground Truth
Tsinghua University(清华大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Hong Kong University of Science and Technology(香港科技大学);University College London(伦敦大学学院)
多聚焦图像融合是一种从两个或多个部分聚焦的源图像生成全聚焦图像的技术,可以有益于许多计算机视觉任务。然而,目前还没有一个大的和现实的数据集进行令人信服的评价和多聚焦图像融合算法的比较。此外,如果没有合适的数据集,很难训练用于多聚焦图像融合的深度神经网络。在这封信中,我们介绍了一个大型的和现实的多焦点数据集称为Real-MFF,其中包含710对源图像与相应的真值图像。数据集由光场图像生成,并且源图像和真值图像都是真实的。该数据集包含建筑物、植物、人、商场、广场等多种场景,为现有的多聚焦图像融合算法提供了一个成熟的基准,同时也为未来基于深度学习的方法的发展提供了合适的训练数据集。为了便于说明,我们还在该数据集上评估了10种典型的多聚焦算法。
2020-08-28 cs.CV
Expected exponential loss for gaze-based video and volume ground truth annotation
University of Bern(伯尔尼大学);Weather Analytics
最近在医学成像中使用的许多机器学习方法高度依赖于大量图像和真值数据。在对象分割的背景下,像素级注释的收集成本非常高,特别是在视频和3D体积中。为了减少这种注释负担,我们提出了一种新的框架,允许注释者简单地观察对象分割和记录他们用200美元的眼睛注视跟踪器看过的地方。然后,我们的方法估计整个序列中对象存在的像素概率,从中我们使用新的预期指数损失函数在半监督设置中训练分类器。我们表明,与现有策略相比,我们的框架在广泛的医学图像设置上提供了卓越的性能,并且我们的方法也可以与当前的众包范例相结合。
2017-07-16 cs.CV
Concordance in basal cell carcinoma diagnosis. Building a proper ground truth to train Artificial Intelligence tools
Hospital Universitario Virgen Macarena Seville, Spain(塞维利亚大学医院维珍玛卡伦娜医院);Dpt. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingeniería Universidad de Sevilla, Seville, Spain(塞维利亚大学电信与通信系);Hospitales Quironsalud Infanta Luisa y Sagrado Corazón Seville, Spain(quironsalud医院)
本研究针对基底细胞癌AI诊断工具的基准真值构建问题,通过分析4名皮肤科医生的诊断共识,发现多医生共识基准真值训练的AI工具性能与单医生标注的存在统计学差异,提出AI训练需采用多医生确立的基准真值。
2024-06-26 cs.CV cs.IR q-bio.QM
PGTRNet: Two-phase Weakly Supervised Object Detection with Pseudo Ground Truth Refinement
University of Warwick(华威大学);Shanghai Jiao Tong University(上海交通大学);Griffith University(格里菲斯大学)
当前的弱监督目标检测(WSOD)研究主要遵循两阶段训练策略,该策略将全监督检测器(FSD)与纯WSOD模型相结合。有两个主要问题阻碍了两阶段WSOD方法的性能,即,不充分的学习问题和FSD和由WSOD模型生成的伪真值(PGT)之间的严格依赖。本文提出了伪真值精化网络(PGTRNet),一个简单而有效的方法,不引入任何额外的学习参数,以应付这些问题。PGTRNet利用多个边界框来建立PGT,从而缓解了学习不足的问题。此外,我们提出了一种新的在线PGT细化方法,通过在第二阶段训练中充分利用FSD的能力,将第一阶段和第二阶段模型解耦,稳步提高PGT的质量。详细的实验进行PASCAL VOC 2007基准测试,以验证我们的方法的有效性。实验结果表明,PGTRNet提高了骨干模型的2.1%mAP,达到了最先进的性能。
2022-03-17 cs.CV
Google street view and deep learning: a new ground truthing approach for crop mapping
Seoul National University(首尔大学)
地面参照对于有监督的作物制图至关重要。然而,传统的地面实况调查涉及广泛的实地调查和后处理,这在时间和劳动力方面是昂贵的。在这项研究中,我们应用卷积神经网络(CNN)模型,通过谷歌街景(GSV)图像在两个不同的农业地区:伊利诺斯州中部和加利福尼亚州南部探索自动地面实况的有效性。我们证明了新的地面参考技术的可行性和可靠性,进一步进行基于像素的作物制图与植被指数作为模型输入。使用美国农业部(USDA)作物数据层(CDL)产品对结果进行了评估。从8,514张GSV图像中,CNN模型筛选出2,645张目标作物图像。这些图像被很好地分类为作物类型,包括苜蓿、杏仁、玉米、棉花、葡萄、大豆和开心果。整体GSV图像分类准确率在加利福尼亚州达到93%,在伊利诺伊州达到97%。然后,我们使用固定的经验系数移动图像地理坐标,以产生8,173个作物参考点,包括伊利诺伊州的1,764个和加利福尼亚州的6,409个。这些新的参考点与CDL产品的评价显示出令人满意的一致性,与94%至97%的协议。基于CNN的制图也捕捉到了作物类型分布的一般模式。CDL产品和我们的映射结果之间的总体差异在加利福尼亚州为4%,在伊利诺伊州为5%。因此,使用这些深度学习和GSV图像技术,我们为地面参考和作物制图提供了一种高效且具有成本效益的替代方法。
2019-12-03 cs.CV
Marine Snow Removal Using Internally Generated Pseudo Ground Truth
University of Bristol(布里斯托大学);Visual Information Laboratory(视觉信息实验室);Beam
针对水下视频因海洋雪导致画质下降且缺乏成对训练数据的问题,提出一种新型增强框架,通过从原始视频生成伪真值成对数据集实现监督训练,有效提升了水下图像修复效果。
2025-04-27 cs.CV
Learning Saliency Prediction From Sparse Fixation Pixel Map
Sichuan University(四川大学)
显著性预测数据集的地面实况由两种类型的地图数据组成:固定像素地图,其记录了样本图像上的人眼运动,以及通过对相应的固定像素地图执行高斯模糊而生成的固定斑点地图。目前的显着性方法通过直接逐像素地将输入图像回归到显着性图来执行预测,其中固定斑点作为地面实况,但是没有探索从固定像素图学习显着性。在这项工作中,我们提出了一个第一个同类的方法学习显着性预测稀疏固定像素地图,和一个新的损失函数训练从这样的稀疏固定。我们利用聚类从原始固定像素图中提取稀疏固定像素,并在输出上添加最大池化变换,以避免在计算损失时由附近但不重叠的显著像素引起的稀疏输出和标签之间的错误惩罚。该方法为实现显著性预测提供了一个新的视角。我们在多个基准数据集上评估了我们的方法,并与最先进的显着性方法相比,在多个指标方面取得了有竞争力的性能。
2018-09-03 cs.CV
Ground Truth Free Denoising by Optimal Transport
University of Bremen(不来梅大学);University of Cambridge(剑桥大学)
我们为任意类型的数据提出了一种学习的无监督去噪方法,我们在图像和一维信号上进行了探索。训练完全基于噪声数据的样本和噪声的示例,关键是不需要成对出现。我们只需要假设噪声是独立的和可加的(尽管我们描述了如何扩展)。该方法依赖于Wasserstein生成对抗网络设置,该设置利用两个批评者和一个生成器。
2020-07-03 cs.CV cs.NE math.FA
A laboratory-created dataset with ground-truth for hyperspectral unmixing evaluation
Northwestern Polytechnical University(西北工业大学);University of Calgary(卡尔加里大学)
光谱解混是高光谱数据处理中的一个重要而又具有挑战性的问题。这一主题已被广泛研究,并在文献中提出了各种解混算法。然而,缺乏公开可用的数据集与真值,使得它很难评估和比较的性能,在一个定量和客观的方式去混合算法。大多数现有的工作依赖于使用数值合成数据和直观的检查结果的实际数据。为了缓解这种困境,在这项研究中,我们在我们的实验室设计了几个实验场景,包括印刷棋盘,混合石英砂,和反射与垂直板。然后通过使用我们实验室的高光谱相机对这些场景进行成像来创建数据集,提供36个混合物,超过130,000个像素,256个波长波段,从400 nm到1000 nm。实验设置受到严格控制,以便知道纯材料的光谱特征和材料成分。据我们所知,该数据集是第一个公开可用的数据集,以系统的方式创建的真值光谱解混。一些典型的线性和非线性解混算法也进行了测试与此数据集,并导致有意义的结果。
2019-02-22 cs.CV
FusionNet and AugmentedFlowNet: Selective Proxy Ground Truth for Training on Unlabeled Images
University of Freiburg(弗莱堡大学)
最近的工作表明,卷积神经网络(CNN)可以用来估计光流具有高质量和快速的运行时间。这使得它们更适合现实世界的应用。然而,这样的网络需要非常大的训练数据集。工程化训练数据是困难和/或费力的。本文展示了如何使用大量额外的未标记数据来增强在现有合成数据集上训练的网络。特别是,我们引入了一个选择机制,从多个估计组装一个联合光流场,它优于所有的输入方法。后者可以用作代理地面实况,以在真实世界数据上训练网络,并使其适应特定的感兴趣领域。我们的实验结果表明,网络的性能大大提高,无论是在跨域和特定领域的情况下。因此,我们在KITTI基准测试中获得了最先进的结果。
2018-08-20 cs.CV
Camera trap classification with deep learning under ground truth uncertainty
Collaborative Earth(协作地球);School of Mathematics & Statistics, University of Glasgow(格拉斯哥大学数学与统计学院)
本研究探究地面真值不确定性对相机陷阱图像深度学习分类的影响,发现适度标签分歧训练结合ImageNet预训练可提升准确率,为整合人类与深度学习分类提供了方向。
2026-09-01 cs.CV
Anatomy-Constrained Contrastive Learning for Synthetic Segmentation without Ground-truth
Yale University(耶鲁大学)
通常需要大量的手动分割来训练鲁棒的分割网络,使得其能够以新的成像模态分割感兴趣的对象。如果在一个成像模态中的手动分割(例如,CT)可用于训练另一成像模态中的分割网络(例如,CBCT/MRI/PET)。在这项工作中,我们开发了一个解剖结构约束的对比合成分割网络(AccSeg-Net),训练目标成像模式的分割网络,而不使用其地面实况。具体而言,我们提出使用解剖约束和补丁对比学习,以确保在无监督自适应过程中的解剖保真度,使得分割网络可以在具有正确解剖结构/内容的自适应图像上进行训练。我们的AccSeg-Net的训练数据包括1)源模态中与分割真值配对的成像数据,以及2)未配对的源和目标模态成像数据。我们证明了CBCT,MRI和PET成像数据的成功应用,并显示出优越的分割性能相比,以前的方法。
2021-07-12 cs.AI cs.CV eess.IV
Virtual Ground Truth, and Pre-selection of 3D Interest Points for Improved Repeatability Evaluation of 2D Detectors
Flinders University(弗林德斯大学)
在计算机视觉中,使用称为兴趣点(IP)检测器的分类器来查找简单特征,这些检测器通常用于在场景变化时跟踪特征。对于基于2D的分类器,考虑到建立2D以外的真值的困难,使用2D度量来测量重复点可靠性是直观的。其目的是弥合2D分类器和3D环境之间的差距,并提高3D对象上的2D IP分类的性能分析。本文建立在现有的工作与3D扫描和人工模型测试传统的2D特征检测器的协助下,虚拟的3D场景。在测量可重复性之前,在测试中利用虚拟空间深度在2D和3D上下文中执行最接近的可重复点的预选。这种更可靠的真值用于分析测试配置,其中具有在x、y和z旋转中跨仿射变换的奇异和12模型数据集,以及具有9个众所周知的IP检测器的x、y缩放。虚拟场景的真值表明,3D预选消除了通常被认为在2D配置中重复的大部分误报。结果表明,3D虚拟环境可以提供援助,在比较传统的检测器的性能时,将其应用程序扩展到3D环境,并可以导致更好的分类功能时,测试预期的分类器的性能。与传统的可重复性测量相比,基于ROC的信息性测量还突出了2D/3D性能的权衡。
2019-03-05 cs.CV
Validation of neural spike sorting algorithms without ground-truth information
Simons Center for Data Analysis(西蒙斯数据分析中心);Dartmouth College(达特茅斯学院);University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
我们描述了一套验证指标,评估一个给定的自动尖峰排序算法应用到一个给定的电生理记录的可信度,当真值不可用。通过重新运行尖峰排序器两次或更多次,这些指标可以测量在与数据本身变化一致的各种扰动下的稳定性,而无需对噪声模型或排序算法的内部工作进行假设。这种稳定性是结果再现性的先决条件。我们说明了在体内和体外记录的标准分选算法的指标。我们相信,这些指标可以减少目前用于验证的大量人力,并应成为大规模自动化尖峰排序和算法系统基准测试的重要组成部分。
2015-08-27 cs.CV q-bio.NC
Real-time Kinematic Ground Truth for the Oxford RobotCar Dataset
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford(牛津大学工程科学系牛津机器人研究所);University of Oxford(牛津大学)
我们描述了一个具有挑战性的长期定位和映射基准的基础上,大规模的牛津RobotCar数据集的参考数据的发布。该版本包括72次穿越英国牛津的路线,收集了所有照明,天气和交通条件,并代表了自动驾驶汽车预计将可靠运行的条件。使用后处理的原始GPS,IMU和静态GNSS基站记录,我们已经为整个数据集的持续时间产生了全球一致的厘米精度真值。再加上计划中的在线基准服务,我们希望能够对不同的定位和地图方法进行定量评估和比较,重点关注道路车辆在受天气变化挑战的城市环境中的长期自主性。
2020-02-24 cs.CV cs.RO
An Open Hyperspectral Dataset with Sea-Land-Cloud Ground-Truth from the HYPSO-1 Satellite
Norwegian University of Science and Technology(挪威科技大学);University of Bucharest(布加勒斯特大学)
针对高光谱卫星遥感缺乏标记数据的问题,提出HYPSO-1海-陆-云开放数据集,含200幅图像及约2500万像素级标签,并优化一维全卷积网络达到最优性能。
2023-09-03 cs.AI cs.CV