3D Pose Regression using Convolutional Neural Networks
Center for Imaging Science, Johns Hopkins University(约翰斯·霍普金斯大学成像科学中心)
三维位姿估计是自主导航、三维场景理解等重要计算机视觉任务的关键组成部分。用于3D姿态估计的大多数现有技术的方法将该问题解决为姿态分类问题,其中姿态空间被离散化为仓并且使用CNN分类器来预测姿态仓。我们认为,3D姿态空间是连续的,并建议解决姿态估计问题的CNN回归框架与适当的表示,数据增强和损失函数,捕捉姿态空间的几何形状。在PASCAL3D+上的实验表明,该方法与现有方法相比具有较好的性能。
2017-08-18 cs.CV
HACMatch Semi-Supervised Rotation Regression with Hardness-Aware Curriculum Pseudo Labeling
Shanghai Jiao Tong University(上海交通大学)
提出一种难度感知课程学习框架,通过动态选择伪标签样本和结构化数据增强,在少量标注数据下提升半监督旋转回归性能。
2026-06-18 cs.CV
Monocular Object Orientation Estimation using Riemannian Regression and Classification Networks
Johns Hopkins University(约翰斯·霍普金斯大学)
我们考虑的任务,估计已知类别的对象的3D方向给定的对象的图像和周围的限界框it.Recently,基于CNN的回归和分类方法已经显示出显着的性能改进,这项任务。本文提出了一种新的基于CNN的单目方向估计方法,在四个不同的方向上推进了最先进的技术。首先,在设计回归损失和非线性激活函数时,我们考虑了方向空间的黎曼结构。其次,我们提出了一个混合的黎曼回归和分类框架,更好地处理具有挑战性的情况下,几乎对称的对象。第三,我们提出了一个数据增强的战略,是专门设计来捕捉3D方向的变化。第四,我们的方法在PASCAL 3D+数据集上得到了最先进的结果。
2018-07-19 cs.CV
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich(于利希研究中心);Jülich Supercomputing Centre (JSC)(于利希超级计算中心)
针对增强式自监督学习偏重不变特征、忽视等变特征的问题,本文引入无额外参数的交叉注意力图像重构辅助任务,在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
Spine Landmark Localization with combining of Heatmap Regression and Direct Coordinate Regression
DLUT(大连理工大学)
界标定位在医学图像处理和疾病识别中起着非常重要的作用。然而,在医学领域,由于医学图像的复杂性以及疾病识别和治疗对准确性的高要求,这是一项具有挑战性的任务,主要有两种方法来回归标志点协调,一种是使用全卷积网络来回归标志点的热图,这是一种复杂的方法,需要热图后处理策略,另一种方法是直接使用CNN +全连接网络来回归协调,这是非常简单和快速的训练,但需要更大的数据集和更深的模型来达到更高的精度。虽然通过数据增强和更深层次的网络可以达到合理的精度,但精度仍然不能达到医学领域的要求。此外,更深的网络也意味着更大的空间消耗。为了达到更高的精度,我们设计了一种新的地标回归方法,结合热图回归和直接坐标回归的基础上概率方法和系统控制理论。
2020-07-10 cs.CV
SNR-ST-Mix: Sample-specific Neighborhood Regression Mixup for Augmented Spatial Transcriptomics Imputation with Deep Neural Network
Northwestern University(西北大学);Yale University(耶鲁大学)
针对空间转录组数据噪声大、分辨率低的问题,提出SNR-ST-Mix数据增强框架,通过空间邻域约束和表达相似性加权混合生成生物合理的合成样本,提升深度神经网络插补性能。
2026-06-07 cs.AI cs.CV cs.LG
NIV-SSD: Neighbor IoU-Voting Single-Stage Object Detector From Point Cloud
Sun Yat-sen University(中山大学);Xidian University(西安电子科技大学)
针对点云单阶段检测器定位精度与分类置信度不对齐及难易目标检测不均衡问题,提出 NIV 策略和目标重采样增强,构建 NIV-SSD,实验验证其有效且性能具有竞争力。
2024-01-23 cs.CV
What Matters For Meta-Learning Vision Regression Tasks?
Bosch Center for Artificial Intelligence(博世人工智能中心)
元学习由于其快速适应未知任务的能力而被广泛用于Few-Shot分类和函数回归。然而,它还没有被很好地探索与高维输入,如图像的回归任务。本文做出了两个主要贡献,有助于理解这个几乎没有探索的领域。\emph{First},我们设计了两种新类型的跨类别级的视觉回归任务,即对象发现和姿态估计前所未有的复杂性,在元学习领域的计算机视觉。为此,我们(i)详尽评估这些任务上的常见元学习技术,(ii)定量分析最近Meta学习算法中常用的各种深度学习技术的效果,以加强泛化能力:数据增强,域随机化,任务增强和元正则化。最后,我们(iii)提供了一些见解和实用的建议,训练Meta学习算法的视觉回归任务。\emph{Second},我们建议在条件神经过程(CNP)中的任务表示上添加功能对比学习(FCL),并以端到端的方式进行训练。实验结果表明,由于损失函数的选择不当以及元训练集太小,先前工作的结果是误导性的。具体来说,我们发现CNP在大多数任务上都优于MAML,而无需进行微调。此外,我们观察到,天真的任务扩增没有一个量身定制的设计结果在拟合不足。
2022-03-09 cs.AI cs.CV cs.LG
Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(大数据管理与分析方法北京市重点实验室)
针对分布外场景下预测置信度失真问题,提出基于元集的级联温度回归方法,通过数据增强模拟领域偏移并划分子组训练回归网络,实现类别与置信度特定的细粒度事后校准。
2024-02-14 cs.CV
R-SCoRe: Revisiting Scene Coordinate Regression for Robust Large-Scale Visual Localization
ETH Zurich(苏黎世联邦理工学院);Microsoft Spatial AI Lab(微软空间人工智能实验室)
本文提出R-SCoRe方法,通过共视图全局编码、数据增强和深度调整重投影损失改进场景坐标回归,在大规模视觉定位中实现更高精度和更小地图尺寸。
2025-04-10 cs.CV
Equitable modelling of brain imaging by counterfactual augmentation with morphologically constrained 3D deep generative models
University College London(伦敦大学学院)
我们描述了Countersynth,条件生成模型,诱导标签驱动的,生物上合理的变化,体积脑图像的变形。该模型的目的是合成反事实的训练数据增强下游的歧视性建模任务,保真度是有限的数据不平衡,分布不稳定,混杂,或规格不足,并表现出不公平的性能在不同的亚群。集中在人口统计属性,我们评估合成的反事实的质量与基于体素的形态测量,分类和回归的条件属性,和Fréchet的起始距离。在工程人口不平衡和混杂的背景下检查下游辨别性能,我们使用英国生物银行磁共振成像数据来对CounterSynth增强与当前解决这些问题的方案进行基准测试。我们实现了最先进的改进,无论是在整体保真度和公平。CounterSynth的源代码可以在线获得。
2021-11-29 cs.CV cs.LG
Automatic kidney segmentation in ultrasound images using subsequent boundary distance regression and pixelwise classification networks
Huazhong University of Science and Technology(华中科技大学);University of Pennsylvania(宾夕法尼亚大学);The Children’s Hospital of Philadelphia(费城儿童医院)
由于肾脏的形状和图像强度分布不同,因此在临床超声(US)图像中自动分割肾脏仍然具有挑战性,尽管半自动方法已经取得了有希望的性能。在这项研究中,我们提出了后续的边界距离回归和像素分类网络分割肾脏,肾脏边界在图像中具有相对均匀的纹理模式。特别地,我们首先使用预先训练用于自然图像分类的深度神经网络来从US图像中提取高级图像特征,然后将这些特征用作使用边界距离回归网络学习肾脏边界距离图的输入,最后使用像素分类网络以端到端学习方式将预测的边界距离图分类为肾脏像素或非肾脏像素。我们还采用了一种基于肾脏形状配准的数据增强方法,从少量带有手动分割肾脏标签的US图像中生成丰富的训练数据。实验结果表明,该方法能有效提高肾脏自动分割的性能,明显优于基于深度学习的像素分类网络。
2019-03-30 cs.CV
What augmentations are sensitive to hyper-parameters and why?
Knowledge Representation Lab Innopolis University(知识表示实验室 印尼奥利普斯大学);Sorbonne Center for Artificial Intelligence - SCAI Sorbonne University(索邦人工智能中心 - SCAI 索邦大学)
本研究通过局部代理(LIME)解释和线性回归系数评估不同数据增强对模型超参数的敏感性、一致性和影响,发现某些增强对超参数高度敏感,而另一些则更稳健可靠。
2021-11-06 cs.AI cs.CV cs.LG
Image Augmentation Using a Task Guided Generative Adversarial Network for Age Estimation on Brain MRI
University of Nottingham(诺丁汉大学)
基于磁共振成像(MRI)的脑年龄估计是神经退行性疾病(如阿尔茨海默病、帕金森病、亨廷顿病等)早期诊断的一个活跃研究领域。对于老年人或大脑发育不全的年轻人来说。深度学习方法在许多医学图像分析任务中取得了最先进的性能,包括大脑年龄估计。然而,深度学习模型的性能和泛化能力高度依赖于训练数据集的数量和质量。收集和注释大脑MRI数据都非常耗时。为了克服数据稀缺问题,提出了一种基于生成对抗网络(GAN)的图像合成方法。与现有的基于GAN的方法不同,我们在GAN中的生成器末端集成了一个任务引导分支(用于年龄估计的回归模型)。通过在传统的GAN损失中添加任务引导的损失,学习的低维潜在空间和合成的图像更具任务特异性。它通过将合成图像和真实图像结合起来进行模型训练,有助于提高下游任务的性能。该方法进行了评估,对一个公共的大脑MRI数据集的年龄估计。我们提出的方法优于(统计上显著)基于深度卷积神经网络的回归模型和基于GAN的图像合成方法,而没有任务指导分支。更重要的是,它能够识别图像空间中与年龄相关的大脑区域。代码可以在GitHub上找到(https://github.com/ruizhe-l/tgb-gan)。
2021-08-03 cs.CV eess.IV
Enhanced Convolutional Neural Tangent Kernels
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Institute for Advanced Study(高等研究院)
最近的研究表明,对于具有$\ell_2$损失的训练,如果仅训练最后一层,则宽度(卷积层中的通道数)变为无穷大的卷积神经网络(CNN)对应于关于CNN高斯过程核(CNN-GP)的回归,并且如果训练所有层,则对应于关于卷积神经切线核(CNTK)的回归。计算CNTK的精确算法(Arora等人,2019)得出的发现是,CNTK在CIFAR-10上的分类准确度在相应CNN架构的分类准确度的6-7%以内(最佳数字约为78%),这对于固定内核来说是有趣的性能。在这里,我们展示了如何使用两个想法显着提高这些内核的性能。(1)使用称为局部平均池化(Local Average Pooling,简称EVM)的新操作修改内核,该操作保留了内核的高效可计算性,并继承了使用像素移位的标准数据增强的精神。由于核回归的二次训练成本,早期的论文无法结合朴素数据增强。这个想法的灵感来自于全局平均池(GAP),我们为CNN-GP和CNTK证明了它相当于完全翻译数据增强。(2)使用Coates等人(2011)提出的预处理技术表示输入图像,该技术使用由随机图像补丁组成的单个卷积层。在CIFAR-10上,所得到的内核,具有反向和水平翻转数据增强的CNN-GP,实现了89%的准确度,与AlexNet的性能相匹配(Krizhevsky等人,2012年)。请注意,这是我们所知道的最好的分类器结果,它不是一个经过训练的神经网络。对于…
2019-11-03 cs.CV cs.LG cs.NE
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
神经内核在不同的非标准数据模式上大大提高了性能,但需要更多的计算,这在以前将其应用限制在较小的数据集上。在这项工作中,我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合,以实现大规模的核回归(即多达500万个示例)。使用这种方法,我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍,我们获得了91.2%的测试准确度(纯核方法的SotA)。此外,我们还在其他数据模式上探索神经内核,获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Optimized Automated Cardiac MR Scar Quantification with GAN-Based Data Augmentation
Eindhoven University of Technology(埃因霍温理工大学);Philips Healthcare(飞利浦医疗保健);King’s College London(伦敦国王学院)
背景资料:晚期钆增强(LGE)心脏MRI的临床应用受到缺乏标准化和耗时后处理的限制。在这项工作中,我们测试了一个假设,即通过合成生成的数据进行增强训练的级联深度学习管道将提高自动疤痕量化的模型准确性和鲁棒性。研究方法:提出了一种由三个连续神经网络组成的级联管道,从边界框回归网络开始识别左心室(LV)心肌周围的感兴趣区域。然后使用另外两个nnU-Net模型来分割心肌和瘢痕(如果存在)。这些模型是在EMIDEC挑战的数据上训练的,并补充了由条件GAN生成的广泛的合成数据集。结果如下:级联流水线在每个切片水平上显著优于直接分割心肌(平均Dice相似系数(DSC)(标准差(SD)):0.84(0.09)vs 0.63(0.20),p < 0.01)和瘢痕(DSC:0.72(0.34)vs 0.46(0.39),p < 0.01)的单个nnU-Net。在训练过程中纳入合成数据作为数据增强,使瘢痕分割DSC提高了0.06(p < 0.01)。对于通过合成生成的数据增强的级联管道,挑战测试集中每例受试者的心肌和瘢痕平均DSC分别为0.86(0.03)和0.67(0.29)。结论:通过合成生成的数据进行增强训练的级联的基于深度学习的流水线导致与手动操作员类似的心肌和疤痕分割,并且优于没有合成图像的直接分割。
2021-09-27 cs.CV eess.IV
Adversarial Bi-Regressor Network for Domain Adaptive Regression
Tulane University(杜兰大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
提出对抗双回归网络(ABRNet),通过差异双回归器与对抗训练生成域不变表征,并设计域特定增强模块合成中间域,有效解决域自适应回归问题。
2024-07-17 cs.CV cs.HC
Robustness through Data Augmentation Loss Consistency
University of Southern California(南加州大学);Georgia Institute of Technology(佐治亚理工学院);Meta AI;Google Research(谷歌研究院)
虽然通过经验风险最小化(ERM)的深度学习已经成功地在各种复杂任务中实现了人类水平的性能,但ERM对分布偏移或对抗攻击并不鲁棒。合成数据增强后的经验风险最小化(DA-ERM)是一种简单且广泛使用的解决方案,以提高ERM的鲁棒性。此外,可以应用一致性正则化,以进一步提高模型的鲁棒性,通过迫使原始样本和增强样本的表示是相似的。然而,现有的一致性正则化方法不适用于协变数据增强,其中增强样本中的标签依赖于增强函数。例如,当我们用一个新的命名实体来扩充数据时,对话状态会随着命名实体而变化。在本文中,我们提出了数据增强的损失不变正则化(DAIR),一种简单形式的一致性正则化,直接应用于损失水平,而不是中间特征,使其广泛适用于不变和协变数据增强,无论网络架构,问题设置和任务。我们将DAIR应用于涉及协变数据增强的现实学习问题:鲁棒的面向神经任务的对话状态跟踪和鲁棒的视觉问答。我们还将DAIR应用于涉及不变数据增强的任务:鲁棒回归,针对对抗攻击的鲁棒分类,以及分布偏移下的鲁棒ImageNet分类。我们的实验表明,DAIR始终优于ERM和DA-ERM几乎没有边际计算成本,并设置新的国家的最先进的结果在几个基准涉及协变数据增强。我们所有实验的代码可在https://github.com/optimization-for-data-driven-science/DAIR.git上获得
2023-01-24 cs.AI cs.CL cs.CV
On the Generalization Effects of Linear Transformations in Data Augmentation
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
本研究在过参数化线性回归中分析了线性变换对岭估计器的泛化效应,发现保留标签和混合数据分别通过扩大张成空间和正则化改善估计,并提出基于模型不确定性的增强方案,在图像和文本数据集上取得优异表现。
2023-07-26 cs.AI cs.CV cs.LG
Wafer Map Defect Classification Using Autoencoder-Based Data Augmentation and Convolutional Neural Network
College of Electrical Engineering and Information Engineering, Lanzhou University of Technology(兰州理工大学电气工程与信息工程学院)
针对晶圆缺陷图数据含噪且类别不平衡的挑战,提出基于自编码器的潜在空间数据增强与CNN结合的方法,在WM-811K数据集上准确率达98.56%,显著优于传统基线模型。
2024-11-17 cs.AI cs.CV eess.IV