Comparing Adversarial and Supervised Learning for Organs at Risk Segmentation in CT images
Politecnico di Milano(米兰理工大学);Human Technopole(人类技术园)
本文比较GAN与监督学习在CT图像危及器官分割中的表现,提出三种不同判别器的GAN模型,在StructSeg数据集上验证其性能达到或优于SE-ResUnet和DeepLabV3等CNN方法。
2023-03-31 cs.CV cs.LG eess.IV
Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth
Vanderbilt University(范德堡大学);Incyte Corporation(因赛特公司)
缺乏可推广性是基于深度学习的分割的一个关键限制。通常,当以不同的成像模式分割器官或从不同的疾病群组分割异常器官时,人工标记新的训练图像。如果能够重用来自一种模态的手动标签(例如,MRI)来训练用于新模态的分割网络(例如,CT)。以前,已经提出了两个阶段的方法来使用循环生成对抗网络(CycleGAN)来合成目标模态的训练图像。然后,这些努力使用合成图像独立地训练分割网络。然而,这两个独立的阶段没有使用合成和分割之间的互补信息。在此,我们提出了一种新的端到端的合成和分割网络(CNONet),以实现不成对的MRI到CT图像合成和CT脾肿大分割同时不使用手动标签的CT。端到端的Dice相似性系数中位数(0.9188)显著高于两阶段策略(0.8801),甚至高于使用CT手动标签的规范多图谱分割(0.9125)和ResNet方法(0.9107)。
2017-12-20 cs.CV
TINA: Text-Free Inversion Attack for Unlearned Text-to-Image Diffusion Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));City University of Hong Kong(香港城市大学);Shenzhen Loop Area Institute(深圳河套学院);Peng Cheng Laboratory(鹏城实验室);Shandong University(山东大学)
TINA通过无文本逆向攻击揭示未学习模型中残留的视觉知识,挑战现有去概念化方法的局限性。
2026-03-18 cs.CV
Frequency Centric Defense Mechanisms against Adversarial Examples
Ahmedabad University(艾哈迈达巴德大学)
对抗性样本(AE)通过在输入图像中引入小的扰动来欺骗卷积神经网络,本文利用傅立叶谱的幅值和相位以及图像的熵来防御AE。我们以两种方式展示了防御:通过训练对抗检测器和对对抗效果进行去噪。实验在低分辨率CIFAR-10和高分辨率ImageNet数据集上进行。对抗检测器对CIFAR-10数据集的FGSM和PGD攻击具有99%的准确率。然而,对于ImageNet上复杂的DeepFool和Carlini & Wagner攻击,检测准确率下降到50%。我们通过使用自动编码器克服了这一限制,并表明70%的AE在去噪后被正确分类。
2021-10-26 cs.CV
Intraoperative Organ Motion Models with an Ensemble of Conditional Generative Adversarial Networks
University College London(伦敦大学学院);University of Oxford(牛津大学)
在本文中,我们描述了如何从单个术前MR图像直接生成患者特定的超声探头诱导的前列腺运动模型。我们的运动模型允许从密集的位移场的条件分布采样,由一个生成神经网络编码的医疗图像的条件,并接受随机噪声作为额外的输入。生成网络通过具有第二判别神经网络的极小极大优化来训练,第二判别神经网络的任务是将生成的样本与训练运动数据区分开。在这项工作中,我们提出1)联合优化第三个预处理输入图像的调节神经网络,可以有效地提取患者特定的特征进行调节; 2)将单独训练的多个生成模型与预先分离的训练数据集相结合,可以充分缓解模式坍塌的问题。使用来自143名真实患者的诊断T2加权MR图像和来自经直肠超声探头压力引起的术中前列腺运动有限元模拟的73,216个3D密集位移场进行训练,所提出的模型产生了物理上合理的前列腺特定患者运动。捕获生物力学模拟运动的能力进行了评价,使用两个错误代表模型的一般性和特异性。根据10倍交叉验证计算的中位值分别为2.8+/-0.3 mm和1.7+/-0.1 mm。我们的结论是,所介绍的方法证明了应用最先进的机器学习算法从患者图像中生成器官运动模型的可行性,并显示出对未来研究的重大承诺。
2017-09-05 cs.CV cs.LG
Adversarial Scene Editing: Automatic Object Removal from Weak Supervision
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
虽然最近在自动图像处理方面取得了很大进展,但它仅限于以对象为中心的图像,如人脸或结构化场景数据集。在这项工作中,我们采取了一个步骤,一般场景级的图像编辑,通过开发一个自动的无交互的对象删除模型。我们的模型学习使用生成对抗网络(GAN)框架中的图像级标签和未配对数据从一般场景图像中查找和删除对象。我们实现这一目标有两个关键的贡献:一个两阶段的编辑器架构组成的掩模生成器和图像中的画家,合作删除对象,和一个新的GAN的掩模生成器,使我们能够灵活地将有关对象形状的知识。我们在两个数据集上的实验表明,我们的方法只使用弱监督就可以有效地删除各种各样的对象
2018-06-05 cs.AI cs.CV stat.ML
Virtual organelle self-coding for fluorescence imaging via adversarial learning
The Catholic University of America(美国天主教大学)
荧光显微镜在了解活细胞的亚细胞结构方面起着至关重要的作用。然而,它需要相当大的努力,在样品制备有关的化学固定,染色,成本和时间。为了减少这些因素,我们提出了一种基于深度神经网络(VirFluoNet)的虚拟荧光染色方法,将分子标记的荧光图像转换为同一视野中的其他分子荧光标记。为了实现这一目标,我们开发并训练了一个条件生成对抗网络(cGAN)来执行数字荧光成像,该数字荧光成像在细胞绘画染色协议下捕获的人骨肉瘤U2 OS细胞荧光图像上展示。还使用人乳腺癌MDA-MB-231细胞系作为测试案例,对基于相位对比或基于另一荧光通道预测荧光通道之间的cGAN网络的性能进行了详细的比较分析。此外,我们还实现了一个深度学习模型来对另一个人类U2 OS荧光数据集执行自动聚焦,作为U2 OS数据集中离焦通道的预处理步骤。基于信号像素空间和强度与地面真实值的差异,引入了图像预测误差的定量指标,以评估对高复杂度和高通量荧光的预测性能。该指数提供了一种合理的方法来对错误信号执行图像分割,并了解从预测图像中误解生物学的可能性。总的来说,这些发现有助于深度学习图像回归在生物细胞荧光显微镜数据集上的应用,同时也节省了成本、时间和实验工作量。此外,这里介绍的方法有望为活细胞内的细胞器和生物分子之间的内部关系建模。
2019-09-10 cs.CV eess.IV q-bio.QM
Object-Centric Image Generation from Layouts
Mila(米拉);Microsoft Research(微软研究院)
尽管最近在单对象和单域图像生成方面取得了令人印象深刻的成果,但具有多个对象的复杂场景的生成仍然具有挑战性。在本文中,我们从模型必须能够理解单个对象以及对象之间的关系的想法开始,以便很好地生成复杂的场景。我们的布局到图像生成方法,我们称之为以对象为中心的生成对抗网络(或OC-GAN),依赖于一个新的场景图相似性模块(SGSM)。SGSM学习场景中对象之间的空间关系的表示,这导致我们的模型的改进的布局保真度。我们还提出了修改发电机的调节机制,提高其对象的实例意识。除了提高图像质量外,我们的贡献还减轻了以前方法中的两种故障模式:(1)在布局中没有相应的边界框的情况下生成虚假对象,以及(2)布局中的重叠边界框导致图像中的合并对象。广泛的定量评估和消融研究证明了我们的贡献的影响,我们的模型在COCO-Stuff和Visual Genome数据集上的表现优于以前的最先进方法。最后,我们解决了一个重要的限制,在以前的作品中使用的评价指标,通过引入SceneFID -一个对象为中心的适应流行的Fr{é}chet初始距离度量,更适合于多对象图像。
2020-12-03 cs.CV cs.LG eess.IV
Local Anomaly Detection in Videos using Object-Centric Adversarial Learning
Polytechnique Montréal(蒙特利尔高等理工学院);Institute of Biomedical Engineering, Polytechnique Montréal(蒙特利尔高等理工学院生物医学工程研究所)
我们提出了一种新的无监督方法,基于两阶段的以对象为中心的对抗框架,只需要对象区域来检测视频中的帧级局部异常。第一阶段包括学习被认为正常的场景中对象的当前外观和过去梯度图像之间的对应关系,允许我们从当前外观生成过去梯度或相反。第二阶段提取具有正常对象行为的真实图像和生成图像(外观和过去梯度)之间的部分重建误差,并以对抗方式训练器。在推理模式下,我们使用训练的图像生成器和逆向学习的二元分类器来输出区域级异常检测分数。我们在四个公共基准测试中测试了我们的方法,UMN,UCSD,Avenue和ShanghaiTech,与最先进的方法相比,我们提出的以对象为中心的对抗方法产生了具有竞争力甚至更好的结果。
2020-11-13 cs.CV cs.LG
A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection
Sharif University of Technology(谢里夫理工大学)
当前的机器学习模型在许多现实世界的应用中实现了超人的性能。尽管如此,他们还是容易受到难以察觉的对抗性干扰的影响。这个问题最有效的解决方案是对抗性训练,即用对抗性扰动样本而不是原始样本来训练模型。近年来已经开发了各种方法来改进对抗训练,例如数据增强或修改训练攻击。在这项工作中,我们从一个新的以数据为中心的角度来研究同样的问题。为此,我们首先证明了现有的基于模型的方法可以等效于应用较小的扰动或优化权重的硬训练样本。通过使用这一发现,我们建议直接从训练过程中检测和删除这些硬样本,而不是应用复杂的算法来减轻它们的影响。对于检测,我们使用最大softmax概率作为分布外检测的有效方法,因为我们可以将硬样本视为整个数据分布的分布外样本。我们在SVHN和CIFAR-10数据集上的结果表明,该方法在提高对抗训练的有效性,而不会增加太多的计算成本。
2023-01-25 cs.CV cs.LG
Organized Grouped Discrete Representation for Object-Centric Learning
本文提出Organized GDR (OGDR)方法,通过将属于相同属性的通道组织在一起实现正确分解,解决了GDR中通道错误分组导致的信息丢失问题,在无监督分割实验中显著优于GDR并提升了基于transformer和diffusion的OCL方法性能。
2024-12-19 cs.CV
Evaluating the Robustness of Off-Road Autonomous Driving Segmentation against Adversarial Attacks: A Dataset-Centric analysis
RPTU(莱茵兰-普法尔茨技术大学);Robotics Research Lab(机器人研究实验室)
本研究聚焦越野自动驾驶分割模型对抗攻击的鲁棒性,通过构建鲁棒数据集并比较不同架构,揭示数据集非鲁棒特征的影响,为提升模型安全性和机器人导航提供依据。
2024-02-03 cs.CV cs.LG
End-to-End Adversarial Shape Learning for Abdomen Organ Deep Segmentation
University of Florida(佛罗里达大学);NVIDIA(英伟达)
利用医学图像自动分割腹部器官在临床工作流程中具有许多潜在的应用。最近,器官分割的最先进性能已经通过深度学习模型实现,即,卷积神经网络(CNN)。然而,训练传统的基于CNN的器官分割模型是具有挑战性的,它知道器官的形状和拓扑结构。在这项工作中,我们通过引入一种新的端到端形状学习架构-器官点网络来解决这个问题。它以深度学习特征作为输入,并生成器官形状表示作为位于器官表面上的点。随后,我们提出了一种新的对抗性形状学习目标函数来优化点网络,以更好地捕获形状信息。我们以多任务方式训练点网络和基于CNN的分割模型,以便共享网络参数可以从形状学习和分割任务中受益。我们证明了我们的方法与三个具有挑战性的腹部器官,包括肝脏,脾脏和胰腺。点网络生成具有细粒度细节的表面点,并且发现它对于改善器官分割至关重要。因此,通过引入形状学习改进了深度分割模型,因为观察到脾脏和胰腺分割的Dice分数明显更好。
2019-10-15 cs.CV
Deep Adversarial Training for Multi-Organ Nuclei Segmentation in Histopathology Images
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
细胞核分割是一项基本任务,对于包括细胞核形态分析、细胞类型分类和癌症分级在内的各种计算病理学应用至关重要。用于细胞核分割的传统的基于视觉的方法在具有挑战性的情况下挣扎,并且深度学习方法已被证明是更鲁棒的和可推广的。然而,CNN需要大量标记的组织病理学数据。此外,传统的基于CNN的方法缺乏区分重叠和聚集的细胞核所需的结构化预测能力。在这里,我们提出了一种细胞核分割的方法,通过利用用合成和真实数据训练的条件生成对抗网络(cGAN)来克服这些挑战。我们使用未配对的GAN框架生成具有完美核分割标签的H&E训练图像的大型数据集。该合成数据与来自六个不同器官的真实组织病理学数据一起用于训练具有谱归一化和梯度惩罚的条件GAN以用于核分割。与传统的CNN模型相比,这种对抗性回归框架强制执行高阶一致性。我们证明,这种核分割方法概括了不同的器官,网站,患者和疾病状态,并优于传统的方法,特别是在隔离个人和重叠的核。
2018-10-19 cs.CV
SCAN: Structure Correcting Adversarial Network for Organ Segmentation in Chest X-rays
Petuum Inc.(Petuum公司)
胸部X射线(CXR)是最常用的医疗成像程序之一,通常比其他成像模式(如MRI,CT扫描和PET扫描)多2- 10倍以上的扫描。这些大量的CXR扫描给放射科医生和医疗从业者带来了巨大的工作量。器官分割是获得有效的CXR计算机辅助检测的关键步骤。在这项工作中,我们提出了结构校正对抗网络(SCAN)来分割CXR图像中的肺野和心脏。SCAN结合了一个评论家网络,将人类生理学中出现的结构性差异强加给卷积分割网络。在训练期间,评论器网络学习区分地面实况器官注释与由分割网络合成的掩模。通过这种对抗过程,评论家网络学习高阶结构,并指导分割模型实现真实的分割结果。大量的实验表明,我们的方法产生高度准确和自然的分割。仅使用非常有限的可用训练数据,我们的模型达到了人类水平的性能,而不依赖于任何现有的训练模型或数据集。我们的方法还可以很好地推广到来自不同患者人群和疾病概况的CXR图像,超越了当前的最先进水平。
2017-04-10 cs.CV
Adversarial Consistency for Single Domain Generalization in Medical Image Segmentation
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);The University of Melbourne(墨尔本大学)
一种可以推广到不可见对比度和扫描仪设置的器官分割方法可以显着减少对深度学习模型重新训练的需求。领域泛化(DG)旨在实现这一目标。然而,大多数用于分割的DG方法在训练期间需要来自多个域的训练数据。我们提出了一种新的对抗域泛化方法,用于在\emph{single}域的数据上训练器官分割。我们通过学习对抗域合成器(ADS)合成新的域,并假设合成域覆盖了足够大的合理分布区域,以便可以从合成域中插入看不见的域。我们提出了一个互信息正则化,以加强从合成域,这可以通过块级对比学习估计图像之间的语义一致性。我们评估我们的方法,用于各种器官分割的看不见的方式,扫描协议,和扫描仪的网站。
2022-06-29 cs.CV
SAM Meets UAP: Attacking Segment Anything Model With Universal Adversarial Perturbation
Kyung Hee University(庆熙大学);Beijing Institute of Technology(北京理工大学)
本研究提出一种基于自监督对比学习的以扰动为中心的框架,生成图像无关的通用对抗扰动,以有效攻击 Segment Anything Model,使其预测无效掩码。
2024-08-20 cs.CV
Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation
University of Science and Technology of China(中国科学技术大学)
本文提出以查询为中心的少样本分割模型AMFormer,通过对象挖掘Transformer和细节挖掘Transformer的对抗训练,在仅需粗略支持引导或弱标签的情况下实现精确分割,并在Pascal-5i和COCO-20i上取得最优结果。
2023-11-29 cs.CV
Multi-organ Segmentation Network with Adversarial Performance Validator
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Winship Cancer Institute of Emory University(埃默里大学温希普癌症研究所)
计算机断层扫描(CT)图像上的CT器官分割成为现代医学图像分析的重要基础,支持多个领域的临床工作流程。先前的分割方法包括基于2D卷积神经网络(CNN)的方法,其由缺乏轴向视图中的结构知识的CT图像切片馈送,以及基于3D CNN的方法,其在多器官分割应用中具有昂贵的计算成本。本文将对抗性性能验证网络引入2D到3D分割框架。分类器和性能验证器的竞争有助于通过反向传播获得准确的分割结果。所提出的网络以粗到细的方式将2D粗略结果有机地转换为3D高质量分割掩模,从而允许联合优化以提高分割精度。此外,一个特定的器官的结构信息被描绘由一个有意义的先验边界框,这是转化为一个全局特征,利用学习过程中的3D精细分割。在NIH胰腺分割数据集上的实验表明,所提出的网络在小器官分割上达到了最先进的精度,并且优于以前的最佳效果。在我们收集的数据集中,多器官分割的准确性也很高。
2022-04-16 cs.CV eess.IV
Affinity CNN: Learning Pixel-Centric Pairwise Relations for Figure/Ground Embedding
TTI Chicago(芝加哥丰田技术研究院);Sony Corp.(索尼公司);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
光谱嵌入提供了一个框架来解决感知组织问题,包括图像分割和图形/背景组织。从描述像素之间的成对关系的亲和矩阵,它将像素聚类到区域中,并使用复值扩展,根据层对像素进行排序。我们训练一个卷积神经网络(CNN)来直接预测定义这个亲和矩阵的成对关系。然后,光谱嵌入将这些预测分解为场景的全局一致的分割和图形/背景组织。实验表明,显着的好处,这种直接耦合相比,以前的作品,使用明确的中间阶段,如边缘检测,从图像的路径上的亲和力。我们的研究结果表明,谱嵌入作为一个强大的替代条件随机场(CRF)为基础的全球化计划通常耦合到深神经网络。
2016-04-11 cs.CV cs.LG cs.NE
FocusNetv2: Imbalanced Large and Small Organ Segmentation with Adversarial Shape Constraint for Head and Neck CT Images
Cancer Hospital of University of the Chinese Academy of Sciences (Zhejiang Cancer Hospital)(中国科学院大学附属肿瘤医院(浙江省肿瘤医院));Rutgers University(罗格斯大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
放射疗法是一种使用放射线消除癌细胞的治疗方法。危险器官(OAR)的划定是放射治疗计划中的重要步骤,以避免对健康器官的损害。对于鼻咽癌,需要提前精确分割20多个OAR。这项任务的挑战在于复杂的解剖结构,低对比度的器官轮廓,以及大小器官之间的尺寸极不平衡。将它们同等对待的常见分割方法通常会导致不准确的小器官标记。我们提出了一种新的两阶段深度神经网络FocusNetv2,通过自动定位,ROI池化和分割小器官来解决这个具有挑战性的问题,同时保持大器官分割的准确性。除了我们最初的FocusNet之外,我们还对小器官采用了一种新的对抗性形状约束,以确保估计的小器官形状和器官形状先验知识之间的一致性。我们提出的框架在1,164个CT扫描的自我收集数据集和MICCAI头颈自动分割挑战2015数据集上进行了广泛的测试,与最先进的头颈OAR分割方法相比,该数据集显示出优越的性能。
2021-04-05 cs.CV eess.IV
LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
Zhejiang University(浙江大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文探讨了LMMs与以物体为中心的视觉结合,总结了在理解、分割、编辑和生成方面的新进展,提出了开放挑战和未来方向。
2026-04-20 cs.CV
The Easy Path to Robustness: Coreset Selection using Sample Hardness
针对现有核心集选择算法无法保持对抗鲁棒性的问题,提出基于平均输入梯度范数量化样本难度的EasyCore算法,仅保留低难度样本训练,显著提升了标准与对抗训练下的对抗准确率。
2025-10-13 cs.CV cs.LG
Unsupervised Domain Adaptation Network with Category-Centric Prototype Aligner for Biomedical Image Segmentation
School of Medical Imaging, Xuzhou Medical University(徐州医科大学医学影像学院);The Hong Kong Polytechnic University(香港理工大学)
随着深度学习在生物医学图像分割中的广泛成功,域偏移成为一个关键且具有挑战性的问题,因为当部署到具有异构特征的不可见数据时,两个域之间的差距会严重影响模型性能。为了缓解这个问题,我们提出了一种新的无监督领域自适应网络,用于将从标记的源域学习到未标记的目标域的模型推广到跨模态生物医学图像分割。具体来说,我们的方法包括两个关键模块,一个条件域对齐器~(CDD)和一个以类别为中心的原型对齐器~(CCPA)。CDD是在分类器任务中从条件域对抗网络扩展而来的,在处理复杂的跨模态生物医学图像时是有效和鲁棒的。CCPA是在跨领域目标检测中基于图的原型对齐机制的基础上改进而来的,它通过一种精细的原型表示来挖掘精确的实例级特征。此外,它还可以通过基于熵的损失来解决类不平衡的负面影响。在心脏子结构分割任务的公共基准上进行的大量实验表明,我们的方法显着提高了目标域的性能。
2021-03-03 cs.CV
Deep Learning-based Multi-Organ CT Segmentation with Adversarial Data Augmentation
Emory University(埃默里大学);Johns Hopkins University(约翰斯·霍普金斯大学);Memorial Sloan Kettering Cancer Center(纪念斯隆·凯特琳癌症中心)
在这项工作中,我们提出了一种基于对抗性攻击的数据增强方法,以改进基于深度学习的分割算法,用于在腹部计算机断层扫描(CT)中描绘危险器官(OAR),以促进放射治疗。我们引入了针对医学图像的对抗性特征攻击(AFA-MI)增强,它迫使分割网络学习分布外的统计信息,并提高泛化能力和对噪声的鲁棒性。AFA-MI增强由三个步骤组成:1)通过快速梯度符号方法(FGSM)在分割网络编码器的中间特征上生成对抗性噪声; 2)将生成的对抗性噪声注入网络,故意损害性能; 3)使用干净和对抗性特征优化网络。实验进行分割的心脏,左,右肾,肝,左,右肺,脊髓和胃。我们首先使用nnUnet和TT-Vnet对来自公共腹部数据集和机构数据集的测试数据评估AFA-MI增强。此外,我们验证了AFA-MI如何影响网络对噪声数据的鲁棒性,通过评估在机构数据集上添加不同大小的高斯噪声的网络。使用Dice相似系数(DSC)定量评估网络性能,以获得基于体积的准确性。此外,Hausdorff距离(HD)适用于基于曲面的精度。在公共数据集上,nnUnet与AFA-MI实现DSC = 0.85和HD = 6.16毫米(mm); TT-Vnet实现DSC = 0.86和HD = 5.62 mm。AFA-MI增强进一步提高了所有轮廓精度,当在具有高斯噪声的图像上测试时,DSC分数高达0.217。因此,AFA-MI增强被证明可以提高CT多器官…
2023-02-25 cs.CV eess.IV
ARPM-net: A novel CNN-based adversarial method with Markov Random Field enhancement for prostate and organs at risk segmentation in pelvic CT images
Washington University(华盛顿大学);Washington University School of Medicine(华盛顿大学医学院)
目的:该研究旨在开发一种新的基于CNN的对抗性深度学习方法,以改善和加快CT图像的多器官语义分割,并在骨盆CT图像上生成准确的轮廓。研究方法:回顾性选择120例完整前列腺癌患者的计划CT和结构数据集,并进行10倍交叉验证。提出的对抗性多残差多尺度池马尔可夫随机场(MRF)增强网络(ARPM-net)实现了对抗性训练方案。将分割网络和递归网络联合训练,只使用分割网络进行预测。分割网络将新设计的MRF块集成到多残差U网的变体中。该方法将原始CT和预测/地面实况的乘积作为输入,并将输入分类为假/真。分割网络和递归网络可以作为一个整体进行联合训练,也可以在分割网络粗训练后使用递归网络进行微调。多尺度池化层被引入,以在池化期间使用与atrous卷积层相比更少的内存来保持空间分辨率。提出了一种自适应损失函数来增强对小或低对比度器官的训练。使用临床轮廓作为参考,以Dice相似系数(DSC)、平均Hausdorff距离(AHD)、平均表面Hausdorff距离(ASHD)和相对体积差(VD)测量建模轮廓的准确性。将所提出的ARPM网络方法与几种最先进的深度学习方法进行了比较。
2020-09-17 cs.CV eess.IV
One Object, Multiple Lies: A Benchmark for Cross-task Adversarial Attack on Unified Vision-Language Models
Tongji University(同济大学);Microsoft Research Asia(微软亚洲研究院)
本文针对统一视觉语言模型的安全挑战,提出了CrossVLAD基准数据集和CRAFT攻击方法,通过在多任务中一致操纵目标对象分类,实现了高效的跨任务对抗攻击。
2025-07-10 cs.CV
OCM3D: Object-Centric Monocular 3D Object Detection
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);FABU Inc.(FABU公司)
仅图像和伪LiDAR表示通常用于单目3D目标检测。然而,基于它们的方法具有缺点,要么不能很好地捕捉空间关系的钻孔图像像素或难以处理的单目伪激光雷达点云的噪声性质。为了克服这些问题,在本文中,我们提出了一种新的对象为中心的体素表示量身定制的单目3D目标检测。具体而言,体素建立在每个对象建议上,并且它们的大小由点的3D空间分布自适应地确定,从而允许在体素网格内有效地组织有噪声的点云。这种表示被证明是能够在3D空间中准确定位的对象。此外,先前的工作希望通过从整个图像或噪声点云提取的深度特征来估计方向。相比之下,我们认为,从对象图像补丁的局部ROI信息单独与一个适当的搜索方案是一个更好的输入,因为它提供了完整的语义线索,同时排除不相关的干扰。此外,我们通过考虑3D物体和相关的2D盒子之间的关系,分解了单目3D目标检测中的置信机制。在KITTI上进行评估,我们的方法大大优于最先进的方法。该代码将很快公布。
2021-04-13 cs.CV
Defense against adversarial attacks on deep convolutional neural networks through nonlocal denoising
Universiti Brunei Darussalam(文莱达鲁萨兰大学)
尽管网络架构性能有了实质性的进步,但对抗攻击的敏感性使得深度学习在安全关键型应用中的实现具有挑战性。本文提出了一种以数据为中心的方法来解决这个问题。具有不同亮度值的非局部去噪方法已被用于从修改的国家标准与技术研究所数据库(MNIST)和加拿大高级研究所(CIFAR-10)数据集生成对抗性示例。扰动下,该方法提供了高达9.3%的MNIST数据集和13%的CIFAR-10数据集的绝对精度提高。使用具有较高亮度值的变换图像进行训练增加了分类器的鲁棒性。我们已经证明了迁移学习对于对抗性机器学习是不利的。结果表明,简单的对抗性示例可以提高弹性,并使深度学习更容易应用于各种应用程序。
2022-06-25 cs.CR cs.CV cs.LG
Grid-Centric Traffic Scenario Perception for Autonomous Driving: A Comprehensive Review
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 mobility学院);Kargobot Inc.(卡戈机器人公司);DiDi Chuxing(滴滴出行)
本文系统综述了自动驾驶中网格中心感知技术,梳理了从2D BEV网格、3D占用到4D占用预测的发展脉络,并总结了标签高效学习、系统集成及未来趋势。
2024-06-09 cs.CV cs.RO
Robust Prototypical Few-Shot Organ Segmentation with Regularized Neural-ODEs
Indian Institute of Technology Delhi(印度理工学院德里分校);Chennai Mathematical Institute(金奈数学研究所)
尽管深度学习模型在图像语义分割方面取得了巨大的进步,但它们通常需要大量带注释的示例,并且越来越多的注意力被转移到像少样本学习(FSL)这样的问题设置上,其中只需要少量注释即可概括为新类。这在医学领域中尤其明显,其中获得密集像素级注释是昂贵的。在本文中,我们提出了正则化的原型神经常微分方程(R-PNODE),一种利用神经常微分方程的内在属性,辅助和增强额外的集群和一致性损失执行器官的Few-Shot分割(FSS)的方法。R-PNODE约束来自相同类的支持和查询特征,使其在表示空间中更接近,从而提高了基于现有卷积神经网络(CNN)的FSS方法的性能。我们进一步证明,虽然许多现有的基于深度CNN的方法往往极易受到对抗攻击的攻击,但R-PNODE对各种各样的攻击表现出更强的对抗鲁棒性。我们在域内和跨域FSS设置中使用三个公开的多器官分割数据集进行实验,以证明我们的方法的有效性。此外,我们在各种设置中使用七种常用的对抗攻击进行实验,以证明R-PNODE的鲁棒性。R-PNODE的性能明显优于FSS的基线,并且对于各种强度和设计的攻击也表现出卓越的性能。
2023-03-01 cs.AI cs.CV
Visual Analytics of Image-Centric Cohort Studies in Epidemiology
Otto-von-Guericke University Magdeburg(马格德堡奥托·冯·格里克大学)
流行病学描述了病因对特定人群的疾病和健康状况的影响。队列研究是基于人群的研究,通常涉及大量随机选择的个体,并包含许多属性,从自我报告的访谈数据到各种医学检查的结果,例如,血液和尿液样本最近,医学成像已被用作评估风险因素和潜在预后信息的附加工具。在本章中,我们将讨论这些研究以及评估如何从视觉分析中受益。用于定义组的聚类分析,医学成像数据中器官的可靠图像分析和用于表征解剖形状的形状空间探索是可视化分析工具之一,这些工具可以使流行病学家充分利用其庞大而复杂的数据的潜力。为了获得认可,可视化分析工具需要补充更经典的流行病学工具,主要是假设驱动的统计分析。
2015-01-15 cs.CV cs.CY
Face De-Identification: A Domain-Centric Survey from Capture to Processing
ELLIS Institute Finland(芬兰埃利斯研究所);Center for Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心)
该综述以领域为中心,涵盖面部去识别从采集到处理的完整数据管道,系统分析各阶段方法、进展与挑战,回顾评估协议,确定开放问题与新兴方向,为该领域未来工作提供指导。
2026-07-29 cs.AI cs.CV
C-DGPA: Class-Centric Dual-Alignment Generative Prompt Adaptation
C-DGPA通过双分支架构协同优化边缘分布和条件分布对齐,提升无监督领域适应中提示学习的领域不变性和语义判别性。
2025-12-18 cs.AI cs.CV
Grouped Discrete Representation for Object-Centric Learning
Department of Electrical Engineering and Automation, Aalto University, Finland(艾尔沃斯大学电气工程与自动化系);Department of Computer Science, Aalto University, Finland(艾尔沃斯大学计算机科学系);Center for Machine Vision and Signal Analysis, University of Oulu, Finland(奥卢大学机器视觉与信号分析中心)
本文提出分组离散表示(GDR),通过通道分组分解组合属性和元组码索引量化特征,提升对象中心学习的泛化性、收敛性及对象可分离性,并在多个数据集上验证其有效性。
2025-11-09 cs.CV cs.LG
Semi-supervised Semantic Segmentation of Prostate and Organs-at-Risk on 3D Pelvic CT Images
自动分割可以通过节省手动轮廓绘制工作并减少观察者内和观察者间的变化来辅助放射治疗计划。深度学习方法的最新发展通过显着提高性能,彻底改变了医疗数据处理,包括语义分割。然而,训练有效的深度学习模型通常需要大量高质量的标记数据,这通常是昂贵的收集。我们开发了一种新的半监督对抗性深度学习方法,用于3D盆腔CT图像语义分割。与有监督的深度学习方法不同,新方法可以利用注释和未注释的数据进行训练。它通过使用生成对抗网络(GANs)的数据增强方案生成未注释的合成数据。我们应用新方法分割男性盆腔CT图像中的多个器官,其中无注释的CT图像和GAN合成的无注释图像用于半监督学习。实验结果表明,通过三个指标(骰子相似性系数,平均Hausdorff距离,平均表面Hausdorff距离)进行评估,新方法实现了相当的性能与显著更少的注释图像或更好的性能与相同数量的注释数据,优于现有的国家的最先进的方法。
2021-09-11 cs.AI cs.CV
Quantifying the Risk of Transferred Black Box Attacks
OWASP AI Exchange(OWASP人工智能交流会);Fraunhofer SIT / TU-Darmstadt / ATHENE(弗劳恩霍夫研究所/图鲁姆大学/ATHENE)
本文针对迁移黑盒对抗攻击难以准确评估的问题,提出基于中心核对齐相似性选择替代模型的有针对性韧性测试框架,并利用回归估计器实现现实可操作的风险量化。
2025-11-07 cs.CR cs.CV
Knowledge-Guided 3D CT Generation: A Conditioning-Centric Taxonomy
Politecnico di Milano(米兰理工大学)
本综述提出以条件为中心的分类法,沿外部知识类型、知识集成范式、生成架构三个维度组织条件3D CT生成研究,系统化现有方法并指出未来研究方向。
2026-08-12 cs.AI cs.CV cs.LG