DiscoVL: Unveiling Disentangled C ross-Modal Representation Learning via Orthogonal Adversarial Regularization for V ision-Language Models
Shandong Artificial Intelligence Institute(山东人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));University of Florida(佛罗里达大学)
本研究针对预训练视觉-语言模型适配新下游场景时泛化能力不足的问题,提出DiscoVL框架,通过多分支低秩残差对齐器与正交对抗正则化实现解耦跨模态表示学习,在15个基准上的相关任务中性能优于现有最先进方法。
2026-10-09 cs.CV
Person Re-identification with Adversarial Triplet Embedding
College of Information Science & Electronic Engineering(信息与电子工程学院);Zhejiang University(浙江大学)
在公安视频监控中,人员身份识别是一项重要的工作,有着广泛的应用。在过去的几年里,针对这个问题,具有三重态损失的深度学习网络变得流行起来。然而,三元组丢失通常遭受不良局部最优性,并且严重依赖于硬示例挖掘策略。在本文中,我们提出了一种新的深度度量学习方法来解决这个问题,称为对抗三元组嵌入(ATE),在这种方法中,我们在统一的框架中同时生成对抗三元组和判别特征嵌入。特别是,对抗三元组是通过将对抗扰动引入训练过程来生成的。将这种对抗博弈转化为极大极小问题,从而从理论上得到最优解。在多个基准数据集上的大量实验证明了该方法对最先进文献的有效性。
2020-12-28 cs.CV
Adversarial Training for Face Recognition Systems using Contrastive Adversarial Learning and Triplet Loss Fine-tuning
UCF(中佛罗里达大学)
虽然在提高面部识别系统的对抗鲁棒性方面已经做了很多工作,但令人惊讶的是,其中很小一部分集中在自我监督方法上。在这项工作中,我们提出了一种将对抗性预训练与三重损失对抗性微调相结合的方法。我们将我们的方法与预先训练的ResNet50模型进行了比较,该模型构成了FaceNet的主干,并在我们的CelebA数据集上进行了微调。通过比较没有对抗训练的对抗鲁棒性,与三重损失对抗训练,以及我们的对比预训练与三重损失对抗微调相结合,我们发现我们的方法在微调过程中需要更少的时期,取得了相当的结果。这看起来很有希望,增加微调的训练时间应该会产生更好的结果。除此之外,还进行了一个改进的半监督实验,该实验证明了通过引入少量标签来改进对比对抗训练。
2021-10-09 cs.CV
Adversarial Learning with Margin-based Triplet Embedding Regularization
Beijing University of Posts and Telecommunications(北京邮电大学)
深度神经网络(DNN)在各种计算机视觉任务上取得了巨大的成功,然而,它们非常容易受到对抗攻击的攻击。为了解决这个问题,我们建议通过将基于边缘的三元组嵌入正则化项集成到分类目标中来提高表示空间的局部平滑性,以便获得的模型学习抵抗对抗性示例。正则化项由两步优化组成,这两步优化找到潜在的扰动并以迭代的方式对它们进行大幅度的惩罚。在MNIST、CASIA-WebFace、VGGFace 2和MS-Celeb-1 M上的实验结果表明,我们的方法在简单的对象分类和深度人脸识别中提高了网络对特征和标签对抗攻击的鲁棒性。
2019-09-20 cs.CV
Enhanced Data Transfer Cooperating with Artificial Triplets for Scene Graph Generation
University of Tokyo(东京大学);NEC Corporation(日本电气公司)
针对场景图生成中信息丰富关系三元组监督不足的问题,提出特征空间三元组增强与软传递两个模块,在Visual Genome数据集上取得了最高的召回率与平均召回率均值。
2024-07-21 cs.CV
Adversarial Model for Rotated Indoor Scenes Planning
Technique Center Ihome Corporation(艾佳家居技术中心);IBM Research(IBM研究院)
在本文中,我们提出了一个对抗模型,用于在室内房间旋转时产生家具布局以进行室内场景合成。该模型结合了条件对抗网络,旋转模块,模式模块和旋转模块。与已有的场景合成方法相比,本文提出的三个模块增强了场景自动布局生成的能力,减少了室内场景旋转过程中的模式坍塌。我们进行我们的实验,建议现实世界的室内布局数据集,其中包含14400设计的专业设计师。我们的数值结果表明,该模型产生更高质量的布局为四种类型的房间,包括卧室,浴室,书房,和榻榻米室。
2020-07-07 cs.CV
A3S: Adversarial learning of semantic representations for Scene-Text Spotting
Fast Accounting Co., Ltd.(快速会计有限公司)
场景文本识别是在自然场景图像上预测文本区域并同时识别文本字符的任务。近年来,由于其广泛的应用,它引起了人们的广泛关注。现有的研究主要集中在改进文本区域检测,而不是文本识别。因此,虽然提高了检测精度,但端到端的精度不足。自然场景图像中的文本往往不是随机的字符串,而是有意义的字符串,即单词。因此,我们提出了对场景文本识别(A3S)的语义表示进行对抗性学习,以提高端到端的准确性,包括文本识别。A3S同时预测检测到的文本区域中的语义特征,而不是仅基于现有的视觉特征进行文本识别。在公开数据集上的实验结果表明,该方法比其他方法具有更好的准确性。
2023-02-21 cs.CV
Auto-Encoding Progressive Generative Adversarial Networks For 3D Multi Object Scenes
Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院);University of Mumbai(孟买大学)
3D多对象生成模型使我们能够合成大量新颖的3D多对象场景,并识别对象,形状,布局及其位置。但由于数据集的多模态性,多目标场景的创建比较困难。传统的3D生成式对抗模型在生成多目标场景时效率不高,它们通常倾向于生成一个目标或生成多个目标的模糊结果。自动编码器模型在概率空间中使用无监督范式进行特征提取和表示学习方面具有很大的范围。我们试图利用这个属性在我们提出的模型。在本文中,我们提出了一种新的架构,使用渐进式训练范式训练的3DConvNets,能够生成具有各种家具和物体的房间,卧室,办公室等的逼真高分辨率3D场景。我们使用对抗自动编码器以及WGAN-GP损失参数在我们的网络损失函数中。最后,这种新的多对象场景生成方法也能够在每个场景中生成更多数量的对象。
2019-03-08 cs.CV
3D Semantic Scene Completion from a Single Depth Image using Adversarial Training
RWTH Aachen University(亚琛工业大学);University of Bonn(波恩大学)
我们解决了3D语义场景完成的任务,即,给定单个深度图像,我们预测表示场景的3D网格中的体素的语义标签和占用。鉴于最近引入的生成对抗网络(GAN),我们的目标是探索这种模型的潜力和各种重要设计选择的效率。我们的结果表明,使用条件GANs优于普通GAN设置。我们在几个数据集上评估这些架构设计。基于我们的实验,我们证明了GANs能够在干净注释的情况下优于基线3D CNN的性能,但它们遭受对齐不良的注释。
2019-05-15 cs.CV
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania(卡塔尼亚大学);Park Smart s.r.l.(Park Smart有限责任公司)
得益于深度学习,语义分割方法已经取得了出色的性能。然而,当这些算法被部署到训练期间未看到的新上下文时,有必要收集和标记特定于场景的数据,以便使用微调使其适应新的域。由于不同视点引起的不同场景布局,每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时,都需要该过程。为了限制要收集的附加训练数据的量,理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务,并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法,我们提出了SceneAdapt,一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明,当两个场景具有不同的视角时,以及当它们包括完全不同场景的图像时,使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究,我们在我们的网页上提供了我们的代码:https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
Linguistic Structures as Weak Supervision for Visual Scene Graph Generation
University of Pittsburgh(匹兹堡大学)
在场景图生成中的先前工作需要在三元组-主体和对象以及将它们关联的谓词(具有或不具有限界框信息)的级别上进行分类监督。然而,场景图生成是一个整体的任务:因此,整体的,上下文监督应该直观地提高性能。在这项工作中,我们将探讨如何在字幕的语言结构可以有利于场景图生成。我们的方法捕获了标题中提供的关于单个三元组之间关系的信息,以及主题和对象的上下文(例如提到的视觉属性)。字幕是一种比三元组更弱的监督类型,因为三元组中人类注释的主题和对象的详尽列表与字幕中的名词之间的对齐很弱。然而,考虑到网络上多模态数据的大量和多样化的来源(例如带有图像和标题的博客文章),语言监督比众包三元组更具可扩展性。我们展示了与利用实例和图像级监督的先前方法进行的广泛实验比较,并消除了我们的方法,以显示利用短语和顺序上下文的影响,以及提高主体和对象本地化的技术。
2021-05-28 cs.CV
Adversarial Semantic Scene Completion from a Single Depth Image
Technische Universität München(慕尼黑工业大学)
我们提出了一种方法来重建,完整和语义标记的3D场景从一个单一的输入深度图像。我们通过一种基于对抗学习的新架构来提高回归语义3D地图的准确性。特别是,我们建议使用多个对抗性损失项,这些项不仅可以强制执行与地面真实值有关的现实输出,而且还可以有效嵌入内部特征。这是通过将处理部分2.5D数据的编码器的潜在特征与从训练成重建完整语义场景的变分3D自动编码器提取的潜在特征相关联来完成的。此外,与其他完全通过3D卷积操作的方法不同,在测试时,我们在下采样期间保留了输入的原始2.5D结构,以提高模型内部表示的有效性。我们在语义场景完成的主要基准数据集上测试我们的方法,以定性和定量地评估我们的建议的有效性。
2018-10-25 cs.CV
Semantic Compositional Learning for Low-shot Scene Graph Generation
Monash University(莫纳什大学);University of Electronic Science and Technology of China(电子科技大学)
场景图为许多下游任务提供了有价值的信息。许多场景图生成(SGG)模型仅使用有限的注释关系三元组进行训练,导致其在低拍摄(少数和零)场景中表现不佳,特别是在罕见的谓词上。为了解决这个问题,我们提出了一种新的语义组合学习策略,使其能够构建额外的,现实的关系三元组与来自不同图像的对象。具体来说,我们的策略分解的关系三元组识别和删除不必要的组件,并组成一个新的关系三元组融合语义或视觉上相似的对象从视觉组件字典,同时确保现实的新组成的三元组。值得注意的是,我们的策略是通用的,可以与现有的SGG模型相结合,以显着提高其性能。我们对基准数据集Visual Genome进行了全面评估。对于最近的三个SGG模型,添加我们的策略将其性能提高了近50%,并且它们都大大超过了当前的最先进水平。
2021-08-19 cs.CV
Leveraging Predicate and Triplet Learning for Scene Graph Generation
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出双粒度关系建模(DRM)网络和双粒度知识转移(DKT)策略,利用谓词与三元组线索生成紧凑表示并缓解长尾问题,在多个数据集上取得最先进性能。
2024-06-04 cs.CV
Leveraging Local Patch Differences in Multi-Object Scenes for Generative Adversarial Attacks
University of California, Riverside(加州大学河滨分校)
针对图像分类器的最先进的基于生成模型的攻击绝大多数集中在单对象(即,单个主要对象)图像。与这样的设置不同,我们解决了使用多对象(即,多个主要对象)图像,因为它们代表大多数真实世界场景。我们的目标是设计一种攻击策略,该策略可以通过利用此类图像中固有的局部补丁差异(例如,交通场景中对象“人”和对象“自行车”上的局部补丁之间的差异)来从此类自然场景中学习。我们的关键思想是通过混淆图像中每个局部补丁的受害者分类器来错误分类对抗性多对象图像。在此基础上,我们提出了一种新的生成式攻击(称为局部补丁差异或LPD攻击),其中一种新的对比损失函数使用上述多目标场景的特征空间中的局部差异来优化扰动发生器。通过对不同受害者卷积神经网络的各种实验,我们表明,当在不同的白盒和黑盒设置下进行评估时,我们的方法优于具有高度可转移扰动的基线生成攻击。
2022-10-03 cs.CV
Towards Unseen Triples: Effective Text-Image-joint Learning for Scene Graph Generation
针对场景图生成中未见三元组预测难的问题,提出文本-图像联合学习模型TISGG,通过联合特征学习与事实知识细化模块解耦物体和谓词学习,并设计平衡策略,在Visual Genome上零样本召回率提升11.7%。
2023-06-23 cs.CV
Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University(西北工业大学)
语义分割是一种像素级的视觉任务,通过使用卷积神经网络(CNN)得到了快速发展。训练CNN需要大量的标记数据,但手动注释数据很困难。为了解放人力,近年来,一些合成数据集被发布。然而,它们仍然不同于真实场景,这导致在合成数据(源域)上训练模型不能在真实城市场景(目标域)上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能,它由三个深度神经网络组成。具体而言,检测和分割(简称“DS”)模型专注于检测对象和预测分割图;像素级域分类器(简称“PDC”)试图区分图像特征来自哪些域;对象级域分类器(简称“ODC”)区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器,DS被视为生成器。通过对抗学习,DS应该学习域不变特征。在实验中,我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV
Robust Assessment of Real-World Adversarial Examples
我们探索了真实世界中对抗性示例的严格、系统和受控的实验评估,并提出了一种用于评估真实世界对抗性对象的测试方案。我们发现,对于小的场景/环境扰动,存在大的对抗性能差异。对抗性报道的当前状态主要是在动态场景集合上的频率计数。我们的工作强调了需要一个更完整的报告或分数,其中包含对抗开发人员测试的模型和环境的场景变化和基线性能。我们提出了一个分数,试图解决上述问题,在一个简单的范例应用程序多个生成的对手的例子。我们的贡献如下:1.对抗性评估的测试平台,2.对抗性示例的得分,以及3.对试验台数据的附加评估的集合。
2020-03-15 cs.CV
Adversarial Patch
Google(谷歌公司)
我们提出了一种在现实世界中创建通用的,鲁棒的,有针对性的对抗图像补丁的方法。补丁是通用的,因为它们可以用来攻击任何场景,健壮的,因为它们在各种各样的变换下工作,有针对性的,因为它们可以导致分类器输出任何目标类。这些对抗补丁可以打印,添加到任何场景,拍照,并呈现给图像分类器;即使补丁很小,它们也会导致分类器忽略场景中的其他项目并报告所选的目标类别。为了重现论文中的结果,我们的代码可以在https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch上找到。
2018-05-17 cs.CV
Collapse-Aware Triplet Decoupling for Adversarially Robust Image Retrieval
Xi'an JiaoTong University, Xi'an, China(西安交通大学)
本文提出坍塌感知三元组解耦(CA-TRIDE)方法,通过空间解耦扰动目标生成更强对抗样本并利用坍塌度指标防止模型坍塌,同时提出更合理的鲁棒性评估指标,有效提升了图像检索的对抗防御能力。
2024-06-06 cs.CV
Trident: Detecting Face Forgeries with Adversarial Triplet Learning
Department of Computer Engineering, Bilkent University(计算机工程系,比尔肯特大学)
提出Trident人脸伪造检测框架,采用Siamese网络三元组学习与域对抗训练,捕捉细粒度伪造特征并学习与伪造无关的表示,有效提升对未见篡改的泛化与鲁棒性。
2025-06-29 cs.CV
Probabilistic Debiasing of Scene Graphs
Rensselaer Polytechnic Institute(伦斯勒理工学院)
由于关系及其父对象对的长尾性质,最先进的(SOTA)模型生成的场景图的质量受到损害。场景图的训练由多数对的多数关系主导,因此,在训练收敛后,少数对中的关系的对象条件分布不被保留。因此,有偏模型在关系的边缘分布中的更频繁的关系上表现良好,如“on”和“wearing”,而在不太频繁的关系上表现不佳,如“eating”或“hanging from”。在这项工作中,我们提出了虚拟证据纳入内三元组贝叶斯网络(BN),以保持对象条件分布的关系标签,并消除由边缘概率的关系所产生的偏见。少数类中的关系数量不足,这在学习三元组内贝叶斯网络中构成了一个重要问题。我们解决这一不足的嵌入为基础的增强的三元组,我们借用样本的少数三元组类从它的邻居三元组的语义空间。我们在两个不同的数据集上进行实验,并在关系的平均召回率方面取得了显着的改善。与场景图模型的SOTA去偏置技术相比,我们还实现了召回率和平均召回率性能之间的更好平衡。
2023-03-14 cs.CV
Zero-Shot Scene Graph Generation via Triplet Calibration and Reduction
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对场景图生成在未见三元组上泛化差的问题,提出T-CAR框架,通过三元组校准损失、未见空间约简损失和上下文编码器提升零样本场景图生成性能。
2023-09-07 cs.CV cs.MM
C3-STISR: Scene Text Image Super-resolution with Triple Clues
Fudan University(复旦大学);ByteDance(字节跳动)
场景文本图像超分辨率(STISR)是从低分辨率场景文本图像中进行文本识别的重要预处理任务。最新的方法使用识别器的反馈作为线索来指导超分辨率。然而,直接使用识别线索有两个问题:1)兼容性。它是概率分布的形式,与像素级任务STISR有明显的模态差距; 2)不准确性。它通常包含错误的信息,从而会误导主任务并降低超分辨率性能。在本文中,我们提出了一种新的方法C3-STISR,联合利用识别器的反馈,视觉和语言信息作为线索,指导超分辨率。其中,视觉线索来自识别器预测的文本图像,信息量大,与STISR任务兼容性强;而语言线索由预先训练好的字符级语言模型生成,能够对预测文本进行修正。我们设计了有效的三重交叉模态线索提取和融合机制,为超分辨率提供全面统一的指导。在TextZoom上进行的大量实验表明,C3-STISR方法在保真度和识别性能上优于SOTA方法。代码可在https://github.com/zhaominyiz/C3-STISR上找到。
2022-04-29 cs.CV
Structured Sparse R-CNN for Direct Scene Graph Generation
Nanjing University(南京大学)
场景图生成是在图像中检测目标对及其相互关系。现有的SGG方法通常使用多级流水线将此任务分解为目标检测、关系图构建和密集或密集到稀疏关系预测。相反,从SGG作为直接集预测的角度来看,本文提出了一个简单,稀疏和统一的框架,称为结构化稀疏R-CNN。我们的方法的关键是一组可学习的三元组查询和一个结构化的三元组检测器,它们可以以端到端的方式从训练集联合优化。具体而言,三元组查询编码的对象对与它们的关系的一般先验,并提供一个初始的猜测场景图为后续的细化。三元组检测器呈现级联架构,以利用定制的动态头逐步细化检测到的场景图。此外,为了减轻我们的方法的训练难度,我们提出了一个放松和增强的训练策略的基础上知识蒸馏从暹罗稀疏R-CNN。我们在Visual Genome和Open Images V4/V6数据集上进行了实验,结果表明我们的方法达到了最先进的性能。此外,我们还进行了深入的消融研究,以提供关于我们在三重检测器设计和训练策略中的结构化建模的见解。代码和模型可在https://github.com/MCG-NJU/Structured-Sparse-RCNN上获得。
2022-03-28 cs.CV
Targeted Adversarial Perturbations for Monocular Depth Prediction
UCLA(加利福尼亚大学洛杉矶分校)
我们研究了对抗扰动对单目深度预测任务的影响。具体来说,我们探索的能力,小,难以察觉的添加剂扰动选择性地改变感知的几何场景。我们表明,这种扰动不仅可以在全球范围内重新调整预测的距离相机,但也改变了预测,以匹配不同的目标场景。我们还表明,当给定语义或实例信息时,扰动可以欺骗网络来改变场景中特定类别或实例的深度,甚至在保留场景其余部分的同时删除它们。为了了解目标扰动的影响,我们对最先进的单目深度预测方法进行了实验。我们的实验揭示了单目深度预测网络的漏洞,并揭示了它们所学到的偏见和背景。
2020-12-08 cs.CV
DDS: Decoupled Dynamic Scene-Graph Generation Network
University of California Santa Barbara(加州大学圣巴巴拉分校);Army Research Laboratory(陆军研究实验室);Microsoft(微软公司)
提出解耦动态场景图生成网络DDS,通过两个独立分支解耦对象与关系特征,显著提升对未见三元组的检测性能。
2025-01-20 cs.CV
Understanding Humans in Crowded Scenes: Deep Nested Adversarial Learning and A New Benchmark for Multi-Human Parsing
National University of Singapore(新加坡国立大学);National University of Defense Technology(中国人民解放军国防科技大学);Qihoo 360 AI Institute(奇虎360人工智能研究院)
尽管在检测、实例分割和人类解析等感知任务方面取得了显著进展,但计算机在拥挤场景中对人类的视觉理解,如群体行为分析、人员重新识别和自动驾驶等方面仍然表现不尽如人意。为此,模型需要全面感知多人图像中的语义信息和实例之间的差异,最近被定义为多人解析任务。在本文中,我们提出了一个新的大型数据库“多人解析(MHP)”的算法开发和评估,并提出了国家的最先进的理解人类在拥挤的场景。MHP包含25,403张精心注释的图像,具有58个细粒度的语义类别标签,每张图像涉及2-26人,并从各种视角,姿势,遮挡,交互和背景中捕获真实场景。我们进一步提出了一种新的深度嵌套对抗网络(NAN)模型,用于多人解析。NAN由三个生成对抗网络(GAN)类子网组成,分别执行语义显著性预测,实例不可知解析和实例感知聚类。这些子网形成了一个嵌套结构,并经过精心设计,以端到端的方式联合学习。NAN在我们的MHP和其他几个数据集上始终优于现有的最先进的解决方案,并作为一个强大的基线来推动未来的多人解析研究。
2018-07-06 cs.CV
Novel View Synthesis for Large-scale Scene using Adversarial Loss
新视点合成的目的是从给定图像的不同视点合成新的图像。以前的大多数作品都集中在生成具有固定背景的某些对象的新颖视图。然而,对于某些应用,例如虚拟现实或机器人操作,由于相机的自运动,可能会发生背景的大的变化。如果不考虑环境的结构,则从新颖视图生成的大规模环境的图像可能会失真。在这项工作中,我们提出了一种新的全卷积网络,它可以通过引入逆深度特征来显式地利用结构信息。逆深度特征是从用稀疏标记深度值训练的CNN中获得的。该框架可以很容易地融合来自不同视点的多个图像。为了填充生成图像中缺失的纹理,应用了对抗性损失,这也可以提高整体图像质量。我们的方法进行评估的KITTI数据集。实验结果表明,该方法可以生成大规模场景的新颖视图,且不失真。我们的方法的有效性是通过定性和定量评价证明。
2018-02-20 cs.CV
Taming Adversarial Domain Transfer with Structural Constraints for Image Enhancement
Brighter AI Technologies Gmbh(Brighter AI技术有限公司)
这项工作的目标是改善因雾、雨和夜间能见度有限等自然原因而退化的交通场景图像。对于这些应用,几乎不可能获得相同场景的像素完美对,无论是否有降级条件。这使得它不适合传统的监督学习方法,然而,它很容易收集在一个完美的和退化的条件下的场景的不成对的图像。为了增强在能见度差的条件下拍摄的图像,可以训练域转移模型以将图像从退化域变换到清晰域。无监督域转移的一个众所周知的概念是周期一致的生成对抗模型。不幸的是,生成的生成器经常会改变场景的结构。这导致语义上的不期望的改变。我们提出了三种方法来应对这个问题,这取决于类型的退化。
2018-12-07 cs.CV
Adversarial Style Augmentation for Domain Generalized Urban-Scene Segmentation
University of Trento(特伦托大学);National University of Singapore(新加坡国立大学)
在本文中,我们考虑语义分割中的领域泛化问题,其目的是只使用标记的合成(源)数据来学习鲁棒模型。预计该模型在看不见的真实(目标)域上表现良好。我们的研究发现,图像风格的变化可以在很大程度上影响模型的性能,风格特征可以很好地表示为通道的平均值和标准差的图像。受此启发,我们提出了一种新的对抗风格增强(AdvStyle)方法,该方法可以在训练过程中动态生成硬风格化图像,从而可以有效地防止模型在源域上过拟合。具体来说,AdvStyle将风格特征视为一个可学习的参数,并通过对抗训练来更新它。学习的对抗风格特征用于构建对抗图像以进行鲁棒模型训练。AdvStyle易于实现,并且可以很容易地应用于不同的模型。在两个合成到真实的语义分割基准上的实验表明,AdvStyle可以显著提高模型在不可见真实域上的性能,达到了最新水平;此外,AdvStyle还可以用于域广义图像分类,并对所考虑的数据集产生明显的改善。
2022-10-13 cs.CV
Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes
University of California, Riverside(加州大学河滨分校)
众所周知,部署深度神经网络(DNN)的视觉系统容易受到对抗性示例的攻击。最近的研究已经表明,检查输入数据中的固有错误是检测对抗攻击(例如,通过检查复杂场景中的对象共现关系)。然而,现有的方法都与特定的模型相联系,不具有普遍性。出于观察自然场景图像的语言描述已经捕获的对象共现关系,可以通过语言模型学习,我们开发了一种新的方法来执行上下文一致性检查使用这样的语言模型。我们的方法的区别在于,它独立于部署的对象检测器,但在检测具有多个对象的实际场景中的对抗性示例方面提供了非常高的准确性。
2021-08-19 cs.CV cs.LG
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数:生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流,并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
Adversarial Scene Reconstruction and Object Detection System for Assisting Autonomous Vehicle
Dong-A University(东亚大学)
在当前的计算机视觉时代,通过视频监控系统对场景进行分类是一项至关重要的任务。随着人工智能和深度学习的兴起,人工智能视频监控技术得到了长足的发展。采用深度学习视觉分类方法的优越组合,在视觉场景分类方面实现了巨大的准确性。然而,视觉分类器面临的困难,检查在黑暗的可见区域的场景,特别是在夜间。此外,分类器在识别场景的上下文方面面临困难。本文提出了一种深度学习模型,将黑暗的视觉场景重构为类似日光的清晰场景,并为自动驾驶汽车识别视觉动作。该模型在场景重建和场景理解与检测任务中分别达到了87.3%和89.2%的准确率。
2021-10-13 cs.CV eess.IV
SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Alibaba Group(阿里巴巴集团)
本文提出自监督场景草图生成方法,无需现有场景草图,将单对象草图转为场景草图,并构建大规模“文本-草图-图像”三元组数据集,提升下游任务性能。
2024-05-29 cs.CV
AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness
Clemson University(克莱姆森大学)
提出AdvScene框架,通过重建真实环境并引入对抗补丁到场景嵌入(APSE)方法,评估对抗补丁在视角、距离和场景条件变化下的场景鲁棒性,揭示现有评估未捕获的场景依赖性变化。
2026-05-28 cs.CR cs.CV
SPAN: Learning Similarity between Scene Graphs and Images with Transformers
Institute of Information Processing, Leibniz University Hannover(汉诺威莱布尼茨大学信息处理研究所)
针对现有场景图生成评估指标的缺陷,该研究首次提出场景图-图像对比学习框架SPAN,通过图序列化技术结合Transformer实现跨模态对齐,并提出新评估指标与基准,验证了框架的有效性。
2024-05-20 cs.CV
A Differentiable 3D Scene Graph Metric via Contextual Hellinger Triplet Geometry
Sookmyung Women’s University(淑明女子大学)
该研究针对三维场景图预测的图级监督缺失问题,提出Contextual Hellinger Triplet Geometry方法,构建可微度量目标,在3DSSG数据集上验证其可提升场景生成质量并增强图的相关特性。
2026-10-14 cs.CV cs.LG
V2XP-ASG: Generating Adversarial Scenes for Vehicle-to-Everything Perception
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
车联网通信技术的最新进展使自动驾驶汽车能够共享感知信息,以获得更好的感知性能。随着自动驾驶汽车和智能基础设施的快速发展,V2X感知系统将很快大规模部署,这就提出了一个安全关键问题:\textit{how can we evaluate and improve its performance under challenging traffic scenarios before the real-world deployment?}收集多样化的大规模真实世界测试场景似乎是最直接的解决方案,但这既昂贵又耗时,而且收集只能覆盖有限的场景。为此,我们提出了第一个开放的对抗场景生成器V2XP-ASG,它可以为现代基于激光雷达的多智能体感知系统生成逼真的、具有挑战性的场景。V2XP-ASG学习构建对抗协作图,并以对抗和合理的方式同时扰动多个代理的姿势。实验表明,V2XP-ASG可以有效地识别大范围V2X感知系统的挑战性场景。同时,通过对有限数量的生成的挑战场景进行训练,V2X感知系统的准确率可以进一步提高12.3%的挑战场景和4%的正常场景。我们的代码将在https://github.com/XHwind/V2XP-ASG上发布。
2023-03-14 cs.CV cs.RO
Triple Correlations-Guided Label Supplementation for Unbiased Video Scene Graph Generation
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学);Central China Normal University(华中师范大学)
针对视频场景图生成中因数据偏态和标注缺失导致尾部谓词预测不佳的问题,提出Trico方法,通过探索三种互补时空相关性补充缺失谓词标签,实现无偏预测并在VidVRD和VidOR数据集上取得领先性能。
2023-07-30 cs.CV
Compositional Feature Augmentation for Unbiased Scene Graph Generation
Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港理工大学);FinVolution
本文提出组合特征增强策略,通过增强关系三元组特征多样性,解决SGG中的偏见问题。
2026-01-17 cs.CV
TripleFDS: Triple Feature Disentanglement and Synthesis for Scene Text Editing
Tencent Youtu Lab(腾讯优图实验室)
针对场景文本编辑中属性解耦不完整的问题,提出TripleFDS框架及SCB Synthesis数据集,通过三重特征解耦与合成提升可控性和视觉一致性,在主流基准上取得最优性能。
2025-11-17 cs.AI cs.CV
Enhancing Traffic Scene Predictions with Generative Adversarial Networks
Technical University of Munich(慕尼黑工业大学);TUM Department of Civil, Geo and Environmental Engineering(慕尼黑工业大学土木工程、地质与环境工程系)
我们提出了一个新的两阶段的管道预测帧的交通场景中,相关的对象仍然可以可靠地检测到。使用最近的视频预测网络,我们首先根据过去的帧生成未来帧的序列。然后,第二个网络增强这些帧,使它们看起来更真实。这确保了预测帧的质量足以实现对象的准确检测,这对于自动驾驶汽车尤其重要。为了验证这种两阶段方法,我们在Cityscapes数据集上进行了实验。为了增强,我们训练了两种基于生成对抗网络的图像到图像的转换方法,一种用于盲运动去模糊,一种用于图像超分辨率。使用传统度量和最先进的目标检测网络对所有得到的预测进行了定量评估,结果表明增强帧在质量上有所改善。虽然传统的图像比较度量,即,MSE、PSNR和SSIM未能证实这种视觉印象,目标检测评估与之非常相似。与未增强的预测相比,性能最好的预测增强管道能够将每个预测步骤检测汽车的平均精度值提高约9%。
2019-09-24 cs.CV
Triple Generative Adversarial Nets
Tsinghua University(清华大学)
生成对抗网络(GANs)在图像生成和半监督学习(SSL)中显示出了希望。然而,SSL中现有的GANs存在两个问题:(1)生成器和分类器(即分类器)可能不会同时是最优的;(2)生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的,其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色,它只估计数据而不考虑标签。为了解决这些问题,我们提出了三重生成对抗网络(Triple-GAN),它由三个参与者组成-生成器,分类器和分类器。生成器和分类器描述图像和标签之间的条件分布,而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序,以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明,Triple-GAN作为一个统一的模型可以同时(1)在深度生成模型中实现最先进的分类结果,(2)通过在潜在空间类条件下插值,在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
UniQ: Unified Decoder with Task-specific Queries for Efficient Scene Graph Generation
Huazhong University of Science and Technology(华中科技大学);Pingan Technology(平安科技)
针对一阶段场景图生成中实体特征耦合与解耦难以兼顾的问题,本文提出 UniQ 架构,以任务特定查询生成解耦特征并用统一解码器建模三元组耦合特征,在 Visual Genome 上优于现有方法。
2025-01-10 cs.CV
Enhancing Real-World Adversarial Patches through 3D Modeling of Complex Target Scenes
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
对抗性示例已被证明是对深度学习模型的一个令人担忧的威胁,特别是在图像领域。然而,尽管许多研究都研究了现实世界中的对抗性例子,但大多数研究都依赖于攻击场景的2D照片。因此,所提出的攻击在具有3D对象或不同条件的现实环境中实施时可能具有有限的有效性。很少有关于使用3D对象的对抗性学习的研究,在许多情况下,其他研究人员无法复制真实世界的评估过程。在这项研究中,我们提出了一个框架,使用3D建模工艺对抗补丁现有的现实世界的场景。我们的方法使用3D数字近似的场景作为模拟现实世界。通过在数字场景中添加和操作任何元素的能力,我们的框架使攻击者能够提高对抗补丁在现实世界中的影响。我们使用该框架为日常场景创建一个补丁,并使用一个新颖的评估过程来评估其性能,该过程确保我们的结果在数字空间和现实世界中都是可复制的。我们的评估结果表明,该框架可以生成对抗补丁,在现实世界中的不同设置是强大的。
2021-09-02 cs.AI cs.CR cs.CV
Triple Generative Adversarial Networks
Tsinghua University(清华大学)
我们提出了一个统一的博弈理论框架进行分类和有条件的图像生成有限的监督。它被公式化为由生成器、分类器和搜索器组成的三人极大极小博弈,因此被称为三重生成对抗网络(Triple-GAN)。生成器和分类器表征图像和标签之间的条件分布,以分别执行条件生成和分类。该工具只专注于识别虚假的图像标签对。在非参数假设下,我们证明了博弈的唯一均衡是由生成器和分类器表征的分布收敛到数据分布。作为三人机制的副产品,Triple-GAN可以灵活地结合不同的半监督分类器和GAN架构。我们在两个具有挑战性的环境中评估Triple-GAN,即半监督学习和极低数据制度。在这两种设置中,Triple-GAN都可以实现出色的分类结果,并同时在特定类别中生成有意义的样本。特别地,使用通常采用的13层CNN分类器,Triple-GAN在10个以上的基准测试上显著优于广泛的半监督学习方法,无论是否应用数据增强。
2020-09-14 cs.CV cs.LG stat.ML
Adversarial Self-Supervised Scene Flow Estimation
University of Amsterdam(阿姆斯特丹大学);TomTom(汤姆汤姆)
本文提出了一种自监督场景流估计的度量学习方法。场景流估计是针对连续的3D点云估计3D流矢量的任务。这样的流向量是富有成效的,\eg用于识别动作或避免冲突。通过场景流的监督学习训练神经网络是不切实际的,因为这需要在每个场景的每个新时间戳处对每个3D点进行手动注释。为此,我们寻求一种自我监督的方法,其中网络学习一个潜在的度量来区分由流量估计转换的点和目标点云。我们的对抗性度量学习包括两点云序列上的多尺度三重损失以及循环一致性损失。此外,我们还概述了一个自监督场景流估计的基准:场景流沙箱。该基准测试由五个数据集组成,旨在按照复杂性的渐进顺序研究流量估计的各个方面,从移动对象到真实场景。基准测试的实验结果表明,我们的方法获得了最先进的自我监督的场景流的结果,优于最近的邻居为基础的方法。我们使用我们提出的基准来暴露缺点,并在各种培训设置上获得见解。我们发现,我们的设置捕捉运动的连贯性和保留当地的几何形状。另一方面,处理闭塞仍然是一个公开的挑战。
2020-11-01 cs.AI cs.CV
Adaptive Adversarial Attack on Scene Text Recognition
University of Florida(佛罗里达大学);Tongdun Technology(同盾科技)
最近的研究表明,最先进的深度学习模型容易受到小扰动输入的影响(对抗性示例)。我们在对抗性示例中观察到两个关键障碍:(i)强对抗攻击(例如,C&W攻击)需要手动调整超参数,并需要很长的时间来构建一个对抗的例子,使其不切实际的攻击实时系统;(ii)大多数的研究集中在非顺序的任务,如图像分类,但只有少数考虑顺序的任务。在这项工作中,我们加快了对抗攻击,特别是在顺序学习任务中。通过利用每个任务的不确定性,我们直接学习自适应多任务权重,而无需手动搜索超参数。一个统一的架构开发和评估非顺序任务和顺序的。为了验证该方法的有效性,我们以场景文本识别任务为例进行了研究。据我们所知,我们提出的方法是第一次尝试对抗攻击的场景文本识别。与最先进的对抗攻击相比,自适应攻击的成功率超过99.9\%,加速比为3- 6倍。
2020-04-01 cs.CR cs.CV cs.LG
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University(亚琛工业大学);Technische Universität Ilmenau(伊尔梅瑙工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景,以替代费力的真实数据采集与仿真方法,并通过二分类器验证其性能接近真实场景(约87%)。
2024-10-17 cs.CV cs.LG eess.IV
Multisource Semisupervised Adversarial Domain Generalization Network for Cross-Scene Sea-Land Clutter Classification
Northwestern Polytechnical University(西北工业大学);University of Granada(格拉纳达大学)
针对天波超视距雷达跨场景海杂波-地杂波分类的分布差异问题,提出含三个模块的多源半监督对抗域泛化网络,在12个场景中优于10种现有域泛化方法。
2024-03-09 cs.CV
Adversarial Scene Editing: Automatic Object Removal from Weak Supervision
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
虽然最近在自动图像处理方面取得了很大进展,但它仅限于以对象为中心的图像,如人脸或结构化场景数据集。在这项工作中,我们采取了一个步骤,一般场景级的图像编辑,通过开发一个自动的无交互的对象删除模型。我们的模型学习使用生成对抗网络(GAN)框架中的图像级标签和未配对数据从一般场景图像中查找和删除对象。我们实现这一目标有两个关键的贡献:一个两阶段的编辑器架构组成的掩模生成器和图像中的画家,合作删除对象,和一个新的GAN的掩模生成器,使我们能够灵活地将有关对象形状的知识。我们在两个数据集上的实验表明,我们的方法只使用弱监督就可以有效地删除各种各样的对象
2018-06-05 cs.AI cs.CV stat.ML
LiDAR ICPS-net: Indoor Camera Positioning based-on Generative Adversarial Network for RGB to Point-Cloud Translation
Iran Broadcasting University (IRIBU)(伊朗广播大学(IRIBU));Alpha Reality
室内定位旨在在没有GPS数据可用性的区域内导航,并且可以用于许多应用,例如增强现实、特别是封闭区域和隧道内的自动驾驶。在本文中,提出了一种基于深度神经网络的架构来解决这个问题。在这方面,卷积神经网络的串联集合以及Pix 2 Pix GAN网络已经被利用来分别作为场景分类器、场景RGB图像到点云转换器和位置回归器来执行。所提出的架构优于以前的作品,包括我们最近的工作,在这个意义上,它使数据生成任务更容易和更强大的场景小的变化,而定位的准确性是非常好的,笛卡尔位置和四元数信息的相机。
2019-11-14 cs.CV
Physically Plausible 3D Human-Scene Reconstruction from Monocular RGB Image using an Adversarial Learning Approach
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Monash University(莫纳什大学);University of Oxford(牛津大学)
本文提出一种基于对抗学习的方法,利用场景元素的隐式图表示从单目 RGB 图像重建物理上合理的 3D 人-场景,无需显式定义物理约束,实现了与现有优化方法相当的质量且无需推理时优化,更适合机器人应用。
2023-07-27 cs.CV cs.RO