Investigating Generalization in Neural Networks under Optimally Evolved Training Perturbations
The University of Tokyo(东京大学);IBM Research AI - Tokyo(IBM研究AI - 东京)
在本文中,我们研究了输入扰动下的神经网络的泛化性能,并表明,最小的训练数据腐败的几个像素修改可能会导致剧烈的过拟合。我们提出了一种进化算法来搜索最佳像素扰动使用新的成本函数启发文学在领域自适应,明确最大化的泛化间隙和域之间的分歧干净和损坏的图像。我们的方法在最先进的卷积神经网络(CNN)架构上优于以前基于像素的数据分布偏移方法。有趣的是,我们发现优化的选择在泛化鲁棒性中起着重要的作用,这是由于经验观察到SGD对这种训练数据损坏具有弹性,这与自适应优化技术(ADAM)不同。我们的源代码可在https://github.com/subhajitchaudhury/evo-shift上获得。
2020-03-14 cs.CR cs.CV cs.LG
Towards Training Music Taggers on Synthetic Data
Time Machine Capital Squared Ltd.(时光机资本平方有限公司);University of Piraeus(比雷埃夫斯大学)
针对音乐标注依赖大规模标注数据的问题,本文发布十倍规模的合成数据集 GTZAN-synth,并发现迁移学习与微调可提升小标注场景下的标注准确率。
2024-07-02 cs.AI cs.IR cs.LG
Generative AI for learning: Investigating the potential of synthetic learning videos
UCL Knowledge Lab(伦敦大学学院知识实验室);Metropolitan State University(都会州立大学);EIT InnoEnergy(欧洲创新能源研究所)
本研究针对AI合成教育视频现实教育价值研究不足的问题,通过混合方法对比实验发现,AI合成学习视频在学习效果与体验上与传统讲师视频相当,有望成为在线教育中传统视频的可行替代品,提升优质教育内容的可及性。
2023-05-03 cs.AI cs.CV cs.LG
Towards In-Vehicle Multi-Task Facial Attribute Recognition: Investigating Synthetic Data and Vision Foundation Models
Research and Advanced Engineering(研究与高级工程部门);Ford(福特公司)
针对车载人脸属性识别缺乏大规模真实数据集的问题,探究合成数据结合ViT、ResNet等视觉基础模型的多任务训练效果,发现ResNet表现更优,为相关实际应用提供参考。
2024-03-10 cs.AI cs.CV cs.LG
Virtual Scanning for NSCLC Histology: Investigating the Discriminatory Power of Synthetic PET
Università Campus Bio-Medico di Roma(罗马生物医学大学校园大学);Umeå University(于默奥大学);Università Vita-Salute San Raffaele(圣拉斐尔生命健康大学)
该研究针对NSCLC组织学分类问题,提出用3D Pix2Pix GAN合成PET特征并结合MINT框架的多模态方法,在714人数据集上使AUC和GMean显著提升,为无实体PET的临床场景提供特征增强策略。
2026-05-04 cs.AI cs.CV
AIGCs Confuse AI Too: Investigating and Explaining Synthetic Image-induced Hallucinations in Large Vision-Language Models
Beijing Jiaotong University(北京交通大学);Pengcheng Laboratory(鹏城实验室)
本文研究AI合成图像在大型视觉语言模型中引发的幻觉现象,发现合成图像会导致对象幻觉数量更多且位置分布更均匀,并揭示其源于视觉投影后的token偏差。
2024-09-03 cs.CV
JEPA for RL: Investigating Joint-Embedding Predictive Architectures for Reinforcement Learning
University of Bielefeld - Technical Faculty(比勒菲尔德大学技术学院)
本文探讨将联合嵌入预测架构(JEPA)应用于图像强化学习,讨论模型崩溃的预防,并在Cart Pole任务上提供示例数据。
2025-04-23 cs.CV
Investigating Transfer Learning Capabilities of Vision Transformers and CNNs by Fine-Tuning a Single Trainable Block
在计算机视觉领域的最新发展中,基于变压器的架构的使用有所增加。它们在准确性上超过了CNN架构的最先进水平,但另一方面,从头开始训练它们在计算上非常昂贵。由于这些模型在计算机视觉领域是相当新的,因此有必要研究它的迁移学习能力,并将其与CNN进行比较,以便我们能够了解哪种架构在应用于小数据的现实世界问题时更好。在这项工作中,我们遵循一种简单但限制性的方法来微调在CIFAR-10上的ImageNet 1 K上预训练的CNN和Transformer模型,并将它们相互比较。我们只解冻模型的最后一个Transformer/编码器或最后一个卷积块,并冻结它之前的所有层,同时在最后添加一个简单的MLP进行分类。这个简单的修改让我们使用这两个神经网络的原始学习权重。从我们的实验中,我们发现基于transformers的架构不仅比CNN实现了更高的准确性,而且一些Transformers甚至以大约4倍的参数实现了这一壮举。
2021-10-11 cs.AI cs.CV
Synthetic Thermal and RGB Videos for Automatic Pain Assessment utilizing a Vision-MLP Architecture
Hellenic Mediterranean University(希腊地中海大学);Foundation for Research and Technology (FORTH)(希腊研究与技术基金会)
本文提出将GAN生成的合成热成像视频与RGB视频结合,通过Vision-MLP和Transformer框架在BioVid数据库上验证了其对自动疼痛评估的有效性和潜在优势。
2024-07-29 cs.AI cs.CV
CLIP Architecture for Abdominal CT Image-Text Alignment and Zero-Shot Learning: Investigating Batch Composition and Data Scaling
Department of Radiodiagnosis(放射诊断部门)
本文研究了CLIP架构在腹部CT图像-文本对齐和零样本学习中的效果,探讨了训练批量组成和数据缩放的影响,发现随机采样和交替批次比人工类平衡更有效。
2026-04-15 cs.AI cs.CV
A Siamese-based Verification System for Open-set Architecture Attribution of Synthetic Images
University of Siena(锡耶纳大学)
本文提出基于孪生网络的验证框架,解决合成图像开集架构归属问题,支持图像同源判断和架构声明验证,在闭集和开集场景下均表现优异且具强泛化能力。
2023-12-29 cs.CV
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire(贝德福德大学)
本文提出隐式稀疏风格的Batch Transformer架构,通过仅关注重要维度缩小编解码网络瓶颈,在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Investigating Relational Reasoning in VLMs
ETH Zurich(苏黎世联邦理工学院)
本研究以Qwen3-VL-4B为对象,构建含几何形状的合成数据集,探究VLMs的关系推理能力,发现其结合了真正视觉推理与基于语言线索的捷径策略。
2026-08-25 cs.CV
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park(马里兰大学帕克分校);Rice University(莱斯大学);New York University(纽约大学)
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到,模型架构(及其相关的归纳偏差)的变化会导致决策边界的明显变化,而相同架构的多次运行会产生具有很强相似性的结果,特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到,决策边界再现性强烈依赖于模型的宽度。在插值阈值附近,神经网络的决策边界被分割成许多小的决策区域,并且这些区域是不可再现的。同时,非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性,而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
An Image-based Generator Architecture for Synthetic Image Refinement
提出了边界平衡生成对抗网络的替代生成器架构,其动机是通过对抗训练从模拟和无监督图像中学习。它解开了对基于噪声的潜在空间的需求。该生成器将主要作为一个细化网络来运行,以获得给定合成图像的照片般逼真的呈现。它还试图通过消除噪声注入的需要并将其替换为基于图像的概念来解决潜在空间的知之甚少的属性。新的灵活和简单的生成器架构也将提供控制限制性细化和表达能力之间的权衡的能力。与其他可用的方法相反,该架构将不需要用于训练阶段的真实图像和合成图像的配对或未配对的数据集。只有相对较小的一组真实图像就足够了。
2021-08-10 cs.CV cs.LG eess.IV
Dual Diffusion Architecture for Fisheye Image Rectification: Synthetic-to-Real Generalization
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Beijing Key Laboratory of Advanced Information Science and Network(北京先进信息科学与网络重点实验室)
鱼眼图像校正是一个长期未解决的综合到真实的推广问题。在大多数以前的工作中,在合成图像上训练的模型在真实世界的鱼眼图像上获得不令人满意的性能。为此,我们提出了一种具有更好泛化能力的鱼眼矫正双扩散架构(DDA)。建议的DDA同时训练成对的合成鱼眼图像和未标记的真实鱼眼图像。通过逐步引入噪声,合成和真实鱼眼图像最终可以发展成一致的噪声分布,提高泛化能力,实现无标记的真实鱼眼校正。原始图像用作现有DDPM(去噪扩散概率模型)中的先验指导。然而,先验条件和目标之间不可忽略的不确定性关系影响了生成性能。特别是在校正任务中,径向失真可能导致显著的伪影。因此,我们提供了一个无监督的单通道网络,它产生了一个合理的新条件来加强指导。该网络可以被视为一种替代方案,用于快速产生可靠的结果,而无需迭代推理。与现有的方法相比,该方法在合成和真实鱼眼图像校正方面都具有较好的性能。
2023-01-26 cs.CV
Investigating Deep Learning Models for Ejection Fraction Estimation from Echocardiography Videos
Branham High School(布兰纳姆高中);University of Oxford(牛津大学)
本研究探讨了多种深度学习模型在超声心动图视频中估计射血分数的有效性,发现修改后的3D Inception架构性能最佳,同时发现模型对超参数选择敏感。
2025-12-27 cs.AI cs.CV cs.LG
Fruit Deformity Classification through Single-Input and Multi-Input Architectures based on CNN Models using Real and Synthetic Images
ESPOL Polytechnic University(埃斯波利理工大学);UPSE Santa Elena Peninsula State University(圣埃伦娜半岛国立大学);Queen Mary University of London(伦敦大学玛丽皇后学院);University Carlos III of Madrid(马德里卡洛斯三世大学)
本研究提出基于CNN的单输入与多输入架构,结合真实和合成图像及SAM分割,用于水果畸形分类,其中MobileNetV2多输入架构在苹果、芒果和草莓上分别达到90%、94%和92%的准确率。
2024-12-17 cs.CV
Investigating the Nature of 3D Generalization in Deep Neural Networks
University of Cambridge(剑桥大学);NVIDIA Research(英伟达研究院)
本文通过有监督分类任务研究深度网络从二维视图泛化到新三维视图的机制,发现其泛化方式既非完整三维推断也非线性插值,但远优于纯二维匹配,为数据集设计提供指导。
2023-04-19 cs.AI cs.CV cs.LG
Multi-Channel Cross Modal Detection of Synthetic Face Images
Hochschule Darmstadt(达姆施塔特应用科学大学);Idiap Research Institute(Idiap研究所)
本文提出一种多通道跨模态架构,结合频率与可见光谱信息并采用Cross Modal Focal Loss,用于检测完全合成人脸图像,实验表明其性能优于使用Binary Cross Entropy训练的相关架构。
2024-12-29 cs.CV
Synthetic Low-Field MRI Super-Resolution Via Nested U-Net Architecture
Athinoula A. Martinos Center for Biomedical Imaging(阿西努拉·A·马蒂诺斯生物医学成像中心);Massachusetts General Hospital(马萨诸塞州总医院);Harvard Medical School(哈佛医学院);Boston University(波士顿大学);Harvard University(哈佛大学)
低场(LF)MRI扫描仪通过提供高场MRI扫描仪的便携式和更便宜的替代品,有能力彻底改变医学成像。然而,这样的扫描仪通常比它们的高场对应物显著更嘈杂且质量更低。本文的目的是提高低场MRI扫描的SNR和整体图像质量,以提高诊断能力。为了解决这个问题,我们提出了一种嵌套U-Net神经网络架构的超分辨率算法,该算法的性能优于之前提出的深度学习方法,平均PSNR为78.83,SSIM为0.9551。我们在人工噪声下采样合成数据上测试了我们的网络,这些数据来自一个主要的T1加权MRI图像数据集,称为T1-mix数据集。一位委员会认证的放射科医生对25张图像进行了Likert量表(1-5)评分,评估了我们架构和其他已发表作品(SR DenseNet、Generator Block、SRCNN等)的整体图像质量、解剖结构和诊断置信度。我们还介绍了一种新的损失函数称为自然对数均方误差(NLMSE)。总之,我们提出了一种更准确的深度学习方法,用于通过嵌套U-Net架构应用于合成低场MRI的单图像超分辨率。
2022-11-28 cs.CV eess.IV
Efficient Semantic Diffusion Architectures for Model Training on Synthetic Echocardiograms
King’s College London(伦敦国王学院);Ultromics Ltd.(乌尔特罗米克斯公司)
本文提出基于Γ分布的潜在去噪扩散模型,高效生成语义引导的合成心脏超声图像,在降低计算成本的同时保持或提升左心室分割与视图分类任务性能。
2024-09-28 cs.CV eess.IV
Investigating the Robustness and Properties of Detection Transformers (DETR) Toward Difficult Images
The Australian National University(澳大利亚国立大学)
本研究通过实验和基准测试,探究了DETR在遮挡、对抗性贴纸及图像损坏下的鲁棒性,发现其在遮挡下表现良好,但易受对抗性贴纸干扰,且性能逊于YOLOv5,并揭示了主查询依赖导致的贡献不平衡问题。
2023-10-12 cs.CV
Improved Automatic Target Recognition in Synthetic Aperture Sonar Imagery Using Large Deep Neural Networks
该研究对比CNN与Transformer等DNN架构的性能,探究网络规模、预训练等因素对合成孔径声呐自动目标识别的影响,旨在生成高性能模型并提供训练路线图。
2026-11-04 cs.CV
Re-Training StyleGAN -- A First Step Towards Building Large, Scalable Synthetic Facial Datasets
National University of Ireland, Galway(爱尔兰国立高威大学);University of Antwerp(安特卫普大学);Collage of Engineering and Informatics(工程与信息学院);Imec(微电子中心)
StyleGAN是一种最先进的生成对抗网络架构,可生成随机的2D高质量合成面部数据样本。在本文中,我们回顾了StyleGAN的架构和训练方法,并介绍了我们在一些替代公共数据集上重新训练它的经验。讨论了再培训过程中出现的实际问题和挑战。测试和验证结果,并提供了几个不同的重新训练的StyleGAN权重的比较分析1。还讨论了该工具在构建大型可扩展的合成面部数据数据集方面的作用。
2020-03-24 cs.CV cs.NE
TwoHead-SwinFPN: A Unified DL Architecture for Synthetic Manipulation, Detection and Localization in Identity Documents
IBM Germany(IBM德国分公司);FAST NUCES(FAST努赛斯大学);Askolay Pakistan(Askolay巴基斯坦)
TwoHead-SwinFPN通过双头架构和Swin Transformer结合FPN与Unet解码器,实现身份文档中合成操纵的高效检测与定位,具有高精度和计算效率。
2026-01-19 cs.CV cs.LG
SenseGen: A Deep Learning Architecture for Synthetic Sensor Data Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
我们能够合成保留真实数据的特定统计特性的传感数据,这对数据隐私和大数据分析产生了巨大的影响。合成数据可用作对用户敏感的选择性真实数据段的替代品,从而保护隐私并改进分析。然而,移动应用程序或其他基于云的分析服务等数据接收者所扮演的日益敌对的角色,要求合成数据除了保留统计属性外,还应该难以与真实数据区分开来。通常,目视检查已被用作区分数据集的测试。但最近,复杂的分类器模型(鉴别器),对应于一组事件,也被用来区分合成和真实数据。该模型在两个数据集上运行,并比较各自的事件输出以确保一致性。在本文中,我们朝着生成可以通过基于深度学习的感知模型测试的感知数据迈出了一步,并做出了两个具体的贡献:首先,我们提出了一个基于深度学习的架构,用于合成感知数据。该架构包括一个生成器模型,它是多个长短期记忆(LSTM)网络和一个混合密度网络的堆栈。第二,我们使用另一个基于LSTM网络的混合模型来区分真实数据和合成数据。使用加速度计轨迹的数据集,使用智能手机收集的用户进行日常活动,我们表明,基于深度学习的神经网络模型只能区分真实和合成的轨迹,准确度在50%左右。
2017-01-31 cs.CV cs.LG
Deepfake Style Transfer Mixture: a First Forensic Ballistics Study on Synthetic Images
University of Catania(卡塔尼亚大学);iCTLab Spinoff of University of Catania(卡塔尼亚大学iCTLab衍生公司);Banca d’Italia(意大利银行)
最近基于生成架构的风格转移技术能够获得合成多媒体内容,或通常称为deepfakes,几乎没有伪影。研究人员已经证明,合成图像包含的模式不仅可以确定它是否是deepfake,还可以确定用于创建图像数据本身的生成架构。这些痕迹可以用来研究在deepfakes背景下从未解决过的问题。为此,本文提出了第一种方法来研究受风格转移操作影响的深度伪造图像的图像弹道学。具体来说,本文描述了一种研究,检测多少次的数字图像已处理的生成架构的风格转移。此外,为了准确地解决和研究deepfake图像上的法医弹道学,研究了样式转移操作的一些数学性质。
2022-03-18 cs.CV cs.LG eess.IV
Cancer-Net PCa-MultiSeg: Multimodal Enhancement of Prostate Cancer Lesion Segmentation Using Synthetic Correlated Diffusion Imaging
Systems Design Engineering University of Waterloo(水力工程系统设计系大学)
针对前列腺癌病灶分割深度学习性能有限的问题,提出用合成相关扩散成像(CDIⁿ)增强标准扩散协议,经200例患者数据和六种架构评估,CDIⁿ整合提升94%配置性能,CDIⁿ+DWI路径安全高效,可直接临床部署。
2025-11-11 cs.CV
Accept Synthetic Objects as Real: End-to-End Training of Attentive Deep Visuomotor Policies for Manipulation in Clutter
University of Central Florida(中佛罗里达大学)
最近的研究表明,使用示教学习(LfD)和强化学习(RL)的变体来训练机器人操作的端到端训练多任务深度视觉策略是可行的。在本文中,我们扩展了端到端的LfD架构的能力,在杂波中的对象操作。我们首先介绍一个数据增强过程,称为接受合成对象作为真实(ASOR)。使用ASOR,我们开发了两种网络架构:隐式注意ASOR-IA和显式注意ASOR-EA。这两种体系结构使用相同的训练数据(在整洁的环境中的演示)作为以前的方法。实验结果表明,ASOR-IA和ASOR-EA成功在杂乱的环境中,以前的方法从来没有成功的试验的显着比例。此外,我们发现,ASOR-IA和ASOR-EA优于以前的方法,即使在整洁的环境中,ASOR-EA表现更好,即使在混乱相比,以前的最佳基线在整洁的环境。
2019-11-11 cs.CV cs.LG cs.RO
Improved $α$-GAN architecture for generating 3D connected volumes with an application to radiosurgery treatment planning
Toronto Metropolitan University(多伦多都会大学)
生成对抗网络(GANs)在几个计算机视觉任务中获得了极大的关注,用于生成高质量的合成数据。由于该领域的数据稀缺性,包括诊断成像和放射治疗在内的各种医疗应用可以从合成数据生成中受益匪浅。然而,医学图像数据通常保持在3D空间中,并且生成模型在生成这种合成数据时遭受维度问题的灾难。在本文中,我们研究了GANs用于生成连接的3D体积的潜力。我们提出了一个改进版本的3D $α$ -GAN,结合各种架构增强。在连接的3D球体和椭球体的合成数据集上,我们的模型可以生成与训练数据具有相似几何特征的完全连接的3D形状。我们还表明,我们的3D GAN模型可以成功地生成高质量的3D肿瘤体积和相关的治疗规范(例如,等中心点位置)。与训练数据相似的不变矩以及完全连接的3D形状证实了改进的3D $α$ -GAN隐式地学习训练数据分布,并生成逼真的样本。改进的3D $α$ -GAN的能力使其成为生成合成医学图像数据的有价值的来源,可以帮助该领域的未来研究。
2022-07-13 cs.CV cs.LG eess.IV
NeighCNN: A CNN based SAR Speckle Reduction using Feature preserving Loss Function
Birla Institute of Technology and Science(比尔拉科技与工程学院)
像合成孔径雷达这样的相干成像系统容易受到乘性噪声的影响,这使得自动目标识别等应用具有挑战性。在本文中,NeighCNN是一种基于深度学习的斑点减少算法,它可以用相对简单的卷积神经网络架构来处理乘性噪声。我们设计了一个损失函数,它是欧几里德加权和、邻域和感知损失的独特组合,用于训练深度网络。欧几里德和邻域损失考虑像素级信息,而感知损失考虑两个图像之间的高级语义特征。各种合成的,以及真实的SAR图像,用于测试的NeighCNN架构,结果验证了所提出的架构的噪声去除和边缘保护能力。性能指标,如峰值信噪比,结构相似性指数,通用图像质量指数用于评估所提出的架构上的合成图像的效率。
2021-08-26 cs.CV eess.IV
Investigating the Vision Transformer Model for Image Retrieval Tasks
Democritus University of Thrace(德谟克利特色雷斯大学);Neapolis University Pafos(帕福斯尼亚波利斯大学)
本文介绍了一种即插即用的描述符,可以有效地通过图像检索任务,无需事先初始化或准备。该描述方法利用了最近提出的视觉Transformer网络,而它不需要任何训练数据来调整参数。在图像检索任务中,手工全局和局部描述符的使用在过去几年中已经被基于卷积神经网络(CNN)的方法非常成功地取代。然而,本文在几个基准数据集上对文献中的36个最先进的描述符进行的实验评估表明,不包含卷积层的神经网络,如视觉Transformer,可以塑造全局描述符并实现有竞争力的结果。由于不需要微调,所提出的方法的低复杂性,鼓励采用的架构作为图像检索基线模型,取代传统的和良好采用的基于CNN的方法,开创了一个新时代的图像检索方法。
2021-01-11 cs.CV cs.IR cs.RO
Automatic Target Recognition on Synthetic Aperture Radar Imagery: A Survey
City University of London(伦敦城市大学)
自动目标识别(ATR)技术是提高军事平台智能化、自主化水平的核心技术之一。受此刺激,并考虑到合成孔径雷达(SAR)提出了几个优点,其对应的数据域,本文调查和评估目前的SAR ATR架构,采用最流行的数据集的SAR域,即运动和静止目标采集和识别(MSTAR)数据集。根据目前的方法趋势,我们提出了一个分类的SAR ATR架构,以及直接比较的优势和劣势,每种方法在标准和扩展的操作条件下。此外,尽管MSTAR是标准的SAR ATR基准数据集,我们也强调了它的弱点,并提出了未来的研究方向。
2020-12-12 cs.CV eess.IV eess.SP
F-ANcGAN: An Attention-Enhanced Cycle Consistent Generative Adversarial Architecture for Synthetic Image Generation of Nanoparticles
National Institute of Technology Durgapur(国家理工学院杜尔加帕尔);Indian Institute of Technology Kharagpur(印度理工学院Khargapur)
针对纳米颗粒分析中标注数据稀缺的问题,提出注意力增强循环一致生成对抗网络F-ANcGAN,从分割图生成高保真SEM图像,显著降低FID分数,提升下游分割训练效果。
2025-05-23 cond-mat.mtrl-sci cs.CV cs.LG