OmniMotionGPT: Animal Motion Generation with Limited Data
Arizona State University(亚利桑那州立大学);OPPO Seattle Research Center(OPPO西雅图研究中心);University of Washington(华盛顿大学);Westlake University(西湖大学)
本文提出OmniMotionGPT,通过模仿GPT架构并利用人类动作先验知识,在有限数据下实现文本驱动的多样化动物动作生成,并构建了首个包含1240个序列、36种动物的AnimalML3D数据集。
2023-11-30 cs.CV
Zoom, Enhance! Measuring Surveillance GAN Up-sampling
Stanford University(斯坦福大学)
深度神经网络已经非常成功地用于许多计算机视觉和模式识别应用。虽然卷积神经网络(CNN)已经展示了通往最先进的图像分类的道路,但生成对抗网络或GANs已经提供了图像生成的最先进能力。在本文中,我们将CNN和GANs的应用扩展到安全和监控领域的上采样技术实验。通过这项工作,我们评估,比较和对比的最先进的技术,在CNN和GAN为基础的图像和视频上采样在监控领域。作为这项研究的结果,我们还提供了实验证据,建立DISTS作为一个更强的图像质量评估(IQA)的度量比较GAN基于图像上采样在监控领域。
2021-08-20 cs.CV eess.IV
YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对现有文本到3D动物生成方法创意受限、解剖一致性差的问题,提出YouDream方法,结合3D姿态先验引导扩散模型,并设计多智能体LLM自动适配姿态,可生成解剖可控、一致性高的3D动物,效果优于现有方法。
2024-06-24 cs.CV
ZoomLDM: Latent Diffusion Model for multi-scale image generation
Stony Brook University(石溪大学)
针对大型图像生成中现有补丁模型无法捕捉全局结构的问题,提出多尺度潜在扩散模型ZoomLDM,利用自监督嵌入的放大感知条件机制,实现跨尺度高质量生成,支持4096×4096像素图像和4倍超分辨率。
2025-03-24 cs.CV
A Step towards Automated and Generalizable Tactile Map Generation using Generative Adversarial Networks
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文构建覆盖6500个地点的触觉地图数据集,并训练 GAN 从 Google Maps 街景中识别、清理和修复地图要素,实现跨比例尺与地区的自动化触觉地图生成。
2024-12-10 cs.CV
Generative Powers of Ten
University of Washington(华盛顿大学);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
提出一种基于文本到图像模型的多尺度扩散采样方法,实现跨尺度一致内容生成,支持极端语义缩放,优于传统超分辨率与外扩技术。
2024-05-22 cs.AI cs.CL cs.CV
Topology-Agnostic Animal Motion Generation from Text Prompt
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出OmniZoo数据集和通用自回归框架,实现基于文本提示的任意拓扑动物运动生成及跨物种风格迁移。
2025-12-11 cs.CV
Behave Your Motion: Habit-preserved Cross-category Animal Motion Transfer
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);Wuhan University(武汉大学)
针对跨类别动物动作迁移中忽略行为习惯的问题,提出保留习惯的动作迁移框架,结合类别特定习惯编码器与LLM,并在DeformingThings4D-skl数据集上验证了优越性。
2025-07-10 cs.AI cs.CV
Meerkat Behaviour Recognition Dataset
NAOInstitute, The University of Auckland(奥克兰大学NAO研究所);Wellington Zoo(惠灵顿动物园)
该研究提出一个大型猫鼬行为识别视频数据集,涵盖群体社交互动、个体追踪及多样光照条件,含848,400个标注帧,用于动物园环境下的动物行为自动识别。
2023-06-20 cs.CV
Controlling generative models with continuous factors of variations
CEA, LIST(法国原子能和替代能源委员会列表实验室);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的深度生成模型能够提供照片般逼真的图像以及视觉或文本内容嵌入,可用于解决计算机视觉和自然语言处理的各种任务。然而,由于对生成过程缺乏控制或对习得表征的理解不足,它们的有用性往往受到限制。为了克服这些主要问题,最近的工作已经显示出研究生成模型的潜在空间的语义的兴趣。在本文中,我们建议通过引入一种新的方法来提高生成模型的潜在空间的可解释性,以在任何生成模型的潜在空间中找到有意义的方向,我们可以沿着该方向移动以精确控制生成图像的特定属性,如图像中对象的位置或比例。我们的方法不需要人的注释,特别适合于搜索编码生成的图像的简单变换,如平移,缩放或颜色变化的方向。我们定性和定量地证明了我们的方法对于GANs和变分自动编码器的有效性。
2020-01-28 cs.CV cs.LG eess.IV
Generative Adversarial Networks for Astronomical Images Generation
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
太空探索一直是人类灵感的源泉,多亏了现代望远镜,现在可以观察离我们很远的天体。随着网络上越来越多的真实和虚构的空间图像,并利用现代深度学习架构,如生成对抗网络,现在可以生成新的空间表示。在这项研究中,使用轻量级GAN,一个从网络上获得的图像数据集,以及银河动物园数据集,我们已经生成了数千个天体,星系的新图像,最后,通过组合它们,宇宙的广阔视野。复制我们结果的代码可以在https://github.com/davide-coccomini/GAN-Universe上公开获取,生成的图像可以在https://davide-coccomini.github.io/GAN-Universe/上浏览。
2021-11-22 cs.CV eess.IV
DC-Art-GAN: Stable Procedural Content Generation using DC-GANs for Digital Art
艺术是一种使用数字技术作为生成或创造过程的一部分的艺术方法。随着数字货币和NFT(不可替代代币)的出现,对数字艺术品的需求正在急剧增长。在这篇手稿中,我们提倡使用深度生成网络和对抗训练来实现稳定和多样化的艺术生成。这项工作主要集中在使用深度卷积生成对抗网络(DC-GAN),并探索解决GAN训练中常见陷阱的技术。我们比较了DC-GAN的各种架构和设计,以获得稳定和现实一代的可选择设计。工作的主要重点是生成现实中不存在的逼真图像,但由所提出的模型从随机噪声合成。我们提供了生成的动物面部图像的视觉结果(一些证据显示了物种的混合),以及培训,架构和设计选择的建议。我们还展示了训练图像预处理如何在GAN训练中发挥巨大作用。
2023-03-13 cs.CV cs.LG
Image to Image Translation : Generating maps from satellite images
Army Institute of Technology(陆军理工学院)
从卫星图像生成地图通常通过一系列工具来完成。地图成为生活的重要组成部分,从卫星图像转换地图可能有点昂贵,但生成模型可以迎合这一挑战。这些模型的目的是找到输入和输出图像之间的模式。图像到图像的转换是用于将卫星图像转换成相应的地图。不同的图像到图像转换技术,如生成对抗网络,条件对抗网络和协变自动编码器,用于为该地区生成相应的人类可读地图,该地图将给定缩放级别的卫星图像作为其输入。我们正在条件生成对抗网络上训练我们的模型,该网络由生成假图像的生成器模型组成,而生成器模型试图将图像分类为真实或虚假,这两个模型以对抗的方式同步训练,两者都试图欺骗对方,从而提高模型性能。
2021-05-19 cs.CV cs.LG eess.IV
Data Augmentation using Generative Adversarial Networks (GANs) for GAN-based Detection of Pneumonia and COVID-19 in Chest X-ray Images
Institute of Medical Science, University of Toronto(多伦多大学医学科学研究所);The Hospital for Sick Children(病童医院);University Health Network(大学健康网络);Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系)
成功训练卷积神经网络(CNN)需要大量的数据。对于小数据集,网络的泛化能力很差。数据增强技术通过更有效地使用现有的训练数据来提高神经网络的泛化能力。然而,标准的数据增强方法产生有限的合理替代数据。生成对抗网络(GANs)已被用于生成新数据并提高CNN的性能。然而,与CNN相比,用于训练GANs的数据增强技术尚未得到充分探索。在这项工作中,我们提出了一种新的GAN架构,用于增强胸部X射线,以使用生成模型进行肺炎和COVID-19的半监督检测。我们表明,所提出的GAN可用于有效地增强数据,并提高肺炎和COVID-19胸部X射线中疾病的分类准确性。我们在两个不同的X射线数据集上将我们的增强GAN模型与深度卷积GAN和传统增强方法(旋转,缩放等)进行比较,并显示我们基于GAN的增强方法优于其他增强方法,用于训练GAN检测X射线图像中的异常。
2021-01-12 cs.CV cs.LG eess.IV
GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
随着几个行业正在朝着建模大规模3D虚拟世界的方向发展,对可以在3D内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中,我们的目标是训练高性能的3D生成模型,合成纹理网格,可以直接消费的3D渲染引擎,从而立即在下游应用程序中使用。先前的3D生成建模工作要么缺乏几何细节,要么局限于它们可以产生的网格拓扑,通常不支持纹理,要么在合成过程中利用神经渲染器,这使得它们在常见的3D软件中的使用不平凡。在这项工作中,我们介绍了GET3D,一个生成模型,直接生成显式纹理的3D网格与复杂的拓扑结构,丰富的几何细节,和高保真的纹理。我们将最近在可微表面建模、可微渲染以及2D生成对抗网络方面的成功联系起来,从2D图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格,从汽车,椅子,动物,摩托车和人类角色到建筑物,与以前的方法相比取得了显着的改进。
2022-09-22 cs.CV
Album cover art image generation with Generative Adversarial Networks
生成对抗网络(GANs)是由Goodfellow在2014年提出的,从那时起,它已经成为构建生成式人工智能模型的热门方法。然而,这样的网络的缺点是很多的,像它们的较长的训练时间,它们对超参数调整的敏感性,几种类型的损失和优化函数以及其他困难,如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而,我想通过使用现有的模型并从中学习,更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识,并致力于GANs的特定方面,以及对现有模型的实验和修改,从最不复杂到最复杂。我们的目的是看看最先进的GANs(特别是StyleGAN 2)是否可以生成专辑封面,以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的,包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型,然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights
University of St.Gallen(圣加仑大学);Samsung - SAIT AI Lab(三星SAIT人工智能实验室);Institut de Robòtica i Informàtica Industrial(工业机器人与信息技术研究所);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
给定模型动物园的神经网络权重的学习表示是一个新兴且具有挑战性的领域,具有从模型检查到神经架构搜索或知识蒸馏的许多潜在应用。最近,一个在动物园模型上训练的自动编码器能够学习一个超表示,它捕获了动物园中模型的内在和外在属性。在这项工作中,我们扩展了生成使用的超表示来采样新的模型权重。我们提出了逐层损失归一化,我们证明这是关键,以产生高性能的模型和几个采样方法的基础上的拓扑结构的超表示。使用我们的方法生成的模型是多样的,性能良好,能够在几个下游任务中评估优于强基线:初始化,集成采样和迁移学习。我们的研究结果表明,通过超表示从模型动物园到新模型的知识聚合的潜力,从而为新的研究方向铺平了道路。
2022-09-29 cs.CV cs.LG
Generation and Editing of Mandrill Faces: Application to Sex Editing and Assessment
Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);EPHE(法国高等研究实践学院);IRD(法国发展研究院);LIRMM(蒙彼利埃信息、机器人、微电子实验室)
本文提出基于GAN生成山魈面部图像并利用潜在空间性别轴进行性别编辑,同时开发统计特征评估方法,实验证明结果逼真准确,服务于野生山魈行为研究。
2024-09-19 cs.CV cs.LG
A U-Net Based Discriminator for Generative Adversarial Networks
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
生成对抗网络(GANs)面临的主要挑战之一是合成全局和局部相干图像的能力,这些图像具有与真实图像无法区分的对象形状和纹理。针对这个问题,我们提出了一个替代的U-Net的基础架构,借用的见解,从细分文献。所提出的基于U-Net的架构允许向生成器提供详细的每像素反馈,同时通过提供全局图像反馈来保持合成图像的全局一致性。通过增强的每像素响应的图像,我们进一步提出了一个基于CutMix数据增强的每像素一致性正则化技术,鼓励U-Net图像更加专注于真实和虚假图像之间的语义和结构变化。这改进了U-Net的训练,进一步提高了生成样本的质量。该新方法在标准分布和图像质量指标方面改进了现有技术,使生成器能够合成具有不同结构、外观和细节层次的图像,保持全局和局部真实感。与BigGAN基线相比,我们在FFHQ、CelebA和新引入的COCO-Animals数据集上平均提高了2.7个FID点。该代码可在https://github.com/boschresearch/unetgan上获得。
2021-03-19 cs.CV cs.LG eess.IV
Compositional Image Decomposition with Diffusion Models
MIT(麻省理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);TU Delft(代尔夫特理工大学)
本文提出无监督方法 Decomp Diffusion,将单张图像分解为多个由扩散模型表示的组件,并能灵活重组不同来源的组件以生成训练中未见过的全新场景。
2024-06-27 cs.CV cs.LG
ARAPDiffusion: Geometry-Distribution Feedback for Deformable 3D Shape Generation
University of Texas at Austin(德克萨斯大学);Westlake University(西拉丘学院)
提出ARAPDiffusion,一种潜在扩散模型,通过注入ARAP变形模型作为正则化损失,学习变形形状集合的连续形状空间,减少对大量3D训练数据的依赖。
2026-09-29 cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili(莫哈格·阿尔达比勒大学)
细粒度分类仍然是一项具有挑战性的任务,因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能,但它们需要大量的输入数据。为了解决这个问题,我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成,在规模,姿势和照明方面存在差异,这加剧了分类任务的难度。此外,我们增强了最近的生成对抗网络(GAN)StyleGAN 2-ADA模型的性能,以生成更逼真的图像,同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志,然后相应地裁剪图像。最后,我们将合成图像与原始数据集相结合,并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer(ViT)模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
Reconstruct or Generate: Exploring the Spectrum of Generative Modeling for Cardiac MRI
School of Computation, Information and Technology(计算信息学院);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);School of Medicine, Klinikum Rechts der Isar(医学院,莱茵河右岸医院);Department of Quantitative Biomedicine(定量生物医学系);University of Zurich(苏黎世大学);Department of Computing(计算系);Imperial College London(伦敦帝国理工学院)
本文构建生成模型库,系统比较潜扩散模型与自回归模型在心脏MRI修复和无条件生成任务中的表现,揭示二者在感知质量、稳定性与保真度上的权衡。
2025-07-25 cs.CV eess.IV
Generative inpainting of incomplete Euclidean distance matrices of trajectories generated by a fractional Brownian motion
Skolkovo Institute of Science and Technology(斯克尔科夫科学与技术研究所);Laboratory of Complex Networks, Center for Neurophysics and Neuromorphic Technologies(复杂网络实验室,神经物理学与神经形态技术中心)
研究考察了基于扩散的图像修复方法在分数布朗运动不完整欧氏距离矩阵上的表现,发现条件扩散生成能再现不同记忆机制下的内置相关性,并在高缺失率下提供稳健的统计填补,且泛化而非记忆训练数据,在染色体片段距离矩阵填补中优于标准生物信息学方法。
2024-10-14 cs.CV
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统,结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡,并通过Flask部署实现实时诊断,在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
Extracting Semantic Knowledge from GANs with Unsupervised Learning
Panzhihua University(攀枝花学院);Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究中心(CIBR))
最近,无监督学习在各种任务上取得了令人印象深刻的进展。尽管判别模型占主导地位,但越来越多的注意力被吸引到生成模型,特别是生成对抗网络(GANs)学习的表示上。先前关于GANs解释的工作表明,GANs以线性可分离的形式在特征图中编码语义。在这项工作中,我们进一步发现,GAN的功能,可以很好地聚类与线性可分性假设。我们提出了一种新的聚类算法,命名为KLiSH,它利用线性可分性聚类GAN的功能。KLiSH成功地提取了在各种对象的数据集上训练的GANs的细粒度语义,例如,汽车、肖像、动物等。使用KLiSH,我们可以从GANs中采样图像及其分割掩码,并合成成对的图像分割数据集。使用合成的数据集,我们启用两个下游应用程序。首先,我们在这些数据集上训练语义分割网络,并在真实图像上进行测试,实现无监督的语义分割。其次,我们在合成的数据集上训练图像到图像的翻译网络,从而实现无人工注释的语义条件图像合成。
2022-11-30 cs.AI cs.CV cs.LG
Learning Common and Salient Generative Factors Between Two Image Datasets
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎理工学院)
本文提出了一种新的对比分析框架,用于学习两个图像数据集之间的共同和显著生成因素,适用于GAN和扩散模型,提升了生成质量与分离能力。
2025-12-14 cs.CV
Generative Adversarial Networks for Image Augmentation in Agriculture: A Systematic Review
Mississippi State University(密西西比州立大学);Michigan State University(密歇根州立大学);United States Department of Agriculture, Agricultural Research Service(美国农业部农业研究局)
在农业图像分析中,为了更好地完成视觉识别任务(例如,图像分类、分割、目标检测和定位)。然而,大规模、平衡和地面真实的图像数据集往往难以获得,难以推动先进、高性能模型的开发。由于深度学习的人工智能正在影响农业图像的分析和建模,因此数据增强在提高模型性能方面发挥着至关重要的作用,同时通过算法扩展训练数据集来减少数据准备的手动工作。除了传统的数据增强技术,生成对抗网络(GAN)于2014年在计算机视觉社区发明,提供了一套新的方法,可以学习良好的数据表示并生成高度真实的样本。自2017年以来,对用于农业图像增强或合成的GANs的研究有所增长,以提高模型性能。本文概述了GAN架构的演变,然后对其在农业中的应用进行了系统的回顾(https://github.com/Derekabc/GANs-Agriculture),涉及植物健康,杂草,水果,水产养殖,动物养殖,植物表型以及水果缺陷的采后检测的各种视觉任务。讨论了GANs的挑战和机遇,为未来的研究。
2022-04-12 cs.CV eess.IV
GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models
University of Trento(特伦托大学);Georgia Tech(佐治亚理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);Picsart AI Research (PAIR)(Picsart人工智能研究院)
提出开放集合偏见检测框架OpenBias与GradBias,利用LLM和VQA识别、量化并解释T2I模型中的偏见,揭示单个提示词对偏见的贡献,优于多个基线模型。
2024-08-29 cs.CV
When Generative Augmentation Hurts: A Benchmark Study of GAN and Diffusion Models for Bias Correction in AI Classification Systems
College of Engineering, Northeastern University(东北大学工程学院)
本文通过对比三种增强策略,发现生成增强在低数据条件下会增加分类器偏见,Stable Diffusion结合LoRA表现最佳,揭示了GAN增强在特定样本量下的有害性。
2026-03-17 cs.AI cs.CV cs.LG
INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts
Indian Institute of Technology, Madras, Tamil Nadu, India(印度理工学院Madras分校,泰米尔纳德州,印度)
INSIGHT提出了一种可解释的神经视觉-语言框架,通过多尺度定位、语义对齐和结构化提示协议,实现对生成性艺术作品的鲁棒检测与透明解释。
2025-11-27 cs.CV
Exploring the Feasibility of Generating Realistic 3D Models of Endangered Species Using DreamGaussian: An Analysis of Elevation Angle's Impact on Model Generation
Huawei Türkiye R&D Center(华为土耳其研发中心)
本研究针对濒危物种数据稀缺的问题,采用零样本稳定扩散模型框架DreamGaussian,探究仰角对单图生成濒危物种逼真3D模型效果的影响,验证了正确仰角可显著提升生成质量,为AI助力濒危物种保护提供参考。
2023-12-15 cs.CV
Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning
University of Wyoming(怀俄明大学);Auburn University(奥本大学);Harvard University(哈佛大学);University of Oxford(牛津大学);University of Minnesota(明尼苏达大学);Uber AI Labs(优步人工智能实验室)
拥有关于野生动物的位置和行为的准确,详细和最新的信息将彻底改变我们研究和保护生态系统的能力。我们研究自动、准确和廉价地收集这些数据的能力,这些数据可以将生物学、生态学和动物学的许多领域转变为“大数据”科学。运动传感器“相机陷阱”使收集野生动物图片便宜,不显眼,经常。然而,从这些图片中提取信息仍然是一项昂贵、耗时的手动任务。我们证明了这些信息可以通过深度学习自动提取,深度学习是人工智能的一种前沿类型。我们训练深度卷积神经网络,以识别、计数和描述320万张快照塞伦盖蒂数据集中48种物种的行为。我们的深度神经网络自动识别动物的准确率超过93.8%,我们预计这一数字将在未来几年迅速提高。更重要的是,如果我们的系统只对它有信心的图像进行分类,我们的系统可以自动识别99.3%的数据,同时仍然与人类志愿者的众包团队保持96.6%的准确率,节省超过8.4年的时间(每周40小时)的人工标记工作(即超过17,000小时)在这个320万图像数据集上。这些效率的提高立即凸显了使用深度神经网络从相机陷阱图像中自动提取数据的重要性。我们的研究结果表明,这项技术可以实现廉价,不引人注目,高容量,甚至实时收集大量野生动物的丰富信息。
2017-11-15 cs.CV cs.LG
Cluster-guided Image Synthesis with Unconditional Models
Imperial College London(伦敦帝国学院);Queen Mary University of London(伦敦玛丽女王大学);EPFL(洛桑联邦理工学院);University of Athens(雅典大学)
生成对抗网络(GANs)是图像生成技术的驱动力。尽管它们能够合成高分辨率的照片级逼真图像,但生成具有不同粒度的按需调节的内容仍然是一个挑战。这一挑战通常通过用感兴趣的属性注释大量数据集来解决,这是一项艰巨的任务,并不总是可行的选择。因此,在无监督生成模型的生成过程中引入控制是至关重要的。在这项工作中,我们专注于通过利用以无监督方式训练有素的GANs来生成可控图像。为此,我们发现生成器的中间层的表示空间形成了许多聚类,这些聚类根据语义上有意义的属性(例如,头发颜色和姿势)。通过对聚类分配的条件,所提出的方法是能够控制生成的图像的语义类。我们的方法使采样从每个集群的隐式最大似然估计(IMLE)。我们使用不同的预训练生成模型展示了我们的方法在人脸(CelebA-HQ和FFHQ),动物(Imagenet)和物体(LSUN)上的功效。结果突出了我们的方法能够根据面部的性别,姿势和发型等属性以及不同对象类的各种特征来调节图像生成。
2021-12-24 cs.CV
Generating Multi-scale Maps from Remote Sensing Images via Series Generative Adversarial Networks
Wuhan University(武汉大学);Central South University(中南大学)
考虑到生成对抗网络(GANs)在图像到图像翻译方面的成功,研究人员试图通过GAN将遥感图像(RSIs)转换为地图(rs 2 map)用于制图。然而,这些研究涉及有限的比例尺,这阻碍了多比例尺地图的创建。通过扩展他们的方法,多尺度RSIs可以通过针对特定尺度训练的尺度rs 2 map模型(并行策略)来简单地转换为多尺度地图(多尺度rs 2 map转换)。然而,这一战略有两个理论上的局限性。首先,不同的空间分辨率之间的不一致性的多尺度遥感影像和多尺度地图上的对象概括(RS-m不一致性)越来越复杂的提取地理信息的遥感图像的rs 2 map模型与规模减小。其次,由于rs 2 map转换是跨域的,生成器将RSI像素分布转换为地图上的像素分布会产生很高的计算成本。因此,我们设计了一系列多尺度rs 2 map翻译的生成器策略来解决这些限制。该策略将高分辨率遥感影像输入到rs 2 map模型中,输出大比例尺地图,再通过一系列多比例尺地图转换模型转换为多比例尺地图。串联策略避免了输入为高分辨率大尺度遥感影像时的RS-m不一致性,并通过多尺度地图之间相似的像素分布来减少多尺度地图生成中的分布差距。我们的实验结果表明,更好的质量多尺度地图生成的系列策略,如所示的平均增长11.69%,53.78%,55.42%,和72.34%的结构相似性指数,边缘结构相似性指数,路口工会(道路),和路口工会(水)的数据从…
2021-03-31 cs.CV eess.IV
Why Cross-Skeleton Retargeting Is Non-Identifiable: Structural Limits of Generative Motion Models
Aalto University(阿尔托大学)
本文揭示跨骨骼运动重定向在标准生成目标下不可识别,提出源实例保真度(SIF)诊断,证明现有方法常忽略源信息,需新目标与评估。
2026-09-30 cs.CV cs.RO
Polymorphic-GAN: Generating Aligned Samples across Multiple Domains with Learned Morph Maps
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);MIT(麻省理工学院)
现代图像生成模型在单个域或一类对象上训练时显示出显着的样本质量。在这项工作中,我们引入了一个生成对抗网络,可以同时生成对齐的图像样本从多个相关的域。我们利用这样一个事实,即各种对象类共享共同的属性,具有一定的几何差异。我们提出了多态GAN,它可以学习所有域的共享特征,并根据每个域的变形层来变形共享特征。与以前的作品相比,我们的框架允许同时建模具有高度变化的几何形状的图像,例如人脸图像,绘画和艺术面孔,以及多个不同的动物面孔。我们证明了我们的模型可以为所有领域生成对齐的样本,并展示了它如何用于分割传输和跨域图像编辑等应用,以及低数据状态下的训练。此外,我们将我们的多态GAN应用于图像到图像的翻译任务,并表明在域之间的几何差异很大的情况下,我们可以大大超过以前的方法。
2022-06-06 cs.CV
Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarbrücken Research Center for Visual Computing, Interaction and AI(萨尔布吕肯视觉计算、交互与人工智能研究中心);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Pennsylvania(宾夕法尼亚大学);Google AR/VR(谷歌增强现实/虚拟现实部门)
提出DragGAN,通过基于特征的运动监督和点跟踪,在生成图像流形上实现交互式拖动点来精确控制图像姿态、形状、表情和布局,优于现有方法。
2024-07-17 cs.CV cs.GR
Understanding Generative AI Capabilities in Everyday Image Editing Tasks
University of Alberta(阿尔伯塔大学);Auburn University(奥本大学);Adobe Research(Adobe 研究院)
本文通过分析Reddit上83k个真实图像编辑请求,评估了生成式AI(如GPT-4o)的能力,发现仅约33%的请求可被最佳AI编辑器完成,且AI在低创造性精确编辑任务上表现更差,常难以保持身份特征。
2025-05-26 cs.AI cs.CV
Exploiting Depth Information for Wildlife Monitoring
University of Bonn(波恩大学)
相机陷阱是生物学,特别是生物多样性研究中的一种行之有效的工具。然而,包括深度估计的相机陷阱并没有被广泛部署,尽管提供了关于场景的有价值的上下文,并促进了先前费力的手动生态方法的自动化。在这项研究中,我们提出了一个自动相机陷阱为基础的方法来检测和识别动物使用深度估计。为了检测和识别单个动物,我们提出了一种新方法D-Mask R-CNN,用于所谓的实例分割,这是一种基于深度学习的技术,用于检测和描绘图像或视频剪辑中出现的每个不同的感兴趣对象。实验评估示出了与仅依赖于图像信息的标准方法相比,附加的深度估计在动物检测的改进的平均精度分数方面的益处。这种新的方法也进行了评估,在动物园的情况下,使用RGB-D相机陷阱的概念验证。
2021-02-10 cs.CV
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning
Jadavpur University(贾达普大学)
动物姿态估计由于其在生物学、动物学和水产养殖业中的应用而受到关注。深度学习方法已经有效地应用于人体姿态估计。然而,这些方法应用于动物姿态估计的主要瓶颈是没有足够数量的标记数据。虽然有大量的未标记的数据公开可用,但为每种动物标记大量数据在经济上是不切实际的。此外,由于动物王国中各种各样的身体形状,跨领域的知识转移是无效的。鉴于人类大脑能够在不需要大量标记数据的情况下识别动物姿势的事实,我们利用无监督学习来解决从可用的未标记数据中识别动物姿势的问题是合理的。在本文中,我们介绍了一种新的架构,能够识别的姿势,多个动物fromunlabeled数据。我们这样做是通过(1)从每个图像中去除背景信息,并采用边缘检测算法的动物的身体,(2)跟踪边缘像素的运动,并执行凝聚聚类分割身体部位,(3)采用对比学习,以阻止遥远的身体部位分组在一起。因此,我们能够区分动物的身体部位,基于它们的视觉行为,而不是潜在的解剖结构。因此,我们能够实现比人类标记的数据更有效的数据分类。我们在TigDog和WLD(WildLife Documentary)数据集上测试了我们的模型,在这些数据集上,我们的表现明显优于最先进的方法。我们还研究了我们的模型在其他公共数据上的性能,以证明我们的模型的泛化能力。
2021-11-16 cs.AI cs.CV
Ponymation: Learning Articulated 3D Animal Motions from Unlabeled Online Videos
CUHK MMLab(香港中文大学多媒体实验室);Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校)
Ponymation提出一种无需姿态标注的视频照片几何自编码框架,从无标注网络视频中学习铰接式3D动物运动生成模型,实现单图秒级生成4D动画。
2024-07-31 cs.CV
Automated Distance Estimation for Wildlife Camera Trapping
University of Bonn(波恩大学)
持续的生物多样性危机要求准确估计动物密度和丰度,以确定生物多样性下降的根源和保护干预措施的有效性。为此目的,经常采用相机陷阱和丰度估计方法。传统上,摄像机和被观察动物之间的必要距离是在费力的、全手动或半自动的过程中得出的。这两种方法都需要参考图像材料,这既难以获取,也不适用于现有的数据集。我们提出了一种全自动的方法,我们称之为自动距离估计(AUDIT)来估计相机到动物的距离。我们利用现有的国家的最先进的相对单目深度估计,并将其与一个新的对齐过程来估计度量距离。AUDIT是完全自动化的,既不需要将相机陷阱图像中的观察结果与参考图像进行比较,也不需要捕获参考图像材料。因此,AUDIT减轻了生物学家和生态学家的大量工作量。我们在训练过程中看不到的动物园场景数据集上评估AUDIT,其中我们在所有动物实例上实现的平均绝对距离估计误差仅为0.9864米,平均相对误差(REL)为0.113。代码和使用说明可在https://github.com/PJ-cs/DistanceEstimationTracking上获得
2022-05-11 cs.AI cs.CV
DiffPose-Animal: A Language-Conditioned Diffusion Framework for Animal Pose Estimation
Guanghua Cambridge International School Shanghai(广华剑桥国际学校上海);Shanghai World Foreign Language Academy, WFLA(上海世界外语学院,WFLA);School of Automotive Studies Tongji University(同济大学汽车学院)
DiffPose-Animal提出了一种基于语言条件的扩散框架,通过结合大型语言模型和交叉注意力模块,提升动物姿态估计的鲁棒性和泛化能力。
2025-12-14 cs.CV
Progressive Pose-Guided 4D Animal Reconstruction from Monocular Video
University of Alberta(阿尔伯塔大学);Concordia University(康科迪亚大学)
提出一种基于3D高斯溅射的渐进式测试时优化框架,通过解耦关节姿态与非刚性变形,实现从单目视频高保真重建4D动物,在多种物种上优于现有方法。
2026-07-02 cs.CV
ORMA: Optimization-based Monocular 4D Reconstruction of Articulated Animals
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);IMATI-CNR(意大利国家研究委员会数学与应用技术研究所)
ORMA提出一种无需训练的单目4D重建框架,解耦关节与形状,利用生成式3D先验和SMAL+模型,结合DINO对应与时序一致性,在PAW4D等基准上提升重建精度与运动一致性。
2026-09-30 cs.CV
From fat droplets to floating forests: cross-domain transfer learning using a PatchGAN-based segmentation model
University of Minnesota(明尼苏达大学);University of Minnesota Informatics Institute(明尼苏达大学信息学研究所);University of Massachusetts Boston(马萨诸塞大学波士顿分校);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
许多科学领域通过Zooniverse.org公民科学平台提供的人在回路技术收集足够的标签来训练机器算法。随着项目范围、任务类型和数据率的增加,加速模型培训是最重要的关切,以便将志愿人员的努力集中在最需要的地方。在Zooniverse项目之间应用迁移学习(TL)有望成为一种解决方案。然而,理解TL方法的有效性,即在大规模通用图像集上进行预训练,而不是在可能来自类似任务的具有类似特征的图像上进行预训练,这是一个开放的挑战。我们在两个基于Zooniverse项目的数据集上应用生成分割模型:(1)识别肝细胞中的脂肪滴(脂肪滴; FC)和(2)通过第一个项目的迁移学习识别卫星图像中的海带床(漂浮森林; FF)。我们比较和对比它的性能与TL模型的基础上的COCO图像集,随后与基线同行。我们发现,当使用>75%的原始训练样本量时,FC和COCO TL模型的性能都优于基线情况。基于COCO的TL模型通常比基于FC的TL模型表现得更好,这可能是由于其广义特征。我们的调查为TL方法在不同Zooniverse项目中托管的多域数据上的使用提供了重要见解,使未来的项目能够加速任务完成。
2022-11-08 cs.CV cs.LG
Visual Retrieval-Augmented Generation for Silhouette-Guided Animal Art
University of Science, VNU-HCM(胡志明市国立大学理科大学);Vietnam National University, Ho Chi Minh(胡志明市国立大学)
提出视觉检索增强生成(Visual-RAG)框架,通过检索与自然轮廓结构相似的动物形状,结合ControlNet和IP-Adapter引导扩散模型生成动物艺术,实现计算空想性视错觉。
2026-06-17 cs.CV
Content-Based Search for Deep Generative Models
Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学)
本文提出基于内容的深度生成模型搜索任务,通过优化模型生成相似内容的概率,并利用对比学习框架适应图像、草图和文本等多模态查询,在新建的 Generative Model Zoo 基准上取得了优于基线的检索效果。
2023-10-24 cs.CV cs.GR cs.IR
Translational Lung Imaging Analysis Through Disentangled Representations
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
新疗法的开发通常需要使用转化动物模型的临床试验,使用(临床前)成像来表征种间病理过程。深度学习(DL)模型通常用于自动从图像中检索相关信息。然而,它们通常具有低的可生成性和可解释性,这是其纠缠设计的产物,导致每个动物模型都有特定的DL模型。因此,不可能利用DL的高容量来从物种间图像中发现统计关系。为了缓解这个问题,在这项工作中,我们提出了一个模型,能够从不同的动物模型和生成图像的机制的图像中提取解开的信息。我们的方法位于深度生成模型,解纠缠和因果表征学习之间的交叉点。它是从结核病感染的病理肺的图像优化,并能够:a)根据输入切片,推断其在体积中的位置、其所属的动物模型、存在的损伤,并且更进一步,生成覆盖整个肺的掩模(与nnU-Net类似的重叠测量),b)通过设置上述变量生成真实的肺部图像,以及c)生成反事实图像,即,受损输入片的健康版本。
2022-03-03 cs.CV eess.IV
VQ3D: Learning a 3D-Aware Generative Model on ImageNet
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
最近的工作表明,可以在对应于单个对象类(如人脸、动物脸或汽车)的小数据集上从2D图像集合中训练3D内容的生成模型。然而,这些模型在更大,更复杂的数据集上挣扎。为了对ImageNet等多样化和无约束的图像集合进行建模,我们提出了VQ3D,它将基于NeRF的解码器引入到两级矢量量化自动编码器中。我们的第一阶段允许重建输入图像,并能够改变图像周围的相机位置,我们的第二阶段允许生成新的3D场景。VQ3D能够从120万张训练图像的1000类ImageNet数据集生成和重建3D感知图像。我们实现了16.8的ImageNet生成FID得分,而下一个最佳基线方法为69.8。
2023-02-14 cs.CV
Generative Models as a Data Source for Multiview Representation Learning
Massachusetts Institute of Technology(麻省理工学院)
生成模型现在能够生成高度逼真的图像,这些图像看起来几乎无法与它们所训练的数据区分开来。这就提出了一个问题:如果我们有足够好的生成模型,我们还需要数据集吗?我们研究这个问题的设置学习通用的视觉表示从黑盒生成模型,而不是直接从数据。给定一个现成的图像生成器,而不能访问其训练数据,我们从该生成器输出的样本中训练表示。我们比较了几个表示学习的方法,可以应用到这种设置,使用潜在的空间生成器生成多个“视图”相同的语义内容。我们表明,对于对比方法,这种多视图数据可以自然地用于识别正对(潜在空间中的附近)和负对(潜在空间中相距较远)。我们发现,由此产生的表示竞争对手,甚至优于那些直接从真实数据中学习,但良好的性能需要注意的采样策略和训练方法。生成模型可以被视为数据集的压缩和组织副本,我们设想未来会有越来越多的“模型动物园”激增,而数据集变得越来越笨拙,缺失或私有。本文提出了几种技术来处理视觉表示学习在这样的未来。代码可以在我们的项目页面https://ali-design.github.io/GenRep/上找到。
2022-03-16 cs.CV
Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization
NVIDIA(英伟达);University of Toronto(多伦多大学);Yale University(耶鲁大学);MIT(麻省理工学院);Vector Institute(向量研究所)
用有限的标记数据训练深度网络,同时实现强大的泛化能力,是减少人类注释工作的关键。这是半监督学习的目标,它利用更广泛可用的未标记数据来补充小的标记数据集。在本文中,我们提出了一个新的框架,歧视像素级的任务,使用生成模型的图像和标签。具体地说,我们学习了一个生成对抗网络,该网络捕获联合图像-标签分布,并使用大量未标记图像(仅添加少量标记图像)进行有效训练。我们在StyleGAN 2之上构建我们的架构,并通过标签合成分支进行增强。测试时的图像标记是通过首先将目标图像通过编码器网络和测试时优化嵌入到联合潜在空间中,然后从推断的嵌入生成标签来实现的。我们评估我们的方法在两个重要的领域:医学图像分割和基于部分的人脸分割。与几个基线相比,我们展示了强大的域内性能,并且是第一个展示极端领域泛化的人,例如在医学成像中从CT转移到MRI,以及从真实面孔的照片转移到绘画,雕塑,甚至卡通和动物面孔。项目页:\url{https://nv-tlabs.github.io/semanticGAN/}
2021-04-12 cs.AI cs.CV cs.LG
PailitaoGR: Latent Think-with-Images for Generative Image Retrieval
Alibaba Group(阿里巴巴集团)
本文提出PailitaoGR方法,通过设计聚焦目标感知与选择性辅助证据利用机制,在生成式图像检索任务中较现有基准平均提升13.8%,验证了方法有效性。
2026-08-28 cs.AI cs.CV cs.IR