GIT: A Generative Image-to-text Transformer for Vision and Language
Microsoft Cloud and AI(微软云与人工智能部门)
在本文中,我们设计和训练一个生成的图像到文本的Transformer,GIT,统一的视觉语言任务,如图像/视频描述和问答。虽然生成模型在预训练和微调之间提供了一致的网络架构,但现有的工作通常包含复杂的结构(单/多模态编码器/解码器),并依赖于外部模块,如对象检测器/标签和光学字符识别(OCR)。在GIT中,我们将架构简化为单一语言建模任务下的一个图像编码器和一个文本解码器。我们还扩展了预训练数据和模型大小,以提高模型性能。没有花里胡哨,我们的GIT在12个具有挑战性的基准上建立了新的艺术状态。例如,我们的模型在TextCaps上首次超过了人类的表现(138.2 vs. CIDEr中的125.5)。此外,我们提出了一种新的方案,基于生成的图像分类和场景文本识别,在标准基准测试中取得了不错的性能。代码在\url{https://github.com/microsoft/GenerativeImage2Text}发布。
2022-12-15 cs.CV
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));The Hong Kong University of Science and Technology(香港科技大学)
基于分数的扩散模型已经引起了广泛的关注,并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进,基于vanilla ViT的骨干网(IU-ViT)的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构,并显示验证的概念验证实验的有效性,一个更强大的编码器生成任务与AsymmetriC编码器解码器(ASCEND)。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知,我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
Learning Inference Models for Computer Vision
Eberhard Karls Universität Tübingen(蒂宾根大学)
计算机视觉可以理解为对图像数据执行推理的能力。计算机视觉技术的突破性进展往往以推理技术的进步为标志。本论文提出了新颖的推理方案,并展示了在计算机视觉中的应用。我们提出了生成和判别视觉模型的推理技术。在视觉中使用生成模型往往受到后验推理困难的阻碍。我们提出了改进MCMC采样和消息传递推理的技术。我们的推理策略是学习独立的判别模型,以辅助贝叶斯推理的生成模型。在一系列生成模型上的实验表明,所提出的技术加速了推理过程和/或收敛到更好的解决方案。判别模型设计中的一个主要复杂性是包含先验知识。我们专注于CNN模型,并提出了一个标准的空间卷积双边卷积的推广。我们概括了现有的双边过滤器的使用,然后提出了新的神经网络架构与可学习的双边过滤器,我们称之为“双边神经网络”。实验证明了双边网络在广泛的图像和视频任务和数据集上的使用。总之,我们提出了更好的推理技术,在几个视觉模型,从逆图形自由参数化神经网络。在生成模型中,我们的推理技术减轻了贝叶斯后验推理中的一些关键障碍,为基于模型的机器学习在视觉中的应用铺平了新的道路。在判别式CNN模型中,所提出的滤波器泛化有助于设计新的神经网络架构,该架构可以处理稀疏的高维数据,并提供一种将先验知识纳入CNN的方法。
2017-08-31 cs.CV
VisionDirector: Vision-Language Guided Closed-Loop Refinement for Generative Image Synthesis
The Hong Kong University of Science and Technology(香港理工大学);The Chinese University of Hong Kong(香港中文大学);Huawei Research(华为研究)
VisionDirector通过视觉-语言引导闭环细化方法,提升生成图像合成中多目标任务的完成度和质量。
2026-02-05 cs.CV
Dissecting Bit-Level Scaling Laws in Quantizing Vision Generative Models
Microsoft Research(微软研究院);Beijing Zhongke Research Institue(北京中科研究院)
本研究发现语言式视觉生成模型的量化比特级缩放定律优于扩散式模型,提出TopKLD蒸馏方法平衡隐式与显式知识,提升了两类量化设置下的缩放表现。
2025-01-06 cs.CV
Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks
Fudan University(复旦大学)
文本到图像合成的目标是从特定的文本描述生成具有照片般真实感和语义一致的图像。与相应的图像和文本描述相比,现成的模型合成的图像通常包含有限的组件,这降低了图像质量和文本-视觉一致性。为了解决这个问题,我们提出了一种新的视觉语言匹配策略的文本到图像的合成,命名为VLMGAN*,它引入了双重视觉语言匹配机制,以加强图像质量和语义一致性。双视觉-语言匹配机制考虑了生成图像与相应文本描述之间的文本-视觉匹配,以及合成图像与真实图像之间的视觉-视觉一致性约束。给定一个特定的文本描述,VLMGAN* 首先将其编码为文本特征,然后将其馈送到基于双重视觉语言匹配的生成模型中,以合成照片般逼真和文本语义一致的图像。此外,目前流行的文本到图像合成的评价指标是从简单的图像生成中借鉴来的,主要评价合成图像的真实性和多样性。因此,我们引入了一个名为视觉-语言匹配分数(VLMS)的度量来评估文本到图像的合成性能,它可以同时考虑图像质量和合成图像和描述之间的语义一致性。所提出的双重多层次视觉语言匹配策略可以应用于其他文本到图像的合成方法。我们在两个流行的基线上实现了这个策略,这两个基线分别标记为${\text{VLMGAN}_{+\text{AttnGAN}}}$和${\text{VLMGAN}_{+\text{DFGAN}}}$。在两个广泛使用的数据集上的实验结果表明,该模型与其他最先进的方法相比取得了显着的改…
2022-08-20 cs.CV
Learning by Correction: Efficient Tuning Task for Zero-Shot Generative Vision-Language Reasoning
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出图像条件描述纠错(ICCC)预训练任务,利用语言结构和依存解析器低成本构建纠错数据,在不依赖人工标注的情况下提升视觉-语言模型的零样本推理能力,并在BLIP-2和InstructBLIP上验证了显著效果。
2024-04-01 cs.CV
Generative AI for Vision: A Comprehensive Study of Frameworks and Applications
The University of Chicago(芝加哥大学)
本文综述了生成式AI在视觉领域的框架与应用,基于输入模态对图像生成技术进行结构化分类,探讨了GANs、Stable Diffusion等模型原理及DALL-E等关键框架,并分析了计算成本与数据偏差等挑战。
2025-01-29 cs.CV
UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning
Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Meituan(美团)
本文提出统一多模态模型 UniDiff,联合 ITC、文本条件图像合成与 RSC,在小数据微调中兼顾判别与生成能力并缓解语义崩塌。
2023-06-01 cs.CV
VOSR: A Vision-Only Generative Model for Image Super-Resolution
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出VOSR,一种仅基于视觉的生成模型,通过视觉语义指导提取低分辨率输入的语义丰富特征,并采用恢复导向的指导策略,实现高效且高质量的图像超分辨率。
2026-04-03 cs.CV
Generating Clear Images From Images With Distortions Caused by Adverse Weather Using Generative Adversarial Networks
我们提出了一种方法来改善计算机视觉任务的图像受不利的天气条件,包括附着雨滴造成的失真。克服将计算机视觉应用于受恶劣天气条件影响的图像的挑战对于使用RGB摄像头的自动驾驶汽车至关重要。为此,我们训练了一个适当的生成对抗网络,并证明了它在图像重建和计算机视觉任务的背景下有效地消除了失真的影响。我们发现,物体识别是自动驾驶车辆的一项重要任务,它完全受到粘附雨滴造成的扭曲和遮挡的影响,并且可以通过我们的去雨模型恢复性能。本文所描述的方法可以适用于所有不利的天气条件。
2022-11-01 cs.CV
Generative Editing in the Joint Vision-Language Space for Zero-Shot Composed Image Retrieval
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
Fusion-Diff通过联合视觉-语言空间中的生成编辑策略,实现了高效的零样本复合图像检索,提升了多模态对齐的性能和可解释性。
2025-12-01 cs.CV
Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);COWAROBOT(酷哇机器人);School of Electronic Engineering, University of South China(南华大学电子工程学院)
针对端到端自动驾驶的视觉理解、决策推理与场景泛化难题,提出结合3D视觉语言预训练的生成式规划模型GPVL,在nuScenes数据集上性能优于现有最优方法,具备强泛化性与实时潜力。
2025-01-15 cs.CV
Vision System for AGI: Problems and Directions
SingularityNET Foundation(奇点网基金会);ITMO University(圣彼得堡国立信息技术机械与光学大学);Novamente LLC(Novamente有限责任公司)
为AGI创建视觉系统需要哪些框架和架构?在本文中,我们提出了一个正式的模型,说明AGI内的感知任务。我们展示了判别和生成模型在实现这一任务的有效和一般解决方案中的作用,从而更详细地说明了任务。我们讨论了一些现有的生成和歧视的模型,并证明他们的不足之处,我们的目的。最后,我们讨论了一些建筑的困境和开放的问题。
2018-07-10 cs.CV
Diff-ICMH: Harmonizing Machine and Human Vision in Image Compression with Generative Prior
University of Science and Technology of China(中国科学技术大学);Eastern Institute of Technology, Ningbo(宁波工程技术院)
Diff-ICMH通过融合机器与人类视觉,提出了一种生成图像压缩框架,利用生成先验和语义一致性损失提升压缩质量,同时支持多种智能任务。
2025-11-27 cs.CV
OneVision: An End-to-End Generative Framework for Multi-view E-commerce Vision Search
Kuaishou Technology Beijing China(快手科技北京中国)
OneVision提出一种端到端生成框架,通过多阶段语义对齐和动态剪枝提升电商视觉搜索的效率与转化率。
2026-01-08 cs.CV
EVLF: Early Vision-Language Fusion for Generative Dataset Distillation
University of Toyama(东福冈大学);Hokkaido University(北海道大学);University of Fukui(福井大学)
EVLF通过早期视觉-语言融合提升生成数据集蒸馏的语义准确性和视觉一致性。
2026-03-08 cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
Vision-centric generative AI models: A software-hardware perspective
The University of Edinburgh(爱丁堡大学)
本文从软硬件视角指出视觉生成式AI发展中硬件被动适配模型的问题,提出软硬件协同设计方法,以实现生成式AI在边缘等多平台的可持续部署。
2026-08-28 cs.AR cs.CV
Deep Generative Models Unveil Patterns in Medical Images Through Vision-Language Conditioning
Imperial College London(帝国理工学院);Imperial-X(帝国理工-X);Bioengineering Department(生物工程系)
本文提出将临床数据转为文本并结合分割掩码的混合条件生成方法,通过文本-视觉嵌入机制强化条件,使深度生成模型能够揭示并可视化吸烟状况等属性对医学图像模式的影响。
2024-10-17 cs.CV
Assessing the Geolocation Capabilities, Limitations and Societal Risks of Generative Vision-Language Models
本文系统评估了25个生成式视觉-语言模型在四个基准数据集上的地理定位能力,发现其对社交媒体风格图像准确率达61%,揭示了当前模型的推理机制、局限性与紧迫的隐私风险。
2025-08-27 cs.CV
Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院);Nanyang Technological University, Singapore(新加坡南洋理工大学);Nanjing University(南京大学)
针对大型视觉-语言模型在开放世界部署中因缺乏负面知识而将未知异常高置信度误分类为已知类别的“语义傲慢”问题,提出受生物免疫负选择启发的Immuno-VLM框架,利用大语言模型的生成推理主动产生“语义抗体”(近分布异常文本描述)来约束已知类决策空间,在ImageNet-1K和四个OOD基准上达到新最优。
2026-05-29 cs.CV
Learning Visual Grounding from Generative Vision and Language Model
Brown University(布朗大学);Google DeepMind(谷歌DeepMind);Google Cloud(谷歌云)
本研究利用生成式视觉语言模型通过提示生成目标级描述,结合属性与空间关系建模,构建大规模视觉定位数据集,并在RefCOCO基准上零样本迁移取得显著优于现有方法的性能。
2024-07-18 cs.CV
Towards Coding for Human and Machine Vision: A Scalable Image Coding Approach
Peking University(北京大学)
在过去的几十年里,大数据时代的图像和视频编码技术得到了快速发展。然而,信号一致性驱动的编码流水线设计限制了现有图像/视频编码框架满足机器和人类视觉需求的能力。在本文中,我们提出了一种新的图像编码框架,利用压缩和生成模型,以支持机器视觉和人类感知任务联合。给定一幅输入图像,首先应用特征分析,然后采用生成模型来执行具有特征和附加参考像素的图像重建,其中在这项工作中提取紧凑的边缘图,以可伸缩的方式连接两种视觉。紧凑的边缘图作为机器视觉任务的基本层,参考像素作为一种增强层,以保证人类视觉的信号保真度。通过引入先进的生成模型,我们训练一个灵活的网络,从紧凑的特征表示和参考像素重建图像。实验结果表明,我们的框架在人类视觉质量和面部标志检测的优越性,这对新兴的标准化工作的MPEG VCM(视频编码机器)提供了有用的证据。
2020-01-10 cs.CV
A Chronological Survey of Theoretical Advancements in Generative Adversarial Networks for Computer Vision
TCS Research(塔塔咨询服务研究院)
本文针对现有GAN综述缺乏编年视角的问题,梳理计算机视觉领域GAN理论与应用的里程碑工作,展示其训练与应用挑战如何随时间被逐步解决。
2023-11-02 cs.CV eess.IV
GenConViT: Deepfake Video Detection Using Generative Convolutional Vision Transformer
Ghent University(根特大学);imec;Addis Ababa University(亚的斯亚贝巴大学);State University of New York Polytechnic Institute(纽约州立大学理工学院)
本文提出GenConViT模型,结合ConvNeXt和Swin Transformer提取特征,并利用自编码器和变分自编码器学习潜在分布,在多个数据集上实现了高准确率的深度伪造视频检测,但泛化能力仍需提升。
2025-03-04 cs.CV
Generative Wind Power Curve Modeling Via Machine Vision: A Self-learning Deep Convolutional Network Based Method
University of Science and Technology Beijing(北京科技大学)
本文提出了一种新的自训练U-网(STU-net)为基础的方法自动生成的WPC模型,而不需要数据预处理。STU-net的自训练(ST)过程有两个步骤。首先,与传统的将WPC建模问题视为曲线拟合问题不同,本文从机器视觉的角度对WPC建模问题进行了改进。为了开发足够多样化的训练样本,我们综合监控和数据采集(SCADA)数据的基础上,一组S形函数描绘WPC。这些合成的SCADA数据和WPC函数被可视化为图像并配对为训练样本(I_x,I_wpc)。然后构造了一个U-网来近似从I_x恢复I_wpc的模型。将所开发的U-net应用于实测SCADA数据,成功地生成了I_wpc。此外,我们开发了一个像素映射和校正过程,推导出一个数学形式的f_wpc代表I_wpc先前产生的。提出的STU-net只需要训练一次,不需要任何数据预处理的应用。基于76个小波变换的数值实验验证了所提方法的优越性,并与经典小波变换建模方法进行了比较。为了证明所提出的研究的可重复性,我们在https://github.com/IkeYang/STU-net上发布了我们的代码。
2022-05-02 cs.CV
Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models
Hofstra University(霍夫斯特拉大学)
本文提出旋转鲁棒缓解策略,通过数据增强、表征对齐和模型正则化,提升视觉-语言和生成图像模型在旋转和分布偏移下的鲁棒性和公平性。
2026-01-09 cs.AI cs.CV
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research Cambridge(微软研究院剑桥实验室)
计算机视觉是困难的,因为在照明,形状和纹理的大的可变性;此外,图像信号是非加性的,由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人,但由于后验推理的困难,计算机视觉的生成模型在很大程度上未能实现这一承诺。因此,社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性,但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”,并在仔细的实验中证明它具有挑战性的生成模型,其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题,一种方法,可以被理解为“逆图形”。知情的采样器,使用简单的判别建议的基础上现有的计算机视觉技术,实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
GenHancer: Imperfect Generative Models are Secretly Strong Vision-Centric Enhancers
ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Institute of Automation, CAS(中国科学院自动化研究所)
本研究针对CLIP感知细粒度视觉细节不足的问题,从条件机制、去噪配置、生成范式三方面探究生成模型增强表征的关键因素,提出GenHancer方法,在MMVP-VLM基准上取得SOTA,增强后的CLIP可接入多模态大模型提升视觉性能。
2025-07-31 cs.CV
LaVin-DiT: Large Vision Diffusion Transformer
The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);The University of Melbourne(墨尔本大学);AIsphere
本文提出大型视觉扩散Transformer(LaVin-DiT),通过空间-时间变分自编码器、联合扩散Transformer和上下文学习,统一处理超20项视觉任务,参数规模达3.4B,实现无需微调的跨任务泛化与最先进性能。
2025-03-06 cs.CV
INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts
Indian Institute of Technology, Madras, Tamil Nadu, India(印度理工学院Madras分校,泰米尔纳德州,印度)
INSIGHT提出了一种可解释的神经视觉-语言框架,通过多尺度定位、语义对齐和结构化提示协议,实现对生成性艺术作品的鲁棒检测与透明解释。
2025-11-27 cs.CV
Generative AI in Industrial Machine Vision -- A Review
RWTH Aachen University(亚琛工业大学);Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学)
本综述基于PRISMA指南分析1200余篇论文,总结生成式AI在工业机器视觉中的主要应用(数据增强、分类、检测),并指出数据多样性、计算需求等挑战及未来研究方向。
2024-08-21 cs.CV cs.LG eess.IV
DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
DiffThinker通过基于扩散模型的生成方法,在多模态推理任务中实现了更高效的视觉推理和更精确的空间处理,显著优于现有模型。
2025-12-30 cs.CV
VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation
Xi’an Jiaotong University(西安交通大学);Tencent AI Lab(腾讯人工智能实验室);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);The University of Hong Kong(香港大学)
本研究提出VL-GPT多模态Transformer模型,通过新型图像分词-解分词框架实现图文统一自回归预训练,在多项视觉语言任务上展现优异的零/少样本性能,具备多模态上下文学习能力,经指令微调后有突出的多模态辅助潜力。
2023-12-14 cs.CV
DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving
Tsinghua University(清华大学);Xiaomi EV(小米汽车)
提出DriveReward数据集和专用视觉语言奖励模型,通过反事实标注和时序视觉引导,解决自动驾驶中奖励获取的泛化问题,在强化学习和轨迹选择中取得与基于规则方法相当的性能。
2026-06-16 cs.CV
Cortical Microcircuits from a Generative Vision Model
Vicarious AI(Vicarious人工智能公司)
了解皮质回路的信息处理作用是神经科学和人工智能领域的一个突出问题。贝叶斯推断的理论设置已被建议作为理解皮层计算的框架。基于最近发表的用于视觉推理的生成模型(George等人,2017),我们推导出一系列解剖学实例化和功能性皮层电路模型。与简单的贝叶斯推断模型相比,底层生成模型的代表性选择通过需要高效推理和强大泛化的现实任务进行验证。皮质电路模型是通过系统地比较该模型的计算要求与已知的解剖约束。推导出的模型建议精确的前馈,反馈和横向连接在不同的椎板和列中观察到的功能作用,并分配一个计算的作用,通过丘脑的路径。
2018-08-03 cs.CV q-bio.NC
Generative AI for Industrial Contour Detection: A Language-Guided Vision System
The University of Chicago(芝加哥大学);FabTrack
针对工业视觉受噪声等因素影响的问题,提出含三阶段的语言引导生成式轮廓检测系统,在FabTrack数据集上提升了轮廓精度,且GPT-image-1在精修阶段表现优于Gemini 2.0 Flash,为工业视觉发展提供新路径。
2025-08-29 cs.AI cs.CV
CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks
Technical University Munich(慕尼黑工业大学);University of Venice(威尼斯大学)
计算机视觉技术在社会中的使用空前增加,与此同时,人们对数据隐私的担忧也在增加。在许多现实世界的场景中,如人员跟踪或动作识别,重要的是能够处理数据,同时仔细考虑保护人员的身份。我们提出并开发了CIAGAN,一种基于条件生成对抗网络的图像和视频匿名化模型。我们的模型能够去除面部和身体的识别特征,同时生成高质量的图像和视频,可用于任何计算机视觉任务,如检测或跟踪。与以前的方法不同,我们可以完全控制去识别(匿名化)过程,确保匿名化和多样性。我们将我们的方法与几个基线进行比较,并获得了最先进的结果。
2020-11-30 cs.CV
Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Mila(米拉研究所);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);OpenAI
针对配对图像文本数据获取成本高或质量低的问题,提出基于循环一致性的ITIT训练范式,结合少量配对数据与大量非配对数据训练双向视觉语言生成模型,以远少于SOTA模型的配对数据达到相当的生成与描述性能。
2023-10-05 cs.CV
Descriminative-Generative Custom Tokens for Vision-Language Models
AWS AI Labs(亚马逊人工智能实验室)
本文提出在 CLIP 中结合文本反演与分类损失学习自定义 token,并通过属性子空间约束提升概念组合、生成可视化与图像检索效果,在 DeepFashion2 上使 MRR 提升 7%。
2025-02-17 cs.CV
SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision
MIT(麻省理工学院);University of Bremen(不来梅大学)
中央凹视力占视野的不到1%。另外99%是周边视觉。人类在外围看到的东西既明显又神秘,因为我们用自己的眼睛看到它,但除了在受控的实验室实验中,我们无法想象我们看到的东西。周边信息的退化远比径向模糊所能模拟的要复杂得多。相反,行为验证的模型假设,周边视觉测量大量的局部纹理统计在池区域重叠和偏心增长。在这项工作中,我们开发了一种新的方法,周边视觉模拟训练生成神经网络的行为验证的全场合成模型。通过实现运行时间减少21,000倍,我们的方法是第一个将周边视觉模拟的真实性和速度结合起来的方法,提供了一种全新的视觉设计方法:通过周边可视化。
2017-10-23 cs.CV cs.NE q-bio.NC
JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting
Ho Chi Minh City University of Technology and Engineering(胡志明市技术教育大学)
提出一种解耦的交通预测框架,利用冻结的V-JEPA编码器提取预测性潜在表示,通过轻量级对齐模块引导冻结的Cosmos扩散模块生成未来视频,在AI City Challenge 2026 Track 5上以75.1297分排名第三,显著降低训练成本。
2026-09-21 cs.CV
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology(香港科技大学);ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展,使机器更有能力进行多模态写作(图像到文本生成)和绘画(文本到图像生成)。然而,很少有研究调查,如果这两个基本能力可以一起学习,并相互促进,使一个通用的和强大的多模态基础模型。在这项工作中,我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力,并提出了一种新的统一模态模型,名为DaVinci,使用前缀语言建模和前缀图像建模进行训练,这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架,DaVinci易于训练,可扩展到巨大的数据,适用于写作和绘画任务,并且在其他视觉,文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现,并展示了结合视觉/语言生成预训练的优势。此外,我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试,这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力,并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG
GenView++: Unifying Adaptive Generative Augmentation and Quality-Driven Supervision for Contrastive Representation Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
GenView++通过自适应生成增强和质量驱动监督,提升对比学习在视觉和视觉-语言任务中的性能。
2026-01-20 cs.CV
Synthesizing Visual Illusions Using Generative Adversarial Networks
Universitat Pompeu Fabra(庞培法布拉大学);Universitat de València(瓦伦西亚大学)
视错觉是视觉科学家非常有用的工具,因为它们可以让他们更好地探索视觉系统的极限,阈值和错误。在这项工作中,我们介绍了有史以来第一个框架,产生新的视觉错觉与人工神经网络(ANN)。它采用生成对抗网络的形式,具有视觉错觉候选者的生成器和两个识别模块,一个用于诱导物背景,另一个用于决定候选者是否确实是错觉。该模型的通用性是通过合成不同类型的错觉来说明的,并与心理物理实验进行了验证,证实了我们的人工神经网络的输出确实是人类观察者的视觉错觉。除了合成新的视觉错觉,这可能有助于视觉研究人员,所提出的模型有可能开辟新的途径来研究人工神经网络和人类视觉感知之间的相似性和差异。
2019-11-21 cs.CV
ConvGenVisMo: Evaluation of Conversational Generative Vision Models
TH Köln - University of Applied Sciences(科隆应用技术大学);Ultimate;Microsoft(微软)
本文提出 ConvGenVisMo 框架,用于评估对话式生成视觉模型,包含新基准数据集及自动评估指标,以支持在现实场景中分析 CGVM 的性能。
2023-05-28 cs.AI cs.CV
Generative Negative Text Replay for Continual Vision-Language Pretraining
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);KU Leuven(鲁汶大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心)
视觉语言预训练(VLP)近年来受到越来越多的关注。在大量的图像-文本对的情况下,使用对比度损失训练的VLP模型在各种任务中取得了令人印象深刻的性能,特别是在下游数据集上的zero-shot泛化。然而,在实际应用中,海量数据通常以流式方式收集,这要求VLP模型不断地从传入数据中整合新知识并保留学习到的知识。在这项工作中,我们专注于学习一个VLP模型与连续块的图像-文本对数据。为了解决这种多模态持续学习设置中的灾难性遗忘问题,我们首先引入伪文本重放,该伪文本重放以记忆中的训练图像为条件生成硬否定文本,这不仅更好地保留了学习的知识,而且提高了对比损失中否定样本的多样性。此外,我们提出了图像和文本之间的多模态知识蒸馏,以调整新旧模型之间的实例预测。我们在Conceptual Caption数据集的实例和类增量分割上增量地预训练我们的模型,并在zero-shot图像分类和图像-文本检索任务上评估模型。我们的方法始终优于现有的基线,具有很大的利润率,这表明了它的优越性。值得注意的是,我们实现了$4.60\%$的图像分类下游数据集的类增量分裂的平均性能提升。
2022-10-31 cs.CV
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation
Baidu Inc.(百度公司)
传统的图文生成方法主要是将自然双向生成任务分开处理,侧重于设计特定于任务的框架来提高生成样本的质量和保真度。近年来,视觉语言预训练模型极大地提高了图像到文本生成任务的性能,但针对文本到图像合成任务的大规模预训练模型仍处于开发阶段。在本文中,我们提出了ERNIE-ViLG,一个统一的生成预训练框架的双向图像-文本生成与Transformer模型。基于图像量化模型,我们制定了图像生成和文本生成的自回归生成任务的文本/图像输入的条件。双向图像-文本生成建模简化了视觉和语言之间的语义对齐。对于文本到图像的生成过程,我们进一步提出了一种端到端的训练方法来联合学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练前景,我们在1.45亿(中文)图像-文本对的大规模数据集上训练了100亿参数ERNIE-ViLG模型,该模型实现了文本到图像和图像到文本任务的最新性能,在MS-COCO上获得7.9的FID用于文本到图像合成,在COCO-CN和AIC-ICC上获得最佳结果用于图像描述。
2021-12-31 cs.CL cs.CV
ARGen: Affect-Reinforced Generative Augmentation towards Vision-based Dynamic Emotion Perception
Fudan University(复旦大学);East China Normal University(华东师范大学)
本文提出ARGen框架,通过情感语义注入和自适应强化扩散阶段,解决野外动态表情识别中的数据稀缺问题,提升情绪感知的生成质量和识别性能。
2026-08-04 cs.AI cs.CV
OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
University of California Santa Cruz(加州大学圣克鲁兹分校);Apple(苹果公司);University of California Berkeley(加州大学伯克利分校)
本文提出OpenVision 2,通过移除文本编码器与对比损失、仅保留字幕生成损失简化架构,在保持多模态基准性能的同时大幅提升训练效率,支持扩展至超10亿参数,为视觉编码器发展提供新思路。
2025-09-01 cs.CV
Arcee: Differentiable Recurrent State Chain for Generative Vision Modeling with Mamba SSMs
New Jersey Institute of Technology(新泽西理工学院);University of California, Riverside(加州大学河滨分校);McGill University(麦吉尔大学)
针对Mamba SSMs在视觉建模中跨块丢弃终端状态空间表示的问题,提出Arcee跨块循环状态链,复用前块终端SSR作为后块初始条件,在CelebA-HQ上使FID降低5.4倍,兼容现有变体且无额外参数。
2025-11-17 cs.CV
Neural Residual Diffusion Models for Deep Scalable Vision Generation
Tsinghua University(清华大学)
针对深度堆叠网络在视觉生成中的数值误差问题,提出Neural-RDM框架,引入门控残差参数,提升图像视频生成质量并支持大规模训练。
2024-07-21 cs.AI cs.CV
GEM: Generative Supervision Helps Embodied Intelligence
Tsinghua University(清华大学);Tencent Hunyuan(腾讯文心)
提出GEM模型,通过在视觉语言模型预训练中引入深度图生成任务,联合训练以提升具身智能的语义理解与物理操作能力,并发布大规模数据集GEM-4M,在多个基准上取得最优结果。
2026-05-27 cs.CV