ACE: Zero-Shot Image to Image Translation via Pretrained Auto-Contrastive-Encoder
University of Michigan(密歇根大学);University of Illinois(伊利诺伊大学);YanShan University(燕山大学);ShanghaiTech University(上海科技大学)
图像间的平移是计算机视觉中的一项基本任务。它将图像从一个域转换为另一个域中的图像,使它们具有特定的域特定特征。大多数先前的工作训练生成模型来学习从源域到目标域的映射。然而,学习域之间的这种映射是具有挑战性的,因为来自不同域的数据在质量和数量方面可能高度不平衡。为了解决这个问题,我们提出了一种新的方法来提取图像特征,通过学习相同的数据分布内的样本的相似性和差异,通过一种新的对比学习框架,我们称之为自动对比编码器(ACE)。ACE学习内容代码作为具有相同内容信息和不同风格扰动的样本之间的相似性。ACE的设计使我们能够实现zero-shot图像到图像的翻译,而无需对图像翻译任务进行训练。此外,我们的学习方法可以有效地学习不同领域的图像的风格特征。因此,我们的模型在多模态图像翻译任务上也取得了有竞争力的结果,具有零样本学习。此外,我们证明了我们的方法在迁移学习的潜力。通过微调,翻译图像的质量在看不见的领域得到改善。即使我们使用对比学习,我们所有的训练都可以在一个GPU上执行,批量大小为8。
2023-02-22 cs.CV
Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation
Nanyang Technological University(南洋理工大学)
本文提出零样本文本引导的视频到视频翻译框架,通过关键帧生成与分层跨帧约束、时间感知块匹配传播,在无需训练或优化的情况下实现视频时间一致性,并可兼容LoRA和ControlNet等技术。
2023-09-17 cs.CV
Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);S-Lab, Nanyang Technological University(南洋理工大学S实验室)
FRESCO通过整合帧内与帧间对应关系,提升视频翻译与编辑的空间-时间一致性,实现高质量、一致的视频生成。
2025-12-03 cs.CV
Few-shot Image Generation Using Discrete Content Representation
Shanghai Jiao Tong University(上海交通大学)
Few-Shot图像生成和Few-Shot图像翻译是两个相关的任务,它们都旨在为只有少量图像的不可见类别生成新图像。在这项工作中,我们第一次尝试适应Few-Shot图像翻译方法的Few-Shot图像生成任务。Few-Shot图像翻译将图像分解为样式向量和内容映射。看不见的样式向量可以与不同的可见内容映射组合以产生不同的图像。然而,它需要存储看到的图像以提供内容映射,并且看不见的样式向量可能与看到的内容映射不兼容。为了适应Few-Shot图像生成任务,我们通过将连续内容映射量化为离散内容映射来学习本地内容向量的紧凑字典,而不是存储看到的图像。此外,我们建立了以风格向量为条件的离散内容映射的自回归分布模型,从而缓解了内容映射和风格向量之间的不兼容性。三个真实数据集上的定性和定量结果表明,我们的模型可以产生更高的多样性和保真度的图像看不见的类别比以前的方法。
2022-07-22 cs.CV
LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video Translation
Beihang University(北京航空航天大学);Meituan(美团)
本文提出 LatentWarp 框架,通过在潜在空间中对上一帧特征进行光流 warp 来约束 query token 的时间一致性,从而提升零样本视频到视频转换的视觉时间连贯性。
2023-11-01 cs.CV
FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出FRESCO框架,通过结合帧内与帧间对应关系并显式更新特征,增强时空约束,实现零样本视频翻译的高视觉连贯性,显著优于现有方法。
2024-03-19 cs.CV
Zero-Shot Text-to-Parameter Translation for Game Character Auto-Creation
Netease Fuxi AI Lab(网易伏羲AI实验室);Nankai University(南开大学);Beihang University(北京航空航天大学)
最近流行的角色扮演游戏(RPG)看到了角色自动创建系统的巨大成功。由连续参数(如骨骼的位置)和离散参数(如发型)控制的骨骼驱动面部模型使用户可以个性化和自定义游戏中的角色。以前的游戏角色自动创建系统大多是图像驱动的,其中面部参数被优化,以便渲染的角色看起来与参考面部照片相似。提出了一种新的文本到参数转换方法(T2P),实现了zero-shot文本驱动的游戏角色自动生成。使用我们的方法,用户可以创建一个生动的游戏中的字符与任意的文本描述,而无需使用任何参考照片或手动编辑数百个参数。在我们的方法中,利用大规模预训练的多模态CLIP和神经渲染的能力,T2P在统一的框架中搜索连续的面部参数和离散的面部参数。由于参数表示的不连续性,以前的方法很难有效地学习离散的人脸参数。据我们所知,T2P是第一个可以处理离散和连续参数优化的方法。实验结果表明,T2P可以生成高质量和生动的游戏人物与给定的文本提示。T2P在客观评价和主观评价方面都优于其他SOTA文本到3D生成方法。
2023-03-02 cs.CV
Few-Shot Unsupervised Image-to-Image Translation on complex scenes
无监督图像到图像翻译方法在过去几年中受到了广泛的关注。出现了多种技术,从不同的角度应对最初的挑战。一些专注于尽可能多地从多个目标样式图像中学习以进行翻译,而另一些则利用目标检测来在内容丰富的场景中产生更逼真的结果。在这项工作中,我们评估了一种最初为单个对象翻译开发的方法如何在更多样化和内容丰富的图像上执行。我们的工作基于FUNIT[1]框架,我们用更多样化的数据集对其进行训练。这有助于理解这种方法在其初始应用框架之外的行为。提出了一种基于目标检测的数据集扩展方法。此外,我们提出了一种方法来适应FUNIT框架,以利用目标检测的力量,可以看到在其他方法。
2021-06-07 cs.CV cs.LG
ManiFest: Manifold Deformation for Few-shot Image Translation
Inria(法国国家信息与自动化研究所);Université Laval(拉瓦尔大学)
大多数图像到图像的翻译方法需要大量的训练图像,这限制了它们的适用性。相反,我们建议Manifest:一个用于Few-Shot图像翻译的框架,该框架仅从几个图像中学习目标域的上下文感知表示。为了加强特征的一致性,我们的框架学习了源和代理锚域之间的样式流形(假设由大量图像组成)。通过基于块的对抗和特征统计对齐损失,将学习的流形插值并变形到Few-Shot目标域。所有这些组件都是在一个端到端循环中同时训练的。除了一般的Few-Shot翻译任务外,我们的方法还可以以单个样本图像为条件来再现其特定风格。大量的实验证明了ManiFest在多个任务上的有效性,在所有指标上以及在基于一般和示例的场景中都优于最先进的技术。我们的代码可在https://github.com/cv-rits/Manifest上获得。
2022-07-20 cs.AI cs.CV cs.LG
One-Shot Image-to-Image Translation via Part-Global Learning with a Multi-adversarial Framework
Ocean University of China(中国海洋大学);University of Electronic Science and Technology of China(电子科技大学)
众所周知,人类可以从几个有限的图像样本中有效地学习和识别对象。然而,仅从少数图像中学习对于现有主流深度神经网络来说仍然是一个巨大的挑战。受人类思维中类比推理的启发,一种可行的策略是将丰富的源域中的丰富图像翻译为丰富相关但不同的目标域,而图像数据不足。为了实现这一目标,我们提出了一种新的,有效的多对抗框架(MA)的基础上部分全局学习,它完成了一次性跨域图像到图像的翻译。具体而言,我们首先设计了一个部分全局对抗训练方案,为特征提取提供了一种有效的方法,并防止鉴别器被过度拟合。然后,采用多对抗机制来增强图像到图像的翻译能力,以挖掘高层次的语义表示。提出了一种平衡对抗损失函数,以平衡训练数据,稳定训练过程。大量的实验表明,该方法可以在两个极端不平衡的图像域之间的各种数据集上获得令人印象深刻的结果,并且在单次图像到图像的翻译上优于最先进的方法。
2019-05-12 cs.CV cs.LG
General Image-to-Image Translation with One-Shot Image Guidance
NetEase Games AI Lab(网易游戏AI实验室)
本文提出视觉概念转换器VCT,通过内容-概念反演与融合,仅用单张参考图像即可在保留源图像内容的同时实现通用图像到图像翻译。
2023-09-20 cs.CV
MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond
Guangdong University of Technology(广东工业大学);CRRC Academy Co., Ltd.(中车研究院有限公司);Sun Yat-sen University(中山大学)
本文提出MirrorDiffusion框架,通过提示词重描述机制在DDIM逆过程各时间步对齐文本提示词与潜在代码,解决DDPM逆过程位移累积导致的重建偏差,实现结构保持的零样本图像翻译。
2024-01-06 cs.AI cs.CV
Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
本文提出频率引导扩散模型FGDM,利用频域滤波器在无需源域数据的情况下实现零样本医学图像转换,并在CBCT到CT及跨机构MR转换任务中显著优于现有方法。
2023-10-28 cs.CV eess.IV
Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion
Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学法国国家信息与自动化研究所中心)
跨模态数据转换在图像计算中引起了极大的兴趣。深度生成模型(\textit{e.g.},GANs)在解决这些问题方面表现出性能改进。然而,作为图像翻译中的一个基本挑战,具有保真度的零样本学习跨模态数据翻译问题仍然没有得到解决。提出了一种新的无监督零样本学习方法--互信息引导的扩散跨模态数据转换模型(MIDiffusion),它学习将未知的源数据转换到目标域。MIDiffusion利用基于分数匹配的生成模型,该模型学习目标领域中的先验知识。我们提出了一个可微的本地明智的MI层($LMI$)的条件迭代去噪采样。$LMI$在扩散指导的统计域中捕获相同的跨模态特征;因此,当源域改变时,我们的方法不需要重新训练,因为它不依赖于源域和目标域之间的任何直接映射。这一优势对于在实践中应用跨模态数据转换方法至关重要,因为合理数量的源域数据集并不总是可用于监督训练。我们的经验表明,先进的性能MIDiffusion相比,一组有影响力的生成模型,包括基于对抗和其他分数匹配的模型。
2023-01-31 cs.AI cs.CV cs.LG
Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation
Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A.马蒂诺斯生物医学成像中心);Massachusetts General Hospital(麻省总医院);Harvard University(哈佛大学);Inria centre at Université Côte d’Azur(蔚蓝海岸大学国家信息与自动化研究所中心);Temple University(天普大学);Georg-August-University of Göttingen(哥廷根大学)
针对零样本跨模态医学分割,本文提出利用模态间统计一致性进行扩散引导的无监督图像转换框架,无需源目标域直接映射或重训即可适应未见目标模态。
2024-04-09 cs.CV cs.LG eess.IV
Few-Shot Unsupervised Image-to-Image Translation
NVIDIA(英伟达);Cornell University(康奈尔大学);Aalto University(阿尔托大学)
无监督图像到图像转换方法学习将给定类中的图像映射到不同类中的类似图像,绘制非结构化(未注册)图像数据集。虽然非常成功,但目前的方法需要在训练时访问源和目标类中的许多图像。我们认为这极大地限制了它们的使用。从人类的能力,拿起一个新的对象的本质,从少量的例子,并从那里概括的灵感,我们寻求一个Few-Shot,无监督的图像到图像的翻译算法,工程上以前看不见的目标类指定,在测试时,只有少数几个例子的图像。我们的模型通过将对抗训练方案与新颖的网络设计相结合来实现这种Few-Shot生成能力。通过大量的实验验证和比较基准数据集上的几个基线方法,我们验证了所提出的框架的有效性。我们的实现和数据集可以在https://github.com/NVlabs/FUNIT上找到。
2019-09-09 cs.AI cs.CV cs.GR
MAVFlow: Preserving Paralinguistic Elements with Conditional Flow Matching for Zero-Shot AV2AV Multilingual Translation
KAIST AI(韩国科学技术院人工智能研究所);KAIST EE(韩国科学技术院电子工程系)
针对AV2AV翻译中说话人一致性难维持的问题,提出带音视频双模态引导的条件流匹配零样本渲染器MAVFlow,通过x-vectors增强语音一致性、传递情感细节,提升了合成语音与面部生成质量。
2025-07-30 cs.CV cs.LG cs.MM
SPARSE Data, Rich Results: Few-Shot Semi-Supervised Learning via Class-Conditioned Image Translation
Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma, Rome, Italy(人工智能与计算机系统单位,工程系,罗马生物医学大学)
提出基于GAN的类条件图像转换半监督框架,集成生成器、判别器与分类器并采用伪标签策略,在MedMNIST数据集上显著优于现有方法,解决医学图像标注数据稀缺问题。
2025-08-08 cs.AI cs.CV
Jurassic World Remake: Bringing Ancient Fossils Back to Life via Zero-Shot Long Image-to-Image Translation
University of Rochester(罗切斯特大学)
本文提出 Skull2Animal 任务与 Revive-2I 基准,利用文本提示潜在扩散模型实现跨大域差距的零样本 longI2I,使头骨等化石图像生成对应活体动物。
2023-08-14 cs.CV cs.MM
Unsupervised Domain Adaptation for Semantic Segmentation using One-shot Image-to-Image Translation via Latent Representation Mixing
Gebze Technical University(盖布泽技术大学);Sabanci University(萨班哲大学)
本文提出一种基于潜在表示混合的一次性图像到图像翻译的无监督域自适应方法,用于超高分辨率图像语义分割,仅需单个目标域样本即可实现语义一致且无噪声的跨域迁移,并在跨城市实验中优于现有方法。
2022-12-07 cs.CV eess.IV
Zero-shot Image-to-Image Translation
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
大规模的文本到图像生成模型已经显示出它们合成多样化和高质量图像的卓越能力。然而,由于两个原因,直接应用这些模型编辑真实图像仍然具有挑战性。首先,用户很难想出一个完美的文本提示,准确地描述输入图像中的每一个视觉细节。其次,虽然现有的模型可以在某些区域引入所需的变化,但它们通常会显著改变输入内容,并在不需要的区域引入意外的变化。在这项工作中,我们提出了pix 2 pix-zero,一种图像到图像的翻译方法,可以保留原始图像的内容,而无需手动提示。我们首先自动发现反映文本嵌入空间中所需编辑的编辑方向。为了在编辑后保留一般内容结构,我们进一步提出了交叉注意指导,其目的是在整个扩散过程中保留输入图像的交叉注意图。此外,我们的方法不需要对这些编辑进行额外的训练,并且可以直接使用现有的预先训练的文本到图像扩散模型。我们进行了广泛的实验,并表明,我们的方法优于现有的和并发的真实和合成图像编辑的作品。
2023-02-06 cs.CV cs.GR cs.LG
CoAgent: Collaborative Planning and Consistency Agent for Coherent Video Generation
Sun Yat-sen University(中山大学)
CoAgent通过协作框架提升视频生成的连贯性与一致性,采用计划-合成-验证流程优化长视频的叙事质量与视觉一致性。
2025-12-27 cs.AI cs.CV
Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning
Guangxi University(广西大学);School of Computer, Electronics and Information(计算机与电子信息学院)
针对零样本图像描述中合成监督的实体级错位问题,提出即插即用框架ReCap,通过实体级重对齐与自适应加权策略优化合成数据,在两类基准上实现最优性能。
2026-08-04 cs.CL cs.CV
MeshReGen: A Unified 3D Geometry Regeneration Framework
KAIST Meta Reality Labs(韩国科学技术院元宇宙实验室)
MeshReGen通过基于VecSet的条件机制,实现从2D图像和初始3D形状再生3D对象,支持增强、重建和编辑等任务,无需额外标注即可在多个任务中实现可控的3D生成。
2026-05-16 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Florida State University(佛罗里达州立大学)
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念,其中模型在一组可见概念上训练,并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的,因为不仅看到和看不见的概念之间的差距,而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法,称为翻译概念嵌入,以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系,通过生成有条件地依赖于对象原型的平移属性功能。此外,我们设计了一个比率方差约束损失,以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能,并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
Incremental Embedding Learning via Zero-Shot Translation
School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院)
现代深度学习方法通过学习一组预定义的数据集,在机器学习和计算机视觉领域取得了巨大的成功。然而,这些方法在应用于实际情况时表现得并不令人满意。这一现象的原因是学习新任务导致训练好的模型迅速忘记旧任务的知识,这被称为灾难性遗忘。目前的增量学习方法主要是针对传统分类网络中的灾难性遗忘问题,而忽略了嵌入式网络中存在的问题,而嵌入式网络是图像检索、人脸识别、零样本学习等的基础网络。在增量学习环境下,两个相邻任务的嵌入空间之间的语义间隙是嵌入网络的主要挑战。因此,我们提出了一种新的类增量嵌入网络方法--zero-shot translation class-incremental method(ZSTCI),它利用zero-shot translation来估计和补偿语义鸿沟,而不需要任何样本。然后,我们尝试在顺序学习过程中学习两个相邻任务的统一表示,该表示精确地捕获先前类和当前类的关系。此外,ZSTCI可以很容易地与现有的基于正则化的增量学习方法相结合,以进一步提高嵌入网络的性能。在CUB-200-2011和CIFAR 100上进行了大量的实验,实验结果证明了该方法的有效性。我们的方法的代码已经发布。
2020-12-31 cs.CV
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University(PES大学)
本文利用音译和语言相似性构建单编码器-解码器模型,在达罗毗荼语系多语言翻译中实现零样本翻译,并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
Adaptive Compact Attention For Few-shot Video-to-video Translation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种自适应的紧凑注意力模型的Few-Shot视频到视频翻译。现有的研究方法只利用像素级注意力特征,没有考虑多幅参考图像之间的相关性,计算量大,但性能有限。因此,我们引入了一种新的自适应紧凑的注意力机制,以有效地提取上下文特征联合从多个参考图像,其中编码的视图相关和运动相关的信息可以显着有益于合成的现实视频。我们的核心思想是从所有参考图像中提取紧凑基集作为更高级别的表示。为了进一步提高可靠性,在推理阶段,我们还提出了一种基于德洛内三角剖分算法的参考文献自动选择方法。我们广泛评估我们的方法在大规模的说话头视频数据集和人类跳舞数据集;实验结果表明,我们的方法产生逼真的和时间一致的视频的优越性能,并大大改善了国家的最先进的方法。
2020-11-30 cs.CV
One-Shot Unsupervised Cross Domain Translation
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
给定来自域A的单个图像x和来自域B的一组图像,我们的任务是生成x在B中的类似物。我们认为,这项任务可能是一个关键的人工智能能力,强调了认知代理在世界上行动的能力,并提出了经验证据,表明现有的无监督域翻译方法在这项任务上失败了。我们的方法遵循两个步骤的过程。首先,训练域B的变分自编码器。然后,给定新的样本x,我们通过调整接近图像的层来创建域A的变分自编码器,以便直接拟合x,并且仅间接地调整其他层。我们的实验表明,当在一个样本x上训练时,新方法与现有的域转移方法一样好,当这些方法从域A中获得大量训练样本时。我们的代码可在https://github.com/sagiebenaim/OneShotTranslation上公开获取
2018-10-23 cs.CV
Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs
School of Computing and Information Systems, The University of Melbourne, Victoria, Australia(计算与信息系统学院,墨尔本大学,维多利亚,澳大利亚)
提出密度感知转换(DAT)方法,利用局部几何密度项修正图像-文本相似度,以缓解CLIP等视觉语言模型在零样本分类中因虚假相关性导致的性能下降。
2026-06-01 cs.CV cs.LG
Rotation, Translation, and Cropping for Zero-Shot Generalization
New York University(纽约大学)
深度强化学习(DRL)在具有视觉输入的领域中表现出令人印象深刻的性能,特别是各种游戏。然而,智能体通常在固定的环境中训练,例如固定数量的级别。越来越多的证据表明,这些训练过的模型无法泛化到即使是轻微的变化,他们被trainedon.This本文提出的假设,缺乏泛化的部分原因是由于输入表示,并探讨如何旋转,裁剪和平移可以增加的一般性。我们表明,裁剪,平移和旋转的观察可以得到更好的泛化看不见的水平的二维街机游戏从GVGAI框架。的代理人的一般性进行评估,在人类设计和程序生成的水平。
2020-06-12 cs.CV cs.LG stat.ML
Meta-Learning and Self-Supervised Pretraining for Real World Image Translation
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT Lincoln Lab(麻省理工学院林肯实验室);MIT CSAIL & BCS(麻省理工学院计算机科学与人工智能实验室及脑与认知科学系);MIT Physics(麻省理工学院物理系)
深度学习的最新进展,特别是在硬件进步和大数据的支持下,在计算机视觉、自然语言或强化学习等广泛的计算问题上提供了令人印象深刻的结果。然而,这些改进中的许多局限于需要大量人力来收集的大规模策展数据集的问题。此外,这些模型在轻微的分布变化和低数据制度下往往概括性很差。近年来,元学习或自监督学习等新兴领域通过将深度学习扩展到半监督和Few-Shot领域,缩小了概念验证结果与机器学习实际应用之间的差距。我们遵循这一工作路线,并在最近引入的图像到图像翻译问题中探索时空结构,以便:i)制定一种新的多任务Few-Shot图像生成基准,ii)在图像翻译下游任务的对比预训练中探索数据增强。我们提出了几个基线的Few-Shot的问题,并讨论不同的方法之间的权衡。我们的代码可在https://github.com/irugina/meta-image-translation上获得。
2021-12-22 cs.CV cs.LG
Removing Watermarks with Partial Regeneration using Semantic Information
International Computer Science Institute(国际计算机科学研究所);School of Computing and Augmented Intelligence(计算与增强智能学院);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Department of Statistics(统计学系);University of California at Berkeley(加州大学伯克利分校)
本文提出三阶段无标签攻击SemanticRegen,利用视觉-语言描述、零样本分割与LLM引导扩散仅重建背景,可在高保真条件下削弱多种不可见水印。
2025-05-13 cs.AI cs.CR cs.CV
DePlot: One-shot visual language reasoning by plot-to-table translation
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
本文提出首个视觉语言推理一次性解决方案DePlot,通过将图表图像转换为线性化表格并利用LLM推理,在仅使用一次性提示的情况下,比微调SOTA模型提升了24.0%。
2023-05-23 cs.AI cs.CL cs.CV
Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
University of Tsukuba(筑波大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
我们调查的政策转移使用图像到语义翻译,以减轻学习困难,基于视觉的机器人控制代理。这个问题假设两个环境:一个模拟器环境的语义,即低维和基本的信息,作为状态空间,和一个现实世界的环境中的图像作为状态空间。通过学习从图像到语义的映射,我们可以将在模拟器中预先训练的策略转移到现实世界中,从而消除了现实世界中的策略代理交互学习,这是昂贵且有风险的。此外,使用图像到语义映射在训练策略的计算效率和所获得的策略的可解释性方面优于其他类型的仿真到现实迁移策略。为了解决学习图像到语义映射的主要困难,即产生训练数据集的人类注释成本,我们提出了两种技术:在模拟器环境中使用转换函数的对增强和主动学习。我们观察到的注释成本的降低,而不会下降的传输性能,所提出的方法优于现有的方法没有注释。
2023-01-31 cs.AI cs.CV cs.LG
Zero-shot Translation of Attention Patterns in VQA Models to Natural Language
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究提出免训练的零样本框架ZS-A2T,利用VQA模型的图文匹配能力引导LLM,将模型注意力翻译为自然语言解释,在相关数据集零样本任务上达SOTA。
2023-11-08 cs.AI cs.CL cs.CV