NYCU-TWO at Memotion 3: Good Foundation, Good Teacher, then you have Good Meme Analysis
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出了一个健壮的解决方案Memotion 3.0共享任务。这项任务的目标是对模因表达的情感和相应的强度进行分类,模因通常以社交媒体上带有简短标题的图像形式出现。理解特定模因的多模态特征将是解决这一问题的关键。在这项工作中,我们使用CLIP提取对齐的图像-文本特征,并提出了一个新的模因情感分析框架,包括任务A的合作教学模型(CTM)和任务B和C的级联情感分类器(CEC)。CTM基于知识蒸馏的思想,能够更好地预测任务A中特定模因的情感; CEC能够利用任务C中预测的情感强度建议,对任务B中的情感进行更精确的分类。实验表明,我们实现了任务A和任务B的第二位排名和任务C的第四位排名,加权F1分数分别为0.342,0.784和0.535。结果表明,我们的框架的鲁棒性和有效性。我们的代码在Github上发布。
2023-02-14 cs.CL cs.CV
Good News, Everyone! Context driven entity-aware captioning for news images
Computer Vision Center, UAB, Spain(西班牙加泰罗尼亚理工大学计算机视觉中心)
当前的图像描述系统仅在描述性水平上执行,基本上列举场景中的对象及其关系。相反,人类通过整合世界的几个先验知识来源来解释图像。在这项工作中,我们的目标是采取一个步骤更接近生产字幕,提供一个合理的解释的场景,通过整合这样的上下文信息到字幕管道。为此,我们专注于用于说明新闻文章的图像的标题。我们提出了一种新的字幕方法,能够利用上下文信息与图像相关联的新闻文章的文本提供。我们的模型能够有选择地从视觉线索引导的文章中提取信息,并动态地将输出字典扩展到出现在上下文源中的词汇表外的命名实体。此外,我们介绍了“好新闻”,最大的新闻图像描述数据集在文献中,并展示了国家的最先进的结果。
2019-04-02 cs.CV
Weakly Supervised Annotations for Multi-modal Greeting Cards Dataset
Temple University(天普大学)
近年来,有越来越多的预训练模型在大量数据集上训练,并在各种任务(如对多模态数据集进行分类)上表现良好。这些模型在自然图像上表现出了良好的性能,但对于图像中稀缺的抽象概念却没有充分探索。在这项工作中,我们引入了一个基于图像/文本的数据集,称为贺卡。具有抽象视觉概念的数据集(GCD)。在我们的工作中,我们建议从预训练的图像和文本嵌入中聚合特征,以从GCD中学习抽象的视觉概念。这使我们能够学习文本修改的图像特征,这些特征将来自多模态数据流的互补和冗余信息组合成单个有意义的特征。其次,使用预先训练的基于CLIP的图像描述模型计算GCD数据集的字幕。最后,我们还证明了所提出的数据集对于使用预训练的文本到图像生成模型生成贺卡图像也是有用的。
2022-12-01 cs.AI cs.CV
Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi
本文提出Scale-ALiBi机制,通过空间编码偏置提升多尺度多模态卫星影像表示学习效果,并在GEO-Bench基准上取得改进。
2026-04-11 cs.CV
Generating new pictures in complex datasets with a simple neural network
GammaDynamics, LLC(伽马动力有限责任公司)
我们介绍了一个版本的变分自动编码器(VAE),它可以在复杂数据集(在我们的实验中,CIFAR-10)上训练时生成良好的图像扰动。该网络仅使用每个类的两个潜在生成维度,具有单峰概率密度。为了得到好的生成结果,必须付出的代价是并非所有的训练图像都能得到很好的重建。需要一个额外的分类器来确定哪个训练图像被很好地重建,并且通常确定训练图像的权重。只有重建良好的训练图像才能被扰动。对于良好的扰动,我们使用良好重建图像的试探性经验漂移。这种结构在通常的统计意义上是不可预测的。
2019-11-26 cs.CV
PKU-GoodsAD: A Supermarket Goods Dataset for Unsupervised Anomaly Detection and Segmentation
Peking University(北京大学)
提出PKU-GoodsAD超市商品异常检测数据集,含6124张高分辨率图像、484种商品和6个类别,并提供像素级真值与无监督基准评估,揭示现有方法在真实超市场景中的性能不足。
2023-07-26 cs.CV
What Makes for a Good Stereoscopic Image?
Apple(苹果公司);Weizmann Institute of Science(魏茨曼科学研究所);MIT(麻省理工学院)
为解决立体视觉体验质量评估的数据和方法局限,本文提出了包含真实与合成图像及偏好标注的SCOPE数据集,并开发了iSQoE模型,其在单目转立体转换方法比较中比现有方法更符合人类偏好。
2025-04-03 cs.CV
Are Pretrained Image Matchers Good Enough for SAR-Optical Satellite Registration?
Taylor Geospatial(泰勒地理空间公司);Independent Researcher(独立研究者)
本文评估了24种预训练匹配器在跨模态卫星配准中的表现,发现显式跨模态训练并非必然提升性能,且部署协议对精度影响显著。
2026-08-07 cs.CV
What Makes a Good Dataset for Knowledge Distillation?
Ohio State University(俄亥俄州立大学)
本研究针对知识蒸馏中常无法获取原始训练数据的问题,探索了多种替代蒸馏数据集,证实合成图像等也可作为合适替代,并提出了优质蒸馏数据集的判定标准。
2025-10-02 cs.CV
Ambient Diffusion Omni: Training Good Models with Bad Data
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出Ambient Diffusion Omni框架,利用自然图像谱幂律衰减和局部性特性,从低质量、合成及分布外图像中提取信号训练扩散模型,在ImageNet上取得最优FID,提升文本到图像生成的质量与多样性,并给出理论支撑。
2025-06-10 cs.AI cs.GR cs.LG
Generating Storytelling Images with Rich Chains-of-Reasoning
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China(X-LANCE实验室,计算机科学学院,上海交通大学,中国);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室,中国);East China University of Technology, China(东华大学,中国);University of Texas at Arlington, USA(德克萨斯大学阿灵顿分校,美国)
本文提出StorytellingPainter,通过结合大语言模型推理与文本到图像合成,生成具有丰富推理链的叙事图像,并引入评估框架和轻量级模型以提升生成效果。
2026-01-07 cs.CL cs.CV
ScImage: How Good Are Multimodal Large Language Models at Scientific Text-to-Image Generation?
University of Twente(特文特大学);University of Technology Nuremberg (UTN)(纽伦堡工业大学(UTN));University of Sheffield(谢菲尔德大学);Harbin Institute of Technology(哈尔滨工业大学);University of Mannheim(曼海姆大学);Technische Universität Dresden(德累斯顿工业大学)
本文提出 ScImage 基准,从空间、数值与属性理解及组合维度评估五个多模态 LLM 的科学文生图能力,发现复杂提示下各模型仍普遍存在困难。
2024-12-03 cs.AI cs.CL cs.CV
Are scene graphs good enough to improve Image Captioning?
KU Leuven(鲁汶大学);New York University(纽约大学);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
许多表现最好的图像描述模型仅依赖于利用目标检测模型计算的目标特征来生成图像描述。然而,最近的研究提出直接使用场景图来引入关于对象关系的信息到字幕中,希望更好地描述对象之间的交互。在这项工作中,我们彻底调查使用场景图在图像描述。我们的经验研究是否使用额外的场景图形编码器可以导致更好的图像描述,并提出了一个有条件的图形注意力网络(C-GAT),其中的图像描述解码器状态是用来条件的图形更新。最后,我们确定在何种程度上预测的场景图中的噪声影响字幕质量。总体而言,我们发现使用场景图特征的模型和仅使用不同字幕度量的目标检测特征的模型之间没有显著差异,这表明现有的场景图生成模型仍然太嘈杂,在图像描述中没有用。此外,虽然预测的场景图的质量是非常低的,在一般情况下,当使用高质量的场景图,我们获得的增益高达3.3 CIDER相比,一个强大的自下而上自上而下的基线。我们在https://github.com/iacercalixto/butd-image-captioning上开放源代码来重现我们所有的实验。
2020-10-27 cs.CL cs.CV
Good Noise Makes Good Edits: A Training-Free Diffusion-Based Video Editing with Image and Text Prompts
KAIST(韩国科学技术院)
VINO是一种无需训练的视频编辑方法,结合图像和文本提示,通过ρ-启动采样和扩张双掩码实现结构化噪声地图,从而实现高质量视频编辑。
2025-12-21 cs.CV
Select Good Regions for Deblurring based on Convolutional Neural Networks
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Science(中国科学院长春光学精密机械与物理研究所);Changchun University of Science and Technology(长春理工大学)
图像盲去模糊的目的是从一幅模糊核未知的模糊图像中恢复清晰的图像。大多数图像去模糊方法都集中在图像先验知识的开发上,而对图像细节和结构对模糊核估计的影响没有给予足够的重视。什么是有用的图像结构,如何选择一个好的去模糊区域?在这项工作中,我们提出了一种深度神经网络模型方法,用于选择好的区域来估计模糊核。首先,我们用标签构建图像块并训练深度神经网络,然后应用学习的模型来确定图像的哪个区域最适合去模糊。实验结果表明,该方法是有效的,并能够选择良好的区域进行图像去模糊。
2020-08-12 cs.CV
What Makes a Good Medical Image Tokenizer? Rethinking Reconstruction and Generation in Medical Image Tokenization
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning, Technical University of Munich(慕尼黑工业大学慕尼黑机器学习中心);Klinikum rechts der Isar, Technical University of Munich(慕尼黑工业大学伊萨尔河右岸医院);ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学);Imperial College London(伦敦帝国理工学院)
该研究系统评估了医学图像分词器,发现重建与生成性能强相关,现代分词器未充分利用潜在空间,离散量化可保留下游分类能力。
2026-09-22 cs.AI cs.CV
Good Seed Makes a Good Crop: Discovering Secret Seeds in Text-to-Image Diffusion Models
University of Pennsylvania(宾夕法尼亚大学);Adobe Inc.(奥多比公司)
该研究探索文本到图像扩散模型中随机种子的影响,发现黄金种子FID达21.60(劣质种子为31.97),种子可通过生成图像高度区分,且影响视觉维度与构图,为图像生成提供实用价值。
2025-04-16 cs.CV
Seeing What Tastes Good: Revisiting Multimodal Distributional Semantics in the Billion Parameter Era
politehnica Bucharest(布加勒斯特理工大学);Pioneer Center for AI(先锋人工智能中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本文通过探测任务评估十亿参数级图像编码器、多模态模型和语言模型对物体语义特征规范的表征能力,发现图像编码器可与语言模型媲美,揭示了单模态学习潜力和模态互补性。
2025-06-04 cs.CL cs.CV
What Makes for Good Image Captions?
HKUST(香港科技大学);Meta FAIR Paris(Meta FAIR 巴黎)
本文建立信息论框架定义优质图像描述的三大关键特性(信息充分、冗余最小、易理解),并提出PoCa方法整合局部与全局视觉信息生成丰富描述,通过理论证明与实证验证提升描述质量。
2025-08-20 cs.CV
GOOD: Training-Free Guided Diffusion Sampling for Out-of-Distribution Detection
Nanjing University(南京大学);Fudan University(复旦大学);Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Sciences(中国科学院);Nanyang Technological University(南洋理工大学)
GOOD提出无训练引导扩散采样框架,利用现成分类器通过图像级与特征级双层引导生成多样OOD样本,并引入统一分数,显著提升OOD检测性能。
2025-10-27 cs.AI cs.CV
How good are humans at detecting AI-generated images? Learnings from an experiment
Microsoft AI for Good Lab(微软AI for Good实验室)
基于“Real or Not Quiz.”中逾1.25万名参与者的约28.7万次评估,研究发现人类识别AI生成图像的准确率仅62%,凸显水印与AI检测工具的必要性。
2025-05-12 cs.AI cs.CV cs.HC
What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?
European Commission, Joint Research Centre (JRC)(欧盟委员会,联合研究中心 (JRC))
研究语言模型图像描述对人类大脑高级视觉感知的预测性,考虑六种字幕类型和五种语言模型,发现机器生成字幕表现优,文本嵌入器优于自回归语言模型,大脑预测性和行为一致性在中间网络深度达峰值,确立字幕嵌入为研究工具。
2026-07-21 cs.AI cs.CV
Can Vision-Language Models be a Good Guesser? Exploring VLMs for Times and Location Reasoning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学)
本文提出两阶段识别与推理探测任务及WikiTiLo数据集,探究视觉语言模型在时间与地点推理上的能力,发现其虽能保留特征但推理不完美。
2023-12-29 cs.AI cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University(上海科技大学)
本文提出LoGoPrompt,将合成文本图像用作视觉语言模型的视觉提示,通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题,在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
How good are deep models in understanding the generated images?
Quintic AI(昆蒂克人工智能公司)
我在本文中的目标是双重的:研究深度模型如何理解DALL-E 2和Midjourney生成的图像,并定量评估这些生成模型。收集两组生成的图像用于对象识别和视觉问答(VQA)任务。在对象识别方面,在10个最先进的对象识别模型中,最好的模型分别达到约60%和80%的前1和前5的准确度。这些数字远低于ImageNet数据集上的最佳准确率(91%和99%)。在VQA上,OFA模型在50幅图像上回答241个二进制问题时得分为77.3%。该模型在二进制VQA-v2数据集上的得分为94.7\%。人类能够识别生成的图像并轻松回答问题。我们的结论是:a)深度模型很难理解生成的内容,经过微调后可能会做得更好,b)生成的图像和真实照片之间存在很大的分布偏移。分布偏移似乎具有类别依赖性。数据可在以下网址获得:https://drive.google.com/file/d/1n2nCiaXtYJRRF2R73-LNE3zggeU_HeH0/view? USP=共享。
2022-08-25 cs.CV
Learning to Detect Good Keypoints to Match Non-Rigid Objects in RGB Images
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学)
我们提出了一种新的学习关键点检测方法,旨在最大限度地提高非刚性图像对应任务的正确匹配数量。我们的训练框架使用真实的对应关系,通过将注释的图像对与预定义的描述符提取器进行匹配来获得,作为训练卷积神经网络(CNN)的地面实况。我们通过将已知的几何变换应用于图像作为监督信号来优化模型架构。实验表明,我们的方法优于国家的最先进的关键点检测器的真实图像的非刚性物体的20 p.p.平均匹配精度,也提高了匹配性能的几个描述符时,再加上我们的检测方法。我们还采用了一个具有挑战性的现实世界中的应用所提出的方法:对象检索,我们的检测器表现出与最好的关键点检测器的性能。源代码和训练模型可在https://github.com/verlab/LearningToDetect SIBGRAPI 2022上公开获取
2022-12-13 cs.CV
Image Co-localization by Mimicking a Good Detector's Confidence Score Distribution
The University of Adelaide(阿德莱德大学)
给定一组包含同一类别对象的图像,图像协同定位的任务是识别和定位每个实例。本文表明,这个问题可以解决一个简单但有趣的想法,即一个共同的对象检测器可以学习,使其检测置信度分布像一个强监督检测器。更具体地说,我们观察到,给定从包含感兴趣对象的图像中提取的一组对象建议,准确的强监督对象检测器应该只对一小部分建议给予高分,而对大多数建议给予低分。因此,我们设计了一个基于熵的目标函数,以加强上述属性时,学习共同的对象检测器。一旦检测器被学习,我们就采用分割方法来细化定位。我们表明,尽管它的简单性,我们的方法优于国家的最先进的方法。
2016-07-23 cs.CV
Are Image-to-Video Models Good Zero-Shot Image Editors?
Zhejiang University(浙江大学);Harvard University(哈佛大学)
IF-Edit通过无需微调的框架,利用预训练图像到视频扩散模型实现指令驱动的图像编辑,解决提示错位、冗余时间潜在特征和模糊后期帧问题,展现强大的推理能力和通用编辑竞争力。
2025-11-25 cs.CV
CDVAE: Co-embedding Deep Variational Auto Encoder for Conditional Variational Generation
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如预测图像(X)的新着色场(Y)之类的问题是模糊的:许多非常不同的解决方案都是好的。表示这种模糊性需要建立条件模型P(Y| X)的预测,以图像为条件。这样的模型很难训练,因为我们通常没有包含同一图像的许多不同阴影的训练数据。因此,我们需要不同的训练样本来共享数据以生成良好的模型。这带来了一种我们称之为“代码空间崩溃”的危险--训练过程产生了一个具有非常好的损失分数的模型,但它对条件分布的表现很差。我们证明了一种改进的方法,建立条件模型,利用度量约束的训练数据,防止代码空间崩溃。我们使用真实数据在两个示例任务上演示了我们的模型:图像饱和度调整,图像重新照明。我们描述了量化指标来评估模糊的生成结果。我们的结果在定量和定性上都优于不同的强基线。
2017-03-28 cs.AI cs.CV cs.GR
What Makes a Good Generated Image? Investigating Human and Multimodal LLM Image Preference Alignment
本研究探究了人类与多模态LLM在图像质量判断上对美学、解剖准确度等属性的偏好差异,发现LLM属性间相关性较弱且部分属性判断难度较高。
2025-09-16 cs.CV
GenDet: Towards Good Generalizations for AI-Generated Image Detection
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对现有AI生成图像检测器对未见过生成器泛化性差的问题,提出对抗式师生差异感知框架GenDet,通过放大真假图像的输出差异提升检测性能,在公开基准上达SOTA。
2023-12-12 cs.CV
An Image Processing Pipeline for Automated Packaging Structure Recognition
FZI Research Center for Information Technology(FZI信息技术研究中心)
配送和接收物流货物以及运输本身都涉及大量的人工工作。运输的货物,包括其包装和标签,需要在许多供应链网络点进行双重检查,验证或识别。这些过程具有自动化的潜力,我们的目标是利用计算机视觉技术。更确切地说,我们提出了一个认知系统,用于基于单个RGB图像的标准化物流货物的包装结构的全自动识别。我们的贡献包含一个合适的系统设计和相关的现实世界的数据评估的描述。此外,我们讨论我们的算法选择。
2020-09-29 cs.AI cs.CV cs.LG
How to find a good image-text embedding for remote sensing visual question answering?
Environmental Computational Science and Earth Observation Laboratory (ECEO), EPFL(环境计算科学与地球观测实验室(ECEO),洛桑联邦理工学院(EPFL));Laboratoire d’Informatique Paris Descartes (LIPADE), Université de Paris(巴黎笛卡尔大学信息实验室(LIPADE),巴黎大学)
视觉问答(VQA)最近被引入到遥感,使信息抽取从架空图像更容易为每个人。VQA考虑了一个关于图像的问题(自然语言,因此很容易制定),并旨在通过基于计算机视觉和自然语言处理方法的模型提供答案。因此,VQA模型需要联合考虑视觉和文本特征,这通常通过融合步骤来完成。在这项工作中,我们研究了三种不同的融合方法的背景下,遥感VQA和分析增益的精度相对于模型的复杂性。我们的研究结果表明,更复杂的融合机制产生更好的性能,但寻求模型的复杂性和性能之间的贸易是值得在实践中。
2021-09-24 cs.CV
Improved StyleGAN Embedding: Where are the Good Latents?
KAUST(阿卜杜拉国王科技大学);Cardiff University(卡迪夫大学);Miami University(迈阿密大学)
StyleGAN能够生成与真实照片几乎无法区分的照片级真实感图像。为给定图像找到嵌入的反向问题构成了挑战。很好地重建图像的嵌入并不总是对编辑操作鲁棒的。在本文中,我们解决的问题,找到一个嵌入,既重建图像,也支持图像编辑任务。首先,我们引入了一个新的归一化空间来分析重建的潜在码的多样性和质量。这个空间可以帮助回答好的潜在代码在潜在空间中位于何处的问题。其次,我们提出了一种改进的嵌入算法,使用一种新的正则化方法的基础上,我们的分析。最后,我们分析了不同嵌入算法的质量。我们将我们的结果与当前最先进的方法进行比较,并在重建质量和编辑质量之间实现了更好的权衡。
2021-10-15 cs.CV cs.GR
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford(牛津大学)
分类器和生成器早就分开了。我们打破了这种分离,并展示了传统的神经网络分类器可以生成大量类别的高质量图像,与最先进的生成模型(例如,DDPM和GANs)。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知,直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像,我们提出了一个基于掩码的随机重建模块,使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术,以保证保真度,产生逼真的图像。此外,我们引入了距离度量损失和非平凡分布损失,以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器,我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是,我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义,因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型,因为有大量的公共模型可供下载。此外,这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Image Understanding Makes for A Good Tokenizer for Image Generation
ByteDance(字节跳动)
本文提出利用图像理解编码器通过特征重建目标训练图像分词器,以提升图像生成性能,VQ-KD CLIP在ImageNet-1k上达到4.10 FID,并展示了将IU编码器直接转化为分词器的有效流程。
2024-11-07 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University(罗格斯大学);Snap Inc.(Snap公司);University of Delaware(特拉华大学)
图像和视频合成是密切相关的领域,旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展,但实现可比的视频生成结果仍然存在问题。我们提出了一个框架,利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频,而且计算效率也高出一个数量级。我们介绍了一个运动发生器,发现所需的轨迹,其中内容和运动被解开。有了这样的表示,我们的框架允许广泛的应用程序,包括内容和运动操纵。此外,我们引入了一个新的任务,我们称之为跨域视频合成,其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明,我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
Good, Cheap, and Fast: Overfitted Image Compression with Wasserstein Distortion
New York University(纽约大学);Google Paradigms Of Intelligence(谷歌智能范式研究院);Google DeepMind(谷歌DeepMind)
针对现有生成式学习图像压缩计算复杂度过高的问题,研究通过对过拟合编解码器C3优化Wasserstein失真,以不足1%的运算量实现了媲美HiFiC的压缩效果,且WD的感知预测表现优于多种主流指标。
2025-03-24 cs.CV eess.IV
Optimized latent-code selection for explainable conditional text-to-image GANs
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
由于条件生成对抗网络(GANs)的进步,文本到图像生成的任务取得了显着的进展。然而,现有的条件文本到图像GANs方法大多集中在提高图像质量和语义相关性,但忽略了模型的可解释性,这在现实世界的应用中起着至关重要的作用。在本文中,我们提出了各种技术来深入研究条件文本到图像GANs模型的潜在空间和语义空间。我们引入成对的线性插值的潜在代码和“语言”线性插值研究模型已经了解到的潜在空间和“语言”嵌入。随后,我们将线性插值扩展到三角形插值条件下的三个角落,进一步分析模型。在此之后,我们建立了一个好/坏的数据集,包含失败和成功的合成样本和相应的潜在代码的图像质量的研究。基于这个数据集,我们提出了一个框架,通过利用线性SVM找到好的潜在代码。在两个基准数据集上训练的DiverGAN生成器上的实验结果定性地证明了我们所提出的技术的有效性,在预测潜在向量的${Good}$ / ${Bad}$类方面的准确率超过94\%。好/坏数据集可在https://zenodo.org/record/5850224#.YeGMwP7MKUk上公开获取。
2022-04-27 cs.CV
Discoverability in Satellite Imagery: A Good Sentence is Worth a Thousand Pictures
PeopleTec, Inc.(PeopleTec公司);US Army Space Missile Defense Command (SMDC)(美国陆军太空与导弹防御司令部)
小型卫星星座提供了对地球陆地的每日全球覆盖,但图像丰富依赖于自动化的关键任务,如变化检测或特征搜索。例如,从原始像素中提取文本注释需要两个相关的机器学习模型,一个用于分析头顶图像,另一个用于生成描述性说明。我们评估了七个模型,以前最大的基准卫星图像字幕。我们将标记的图像样本扩展五倍,然后增加,校正和修剪词汇,以接近一个粗略的最小最大值(最小单词,最大描述)。这一结果与先前使用大型预训练图像模型的工作相比是有利的,但在不牺牲整体准确性的情况下(当用对数熵损失测量时),模型大小减少了100倍。这些更小的模型提供了新的部署机会,特别是当被推到边缘处理器、星载卫星或分布式地面站时。为了量化字幕的重复性,我们引入了一种新的多类混淆或错误矩阵来对人类标记的测试数据和从未标记过的图像进行评分,这些图像包括限界框检测,但缺乏完整的句子字幕。这项工作提出了未来的字幕策略,特别是那些可以丰富的类覆盖范围以外的土地利用的应用程序,减少颜色为中心的和相邻的形容词(“绿色”,“附近”,“之间”等)。许多现代语言Transformers提供了新颖且可利用的模型,这些模型具有从其庞大的在线语料库中收集的世界知识。一个有趣但简单的例子可能是学习风和波浪之间的单词关联,从而丰富了海滩场景,而不仅仅是颜色描述,否则可能会从原始像素中访问而没有文本注释。
2020-01-03 cs.CL cs.CV cs.LG
Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
数据是现代计算机视觉的引擎,这需要收集大规模的数据集。这是昂贵的,保证标签的质量是一个重大挑战。在本文中,我们研究了有效的注释策略,收集多类分类标签的大量收集的图像。虽然存在利用学习模型进行标记的方法,但令人惊讶的是,一种普遍的方法是向人类查询每个数据的固定数量的标签并聚合它们,这是昂贵的。基于先前对人类注释和机器生成的信念进行在线联合概率建模的工作,我们提出了旨在最大限度地减少人类标记工作的修改和最佳实践。具体来说,我们利用自监督学习的进步,将注释视为一个半监督学习问题,识别和减轻陷阱,并消除几个关键的设计选择,以提出有效的标签指导方针。我们的分析是在一个更现实的模拟中完成的,该模拟涉及查询人类标签,使用现有的工人模拟方法来揭示评估问题。在ImageNet 100的125 k图像子集上的模拟实验表明,它可以被注释到80%的top-1准确度,平均每个图像有0.35个注释,分别比以前的工作和手动注释提高了2.7倍和6.7倍。项目页面:https://fidler-lab.github.io/efficient-annotation-cookbook
2021-04-26 cs.CV
In-N-Out: Towards Good Initialization for Inpainting and Outpainting
在计算机视觉中,通过填充掩蔽区域来恢复空间信息,例如,修复已经因其对其他各种应用的可用性和广泛适用性而被广泛研究:图像修补、图像外推和环境地图估计。其中大多数是根据应用程序单独研究的。然而,我们的重点是适应相反的任务,例如,图像外画,这将有利于目标应用,例如,图像修补。我们的自我监督方法,In-N-Out,被总结为一种训练方法,它利用相反任务的知识进入目标模型。我们的经验表明,In-N-Out -探索补充信息-有效地利用了传统的管道,在传统的管道中,只有特定任务的学习发生在培训中。在实验中,我们比较了我们的方法与传统的过程,并分析了我们的方法在不同的应用:图像修补,图像外推,和环境地图估计的有效性。对于这些任务,我们表明,在N-出一贯提高性能的最近的作品与在N-出自我监督他们的训练过程。此外,我们表明,我们的方法取得了更好的效果比现有的训练方法进行outpainting。
2021-09-17 cs.CV
Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?
Google Research(谷歌研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
最近元学习研究的重点一直是学习算法的发展,可以快速适应测试时间任务的有限数据和低计算成本。少样本学习被广泛用作元学习的标准基准之一。在这项工作中,我们展示了一个简单的基线:在元训练集上学习监督或自监督表示,然后在此表示之上训练线性分类器,优于最先进的少样本学习方法。通过使用自蒸馏可以实现额外的提升。这表明,使用良好的学习嵌入模型可以比复杂的Meta学习算法更有效。我们相信,我们的研究结果激发了对Few-Shot图像分类基准和Meta学习算法的相关作用的重新思考。代码可在:http://github.com/WangYueFt/rfs/.
2020-06-17 cs.CV cs.LG
2D/3D Megavoltage Image Registration Using Convolutional Neural Networks
Universidade Federal de Pernambuco(伯南布哥联邦大学);Varian Medical Systems, Imaging Laboratory GmbH(瓦里安医疗系统影像实验室有限公司)
提出了一种基于卷积神经网络的二维/三维MV图像配准方法。传统的图像配准方法大多是基于灰度的,利用优化算法来最大化图像间的相似度。虽然这些方法可以实现良好的结果千伏图像,同样不会发生兆伏图像由于较低的图像质量。此外,这些方法大多数时候不提供良好的捕获范围。为了解决这个问题,我们提出了使用卷积神经网络。实验使用50张大脑图像的数据集进行。实验结果表明,与传统的图像配准方法相比,该方法具有良好的应用前景。
2018-11-28 cs.CV
Large Language Models are Good Prompt Learners for Low-Shot Image Classification
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
本文提出LLaMP方法,利用大语言模型为CLIP文本编码器生成自适应提示,以弥合语言与视觉的领域差距,在11个数据集上提升了低样本图像分类和零样本泛化性能。
2024-04-02 cs.CV
Style Transfer Dataset: What Makes A Good Stylization?
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文提出一个包含10000张人工评分的风格迁移数据集,通过分析评分揭示了影响用户评价的关键因素与定量指标,并探讨了数据集构建方法,以推进风格迁移配置与评估的自动化。
2024-12-22 cs.CV eess.IV
What makes a good data augmentation for few-shot unsupervised image anomaly detection?
SUSTech(南方科技大学);University of Surrey(萨里大学);University of Warwick(华威大学);Bielefeld University(比勒费尔德大学)
本文通过实验系统评估多种数据增强对少样本无监督工业图像异常检测算法的影响,发现具体增强方式影响有限且组合增强未必提升准确率,并据此给出选择指导。
2023-04-21 cs.CV
Lformer: Text-to-Image Generation with L-shape Block Parallel Decoding
Zhejiang University(浙江大学);Huawei(华为);University of Science and Technology of China(中国科学技术大学)
生成Transformers在合成高保真和高分辨率图像方面显示出其优越性,例如良好的多样性和训练稳定性。然而,他们遭受的问题,缓慢的生成,因为他们需要产生一个长的令牌序列自回归。为了更好地加速生成Transformers,同时保持良好的生成质量,我们提出了Lformer,一个半自回归的文本到图像生成模型。Lformer首先将图像编码成离散的$h{\times}h$符号,然后将这些符号从左上到右下分成镜像的$h$ L形块,并在每一步中将符号解码成块矩阵。Lformer像自回归模型一样预测与先前上下文相邻的区域,因此在加速时更稳定。通过利用图像令牌的2D结构,Lformer实现了比现有的基于transformer的方法更快的速度,同时保持了良好的生成质量。此外,预训练的Lformer可以编辑图像,而无需微调。我们可以回滚到早期的步骤进行再生或使用限界框和文本提示编辑图像。
2023-03-07 cs.CV
Tell Me What Is Good About This Property: Leveraging Reviews For Segment-Personalized Image Collection Summarization
Warsaw University of Technology(华沙理工大学)
本文提出CrossSummarizer,利用房产评论提取用户关注点,在无需标注的情况下生成符合用户意图的个性化图像集摘要,实验证明其优于无个性化和图像聚类基线。
2023-10-30 cs.CV cs.LG
How good is my GAN?
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
生成对抗网络(GANs)是当今最流行的生成图像的方法之一。虽然令人印象深刻的结果已经通过目视检查得到验证,但一些定量标准只是最近才出现。我们在此认为,现有的机制是不够的,需要与手头的任务相适应。本文介绍了两种基于图像分类的度量方法--GAN-train和GAN-test,它们分别近似于GANs的查全率(多样性)和查准率(图像质量)。我们评估了一些最近的GAN方法的基础上,这两个措施,并表现出明显的性能差异。此外,我们观察到,从CIFAR 10到CIFAR 100再到ImageNet,数据集的难度越来越大,显示出与GANs质量的负相关性,这从我们的测量中可以明显看出。
2018-07-25 cs.CV cs.LG
Good Similar Patches for Image Denoising
Portland State University(波特兰州立大学)
像BM3D这样的基于补丁的去噪算法已经取得了出色的性能。这些方法成功的一个重要思想是利用输入图像中相似块的递归来估计底层图像结构。然而,在这些算法中,用于去噪的相似块通过最近邻搜索(NNS)获得,并且有时不是最优的。首先,由于噪声的存在,NNS可以选择与参考贴片具有相似噪声模式的相似贴片。其次,数字图像中不可靠的噪声像素会给补丁搜索过程带来偏差,并导致最终去噪结果中的颜色保真度损失。我们观察到,给定一组良好的相似补丁,它们的分布不一定集中在有噪声的参考补丁,可以近似为高斯分量。基于这一观察,我们提出了一种补丁搜索方法,聚类相似的补丁候选补丁组使用高斯混合模型为基础的聚类,并选择补丁组,其中包含参考补丁作为最终的补丁去噪。我们还使用了一个不可靠的像素估计算法来预处理的输入噪声图像,以进一步提高补丁搜索。我们的实验表明,我们的方法可以更好地捕捉底层补丁结构,并可以始终使国家的最先进的基于补丁的去噪算法,如BM3D,LPCA和PLOW,更好地去噪图像,通过提供他们与补丁发现我们的方法,而不修改这些算法。
2019-01-18 cs.CV cs.GR eess.IV
User-Aware Prefix-Tuning is a Good Learner for Personalized Image Captioning
Zhejiang University(浙江大学);University of Washington(华盛顿大学)
提出一种基于用户感知前缀微调的个性化图像描述框架,利用冻结的GPT-2和CLIP提取视觉特征与用户上下文生成前缀,在少量参数训练下显著提升了描述性能。
2024-12-20 cs.CV
Image Classification base on PCA of Multi-view Deep Representation
Hangzhou Dianzi University(杭州电子科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
在信息爆炸的时代,图像分类是处理和组织大量图像数据的关键技术。目前,经典的图像分类算法大多是基于RGB图像或灰度图像的,未能很好地利用物体或场景的深度信息。图像中的深度信息具有很强的互补作用,可以显著提高分类精度。本文提出了一种基于多视点深度特征的主成分分析的图像分类技术。首先对原始图像进行深度估计,然后分别从RGB视图和深度视图中提取深度特征,并通过PCA进行降维操作。最后将支持向量机应用于图像分类。实验结果表明,该方法具有良好的性能。
2019-03-12 cs.CV
Assessing the Role of Random Forests in Medical Image Segmentation
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
神经网络代表了一个研究领域,它可以在使用GPU的医学图像分割领域中快速取得非常好的结果。一种可能的方法来实现良好的结果没有GPU是随机森林。为此,将两种随机森林方法与最先进的深度卷积神经网络进行了比较。为了进行比较,使用了PhC-C2 DH-U373和视网膜成像数据集。评测结果表明,深度卷积神经网络取得了最佳效果。然而,随机森林方法之一也实现了类似的高性能。我们的研究结果表明,随机森林方法是深度卷积神经网络的一个很好的替代方案,因此,允许在没有GPU的情况下使用医学图像分割。
2021-03-30 cs.CV cs.LG eess.IV