Label2Label: A Language Modeling Framework for Multi-Attribute Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
对象通常与多个属性相关联,并且这些属性通常表现出高度的相关性。属性之间复杂关系的建模对多属性学习提出了巨大挑战。本文提出了一个简单而通用的框架Label2Label利用复杂的属性相关性。Label2Label是从语言建模的角度进行多属性预测的第一次尝试。具体来说,它将每个属性标签视为描述样本的“单词”。由于每个样本都被标注了多个属性标签,这些“词”将自然形成一个无序但有意义的“句子”,它描绘了相应样本的语义信息。受NLP中预训练语言模型的显著成功的启发,Label2Label引入了一种图像条件掩码语言模型,它随机地从标签“句子”中屏蔽一些“单词”标记,并旨在基于被屏蔽的“句子”和图像特征所传达的上下文来恢复它们。我们的直觉是,如果神经网络可以根据上下文和剩余的属性提示推断出缺失的属性,那么就可以很好地把握实例属性关系。Label2Label概念简单,经验强大。在不结合特定于任务的先验知识和高度专业化的网络设计的情况下,与高度定制的特定于领域的方法相比,我们的方法在三种不同的多属性学习任务上实现了最先进的结果。代码可在https://github.com/Li-Wanhua/Label2Label上获得。
2022-07-18 cs.CV
Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition
University of California, San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(Adobe研究院)
最近,人们对自动生成图像的描述产生了很大的兴趣。大多数现有的语言模型为基础的方法,这项任务学习生成一个图像描述的单词在其原始的词序。然而,对于人类来说,首先定位对象及其关系,然后详细说明每个对象,描述显着的属性是更自然的。我们提出了一种由粗到精的方法,将原始图像描述分解为骨架句及其属性,并分别生成骨架句和属性短语。通过这种分解,我们的方法可以产生更准确和新颖的描述比以前的国家的最先进的。MS-COCO和一个更大规模的Stock 3 M数据集上的实验结果表明,我们的算法产生一致的改善,在不同的评价指标,特别是SPICE指标,它有更高的相关性比传统的指标与人类的评级。此外,我们的算法可以产生不同长度的描述,受益于骨架和属性的单独控制。这使得能够更好地适应用户偏好的图像描述生成。
2017-04-23 cs.CV
Revealing the Impact of Visual Text Style on Attribute-based Descriptions Produced by Large Visual Language Models
Radboud University(拉博德大学);Xi'an Jiaotong University(西安交通大学)
研究视觉文本风格如何影响大型视觉语言模型对概念属性的描述,发现即使正确识别概念,文本风格仍会影响模型输出,推动风格感知评估与缓解。
2026-10-19 cs.CL cs.CV
Learning Continuous 3D Words for Text-to-Image Generation
University of Oxford(牛津大学);Adobe Research(奥多比研究中心)
针对扩散模型难以控制抽象连续属性的问题,提出Continuous 3D Words方法,通过可连续变换的特殊输入token,结合单个网格与渲染引擎,实现对光照、姿态等3D感知属性的细粒度联合控制,且不增加生成开销。
2024-02-13 cs.CV
Deep Adaptive Learning for Writer Identification based on Single Handwritten Word Images
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence(伯努利数学、计算机科学与人工智能研究所);University of Groningen(格罗宁根大学)
在每个手写单词图像中有两种类型的信息:可以容易地读取或直接导出的显式信息,例如词汇内容或字长,以及隐式属性,例如作者的身份。神经网络为一项任务学习的特征是否可以用于另一项任务仍然是一个悬而未决的问题。在本文中,我们提出了一种深度自适应学习方法,用于基于多任务学习的单字图像的作者识别。一个辅助任务被添加到训练过程中,以强制可重用特征的出现。我们提出的方法将卷积神经网络的学习特征的优点从辅助任务(如显式内容识别)转移到单个过程中的主要任务(即作者识别)。具体来说,我们提出了一个新的自适应卷积层来利用学习到的深度特征。具有一个或多个自适应卷积层的多任务神经网络被端到端地训练,以利用用于特定主任务的鲁棒通用特征,即,作者身份三个辅助任务,对应于三个显式属性的手写文字图像(词汇内容,字长和字符属性),进行评估。在两个基准数据集上的实验结果表明,与非自适应和简单的线性自适应方法相比,所提出的深度自适应学习方法可以提高基于单字图像的作者识别性能。
2018-09-28 cs.CV
Automatic Attribute Discovery with Neural Activations
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);NTT Media Intelligence Laboratories(NTT媒体智能研究所);Tohoku University(东北大学)
在没有明确的监督数据集的情况下,机器如何学习识别在线社区中出现的视觉属性?本文提出了一种自动的方法来发现和分析的视觉属性,从嘈杂的收集图像文本数据在Web上。我们的方法基于深度网络中属性和神经激活之间的关系。我们的特点是视觉属性的属性词作为一个分歧内弱注释的图像集。我们表明,神经激活是有用的发现和学习分类,以及同意人类的感知从嘈杂的现实世界的Web数据。实证研究表明,深层神经网络的分层结构也让我们了解给定单词的感知深度。最后,我们证明了我们可以利用高度激活的神经元来寻找语义相关区域。
2016-07-25 cs.CV
An Image is Worth Multiple Words: Multi-attribute Inversion for Constrained Text-to-Image Synthesis
Adobe Research(奥多比研究院)
本文提出多属性反演算法MATTE,通过跨时间步与层维度设计并引入正则化损失,显式解耦颜色、风格、布局和对象四个词元,从而用单张参考图像约束扩散模型生成新样本。
2023-11-20 cs.CV
Soft-PHOC Descriptor for End-to-End Word Spotting in Egocentric Scene Images
CVC, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);MICC, University of Florence(佛罗伦萨大学MICC)
自然场景图像中的词识别在场景理解和视觉辅助中有着广泛的应用。在本文中,我们提出了一种技术来创建和开发一个中间表示的图像的基础上的文本属性,这是字符概率图。我们的表示扩展了字符金字塔直方图(PHOC)的概念,通过利用全卷积网络来导出候选词区域内字符分布的像素级映射。我们称这种表示为软PHOC。此外,我们展示了如何使用软PHOC描述符,通过一个有效的文本行建议算法,在自我中心的摄像头流字定位任务。这是基于对角色属性贴图进行Hough变换,然后使用动态时间扭曲(DTW)进行评分。我们在ICDAR 2015挑战4数据集上评估了我们的结果,该数据集是由以自我为中心的相机捕获的附带场景文本。
2019-10-11 cs.CV
ChatGPT-guided Semantics for Zero-shot Learning
North South University(北南大学);University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织);Data61;University of Technology Sydney(悉尼科技大学)
本文提出利用ChatGPT生成类描述并结合类名词嵌入来增强零样本学习中的类语义,提出了一种新颖的词向量融合方法,在2D图像和3D点云数据集上提升了ZSL性能。
2023-10-18 cs.CV
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University(多特蒙德工业大学);Department of Computer Science(计算机科学系)
属性表示在图像识别和单词识别中变得相关,在存在不平衡和不相交数据集的情况下提供支持。然而,对于使用来自身体传感器的序列数据的人类活动识别,缺乏人类标记的属性。本文介绍了一种搜索属性,代表有利的信号段识别人类活动。它提出了三种深度架构,包括时间卷积和以IMU为中心的设计,用于预测属性。随机和学习的属性表示,以及网络的经验评估是在两个数据集上进行的,优于最先进的。
2018-02-02 cs.CV
Automatic Spatially-aware Fashion Concept Discovery
University of Maryland(马里兰大学);Snap Inc.(Snap公司);Google Inc.(谷歌公司)
提出了一种基于购物网站弱标记图文数据的空间感知概念自动发现方法。我们首先通过在视觉语义嵌入空间中联合建模服装图像及其相应的描述来微调GoogleNet。然后,对于每个属性(词),我们通过将其语义词向量表示与从微调网络的卷积映射导出的空间表示相结合来生成其空间感知表示。所得到的空间感知表示还用于将属性聚类到多个组中以形成空间感知概念(例如,领口概念可以包括诸如V领、圆领等属性)。最后,我们将视觉语义嵌入空间分解成多个概念特定的子空间,这有利于结构化浏览和属性反馈产品检索,利用多模态语言学。我们在新收集的Fashion200K数据集上进行了广泛的实验,聚类质量评估和属性反馈产品检索任务的结果证明了我们自动发现的空间感知概念的有效性。
2017-08-03 cs.CV
Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval
Zhejiang University(浙江大学)
本文提出知识增强的双流零样本组合图像检索框架KEDs,通过引入数据库隐式建模参考图像的细粒度属性,并利用伪三元组将伪词token与文本概念显式对齐,在多个基准测试上优于现有方法。
2024-03-24 cs.CV
Transductive Zero-Shot Action Recognition by Word-Vector Embedding
Queen Mary, University of London(伦敦玛丽女王大学)
用于动作识别的类别的数量正在快速增长,并且已经变得越来越难以标记足够的训练数据来学习用于所有类别的传统模型。与其收集更多的数据并为所有类别对其进行详尽的标记,一种有吸引力的替代方法是零样本学习“(Zero-shot learning)。为此,在这项研究中,我们构建了一个视觉特征和语义描述符的每个动作类别之间的映射,允许新的类别被识别在没有任何视觉训练数据。现有的语义表征研究主要集中在静态图像和基于属性的语义表征。在这项工作中,我们探索词向量作为共享的语义空间,嵌入视频和类别标签,以实现视频动作识别。这是一个更具挑战性的问题比现有的静态图像和/或属性,因为视频时空特征的动作和语义空间之间的映射更复杂,更难学习的目的,概括任何跨类别域的转变。为了解决这一泛化问题,在CNOL动作识别,我们研究了一系列的协同策略,以改善标准的CNOL管道。这些策略中的大多数本质上是转导的,这意味着在训练阶段访问测试数据。
2016-12-02 cs.CV
Leveraging MLLM Embeddings and Attribute Smoothing for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);Qifu Technology(启福科技)
针对组合式零样本学习中属性-物体解耦、语义嵌入不足和已见组合过度自信问题,提出结合 MLLM 嵌入、特征自适应解耦与 LLM 属性平滑的框架,并在三个数据集上达到 SOTA。
2025-06-08 cs.AI cs.CV
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Science and Technology(南京理工大学);Huawei Devices(华为终端);University of Chinese Academy of Sciences(中国科学院大学)
图像描述试图生成由多个语言词组成的句子,这些语言词用于描述图像中的对象、属性和交互,在本文中表示为视觉语义单元。基于这一观点,本文提出了基于图卷积网络(Graph Convolutional Networks,GCN)的语义和几何对象交互模型,并充分利用语言词和视觉语义单元之间的对齐关系来实现图像描述。特别地,我们构造语义图和几何图,其中每个节点对应于视觉语义单元,即,对象、属性或两个对象之间的语义(几何)交互。因此,通过相应的GCN学习处理器获得每个单元的语义(几何)上下文感知嵌入。在每一个时间步,上下文门控注意模块作为输入的嵌入的视觉语义单元和分层对齐的当前单词与这些单元,首先决定哪种类型的视觉语义单元(对象,属性,或交互)的当前单词是关于,然后找到最相关的视觉语义单元下的这种类型。在具有挑战性的MS-COCO图像描述数据集上进行了广泛的实验,并报告了与最先进方法相比的优越结果。
2019-08-06 cs.CL cs.CV cs.LG
Supervised mid-level features for word image representation
Xerox Research Centre Europe(施乐欧洲研究中心)
本文讨论了学习单词图像表示的问题:给定一个单词的裁剪图像,我们有兴趣找到一个描述性的,鲁棒的,紧凑的固定长度的表示。然后,可以向机器学习技术提供这些表示,以产生对单词检索或识别任务有用的模型。虽然许多作品都集中在机器学习方面,一旦一个全局表示已经产生,很少的工作一直致力于这些基础图像表示的建设:大多数作品使用标准的编码和聚合技术直接在标准计算机视觉功能,如SIFT或HOG。我们建议学习适合构建单词图像表示的本地中级特征。这些特征是通过在一小组训练图像上利用字符限界框注释来学习的。然而,与使用字符限界框信息的其他方法相反,我们的方法不依赖于在测试时显式地检测单个字符。然后,我们可以聚合本地中级特征以生成全局单词图像签名。当将这些特征与Almazán等人最近的词属性框架配对时,我们获得了与使用仅96维的全局描述符的匹配和识别任务的现有技术相当或更好的结果。
2014-11-14 cs.CV
Controllable Text-to-Image Generation
University of Oxford(牛津大学)
在本文中,我们提出了一种新的可控的文本到图像的生成对抗网络(ControlGAN),它可以有效地合成高质量的图像,并根据自然语言描述控制部分图像生成。为了实现这一目标,我们引入了一个词级空间和通道的注意力驱动的生成器,可以解开不同的视觉属性,并允许模型专注于生成和操纵对应于最相关的单词的子区域。此外,提出了一个字级的监督反馈提供细粒度的监督反馈,通过相关的话与图像区域,促进训练一个有效的生成器,能够操纵特定的视觉属性,而不影响其他内容的生成。此外,感知损失被用来减少图像生成中的随机性,并鼓励生成器操纵修改文本中所需的特定属性。在基准数据集上的大量实验表明,我们的方法优于现有的最先进的,并且能够有效地操纵合成图像使用自然语言描述。代码可在https://github.com/mrlibw/ControlGAN上获得。
2019-12-19 cs.CL cs.CV cs.LG
Attribute Token Arithmetic: Disentangled and Continuous Semantic Control for Visual Autoregressive Models
Monash University(莫纳什大学)
本文提出ATA方法,在预训练自回归隐空间中学习视觉属性语义方向,通过简单算术操作实现连续多属性调整,在可控性等指标上优于现有基线。
2026-08-31 cs.CV
Fashion-Specific Attributes Interpretation via Dual Gaussian Visual-Semantic Embedding
Waseda University(早稻田大学);ZOZO Research(ZOZO研究院)
研究了将各种类型的组件(如文字、属性和图像)映射到嵌入式空间的几种技术。大多数算法将目标实体的嵌入表示估计为射影空间中的一个点。一些模型,如Word 2Gauss,假设嵌入式表示背后的概率分布,这使得嵌入式目标组件的含义的传播或变化能够被更详细地捕获和考虑。我们研究的方法估计嵌入式表示的概率分布的解释时尚特定的抽象和难以理解的条款。诸如“休闲”、“成人休闲”、“美容休闲”和“正式”之类的术语非常主观和抽象,专家和非专家都难以理解,这阻碍了用户尝试新时尚。我们提出了一个端到端的模型称为双高斯视觉语义嵌入,它映射图像和属性在同一个投影空间,并使这些术语的含义的解释,其广泛的应用。我们证明了所提出的方法的有效性,通过多方面的实验,涉及图像和属性映射,图像检索和重新排序技术,并详细的理论/分析讨论的距离测量包括在损失函数。
2022-11-07 cs.CV cs.LG
Learning Concise and Descriptive Attributes for Visual Recognition
UC San Diego(加州大学圣地亚哥分校);UC Santa Barbara(加州大学圣塔芭芭拉分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文针对LLM生成的大量属性中存在噪声、与随机词表现相近的问题,提出一种学习搜索方法,以极少量属性(如CUB上仅32个)实现接近大规模属性的分类性能,并提升可解释性与交互性。
2023-08-07 cs.CV
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习(Zero-shot learning,简称ZRL)高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近,从大型文本语料库中预训练的分布式词嵌入(DWE)已成为绘制这种连接的流行选择。与人类定义的属性相比,DWE具有更好的可扩展性和更容易获得。然而,它们被设计为反映语义相似性而不是视觉相似性,因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异,这项工作提出了一个目标函数,通过学习神经网络将其映射到一个新的表示,称为视觉对齐的词嵌入(VAWE)的视觉信息重新对齐的分布式词嵌入。因此,VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意,在这项工作中,我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法,而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估,VAWE表现出一致的性能改善。
2017-07-18 cs.CV
Beyond Bag-of-Words: Diagnosing Compositional Binding Failures in Vision-Language Models
Politecnico di Milano(米兰理工学院);The University of Tokyo(东京大学)
Auto-Comp通过自动化生成可扩展基准,揭示了对比视觉-语言模型在组合推理中的普遍缺陷及视觉-语言上下文的权衡问题。
2026-09-28 cs.AI cs.CV
Learning Visually Consistent Label Embeddings for Zero-Shot Learning
HAVELSAN Inc.(哈维尔桑公司);Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
在这项工作中,我们提出了一个零样本学习方法,有效地建模类之间的知识转移,通过共同学习视觉上一致的词向量和标签嵌入模型在端到端的方式。其主要思想是将属性和类的向量空间词向量投影到视觉空间中,使得语义相关类的词表示变得更接近,并使用所提出的嵌入模型中的投影向量来识别未见过的类。我们在两个基准数据集上对所提出的方法进行了评估,实验结果表明,我们的方法在识别精度上有了显着的提高。
2019-05-16 cs.CV
Context-I2W: Mapping Images to Context-dependent Words for Accurate Zero-Shot Composed Image Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Institute of Technology(北京理工大学);University of Adelaide(阿德莱德大学)
针对零样本组合图像检索,提出上下文相关映射网络Context-I2W,通过意图视图选择器和视觉目标提取器将图像映射为伪词标记,在四个任务上性能提升1.88%-3.60%,达到最先进水平。
2023-12-15 cs.CV
CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)
CLIP表现出词袋模型特性,但其属性-对象绑定信息已单模态编码,通过简单线性变换可提升性能。
2026-02-28 cs.CV cs.LG
Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation
University of Oxford(牛津大学);University of Hong Kong(香港大学)
我们提出了一种新的轻量级生成对抗网络,使用自然语言描述进行有效的图像操作。为了实现这一点,提出了一种新的词级训练器,它为生成器提供了词级的细粒度训练反馈,以便于训练具有少量参数的轻量级生成器,但仍然可以正确地关注图像的特定视觉属性,然后编辑它们而不会影响文本中未描述的其他内容。此外,由于与每个单词相关的显式训练信号,还可以简化训练器以具有轻量结构。与现有技术相比,我们的方法具有更少的参数,但仍然达到了有竞争力的操作性能。大量的实验结果表明,该方法能够更好地将不同的视觉属性分解,并正确地映射到相应的语义词,从而实现更精确的图像修改,并使用自然语言描述。
2020-10-23 cs.CL cs.CV cs.LG
An Image is Worth More Than a Thousand Words: Towards Disentanglement in the Wild
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
无监督的解纠缠已被证明在理论上是不可能的,没有模型和数据上的归纳偏差。作为一种替代方法,最近的方法依赖于有限的监督,以解开变异的因素,并允许其识别。虽然注释的真正的生成因素只需要有限数量的观察,我们认为,这是不可行的,列举所有的变化因素,描述了一个真实世界的图像分布。为此,我们提出了一种方法来解开一组因素,只有部分标记,以及分离的互补集的残留因素,从来没有明确规定。我们在这一具有挑战性的环境中取得的成功,在合成基准测试中得到了证明,这使得我们能够利用现成的图像描述符以最小的手动努力部分注释真实图像域(例如人脸)中的属性子集。具体来说,我们使用最近的语言图像嵌入模型(CLIP)注释一组感兴趣的属性在一个zero-shot的方式和展示国家的最先进的解开图像处理结果。
2021-10-25 cs.CV cs.LG
ViCo: Word Embeddings from Visual Co-occurrences
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们建议从视觉同现中学习词嵌入。如果两个词应用于相同的图像或图像区域,则两个词在视觉上共同出现。具体来说,我们从VisualGenome和ImageNet等大规模文本注释的视觉数据库中提取了对象和属性词之间的四种视觉同现。然后,我们训练一个多任务日志双线性模型,压缩编码词的“含义”表示的每个共现类型到一个单一的视觉词向量。通过无监督聚类,监督分区,和一个zero-shot样的泛化分析,我们表明,我们的词嵌入补充纯文本嵌入,如GloVe更好地代表视觉概念之间的相似性和差异,很难单独从文本语料库。我们进一步评估了五个下游应用程序的嵌入,其中四个是视觉语言任务。使用我们的嵌入增强GloVe可以在所有任务上获得收益。我们还发现,随机嵌入在所有有监督的视觉语言任务中执行学习嵌入,这与传统观点相反。
2019-08-22 cs.CL cs.CV
HA-FGOVD: Highlighting Fine-grained Attributes via Explicit Linear Composition for Open-Vocabulary Object Detection
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院)
本文提出HA-FGOVD方法,通过在显式线性空间中突出细粒度属性,利用LLM识别属性词并组合全局与属性特征,提升冻结主流OVD模型的属性级检测能力,在FG-OVD上达到新最优。
2024-09-24 cs.AI cs.CL cs.CV
Disentangling Visual Embeddings for Attributes and Objects
University of Maryland, College Park(马里兰大学帕克分校)
研究了组合零样本学习在对象属性识别中的应用问题。先前的工作使用通过骨干网络提取的视觉特征,预先训练用于对象分类,因此无法捕获与属性相关的微妙的独特特征。为了克服这一挑战,这些研究采用了来自语言空间的监督,并使用预训练的词嵌入来更好地分离和组合属性-对象对以进行识别。类似的语言嵌入空间,它已经有独特的和不可知的嵌入对象和属性,我们将重点转移到视觉空间,并提出了一种新的架构,可以解开属性和对象的功能在视觉空间。我们使用视觉分解特征来产生代表所见和新成分的嵌入,以更好地规范我们模型的学习。大量的实验表明,我们的方法优于现有的工作与显着的利润率在三个数据集:麻省理工学院的国家,UT-Zappos,和一个新的基准创建的基础上VAW。代码、模型和数据集分割可在https://github.com/nirat1606/OADis上公开获得。
2022-05-17 cs.CV cs.LG
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
University of Malaya(马来亚大学)
一张图片胜过千言万语。然而,直到最近,我们才注意到在理解视觉场景方面的一些成功案例:一个能够检测/命名对象,描述其属性并识别其关系/交互的模型。在本文中,我们提出了一个基于短语的分层长短期记忆(phi-LSTM)模型来生成图像描述。所提出的模型将句子编码为短语和单词的组合序列,而不是像传统解决方案中那样单独的单词序列。该模型的两个层次致力于i)学习生成图像相关名词短语,以及ii)从语料库中的短语和其他单词中产生适当的图像描述。采用卷积神经网络来学习图像特征,采用LSTM来学习句子中的单词序列,与Flickr 8 k和Flickr 30 k数据集上的最先进模型相比,该模型显示出更好或具有竞争力的结果。
2017-10-26 cs.CL cs.CV
Mitigating Bias with Words: Inducing Demographic Ambiguity in Face Recognition Templates by Text Encoding
Fraunhofer IGD(弗劳恩霍夫研究所(IGD));TU Darmstadt(德累斯顿技术大学)
通过引入文本编码,UTIE在人脸识别模板中诱导人口统计学模糊性,以减少偏见并提升验证性能。
2025-12-05 cs.AI cs.CV
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University(西南大学);Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research(山东大学-南洋理工大学人工智能联合研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而,该假设经常被违反,导致zero-shot CMH问题。最近的努力,以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而,属性是孤立的多模态数据的特征。为了减少信息差距,我们引入了一种方法,称为LAEH(标签属性嵌入zero-shot跨模态哈希)。LAEH首先通过word2vec模型得到标签的初始语义属性向量,然后使用一个转换网络将它们转换到一个公共子空间中。接下来,它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时,利用属性相似度作为标签相似度的补充,对标签嵌入和公共子空间进行修正。实验表明,LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
PAM: Understanding Product Images in Cross Product Category Attribute Extraction
Emory University(埃默里大学);Amazon(亚马逊)
了解产品属性对于改善消费者的在线购物体验具有重要作用,并且是构建产品知识图谱的重要组成部分。现有的方法大多集中在从文本描述中提取属性或利用产品图像中的视觉信息,如形状和颜色。与以前的作品中考虑的输入相比,产品图像实际上包含了更多的信息,由丰富的文字和视觉线索的混合物表示,精心设计的布局给客户留下深刻印象。这项工作提出了一个更具包容性的框架,充分利用这些不同的方式进行属性提取。受视觉问答中最近工作的启发,我们使用基于Transformer的序列到序列模型来融合产品文本、光学字符识别(OCR)标记和在产品图像中检测到的视觉对象的表示。通过训练解码器预测产品类别和属性值,并根据产品类别调整其输出,该框架进一步扩展了使用单个模型跨多个产品类别提取属性值的能力。该模型提供了一个统一的属性提取解决方案,希望在电子商务平台,提供了众多的产品类别与不同的身体的产品属性。我们评估了两个产品属性的模型,一个具有许多可能的值,一个具有一小部分可能的值,超过14个产品类别,发现与使用纯文本特征的现有方法相比,该模型可以在召回率上获得15%的增益,在F1得分上获得10%的增益。
2021-06-08 cs.CL cs.CV cs.LG
Expressive Text-to-Image Generation with Rich Text
Colorado State University(科罗拉多州立大学)
针对纯文本提示自定义性不足的问题,该研究提出利用富文本属性,通过基于区域的扩散过程实现局部样式控制、精确色彩渲染等功能,提升了文本到图像生成的表现力与可控性,效果优于强基线模型。
2025-01-14 cs.CV cs.GR cs.LG
A Thousand Words or An Image: Studying the Influence of Persona Modality in Multimodal LLMs
Georgia Institute of Technology(佐治亚理工学院)
本研究探讨多模态LLM中人物角色模态(文本、图像等)对体现效果的影响,构建40个角色的平行数据集和60问评估框架,发现文本更显语言习惯,图像易被忽略,为改进提供方向。
2025-02-27 cs.AI cs.CL cs.CV
The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);IIIS, Tsinghua University(清华大学交叉信息研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Deepmind(深度思考);MIT BCS(麻省理工学院脑与认知科学系);CBMM(脑、心智与机器中心)
我们提出了神经符号概念学习者(NS-CL),这是一种学习视觉概念,单词和句子的语义解析的模型,而无需对其中任何一个进行明确的监督;相反,我们的模型通过简单地查看图像和阅读配对的问题和答案来学习。我们的模型建立了一个基于对象的场景表示,并将句子转换为可执行的符号程序。为了桥接两个模块的学习,我们使用神经符号推理模块,该模块在潜在场景表示上执行这些程序。类似于人类的概念学习,感知模块根据所指对象的语言描述来学习视觉概念。同时,学习的视觉概念有助于学习新单词和解析新句子。我们使用课程学习来指导在图像和语言的大构图空间中的搜索。大量的实验表明,我们的模型学习视觉概念,单词表示,和句子的语义解析的准确性和效率。此外,我们的方法可以很容易地推广到新的对象属性,成分,语言概念,场景和问题,甚至新的程序域。它还支持可视化问答和双向图像-文本检索等应用程序。
2019-04-26 cs.AI cs.CL cs.CV