COVR: A test-bed for Visually Grounded Compositional Generalization with real images
Tel-Aviv University(特拉维夫大学);University of California Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
虽然近年来对在测试时推广到新组合的模型的兴趣有所增加,但视觉基础领域的基准迄今为止仅限于合成图像。在这项工作中,我们提出了COVR,一个新的测试平台,视觉接地组成的泛化与真实图像。为了创建COVR,我们使用带有场景图注释的真实图像,并提出了一个几乎完全自动的过程,用于生成问答对以及一组上下文图像。COVR专注于需要复杂推理的问题,包括量化和聚合等高阶运算。由于自动生成过程,COVR促进了组合分割的创建,其中测试时的模型需要在零或Few-Shot设置中泛化到新的概念和组合。我们使用COVR构建组合分裂,并展示了无数的情况下,最先进的预先训练的语言和视觉模型在组合上难以概括。
2021-09-22 cs.CL
Visually Grounded Continual Learning of Compositional Phrases
University of Southern California(南加州大学)
与当代NLP系统相比,人类不断地获取语言,每次对数据样本的访问要有限得多。为了研究这种类似人类的语言习得能力,我们提出了VisCOLL,一个视觉接地的语言学习任务,它模拟连续收购的组成短语从流视觉场景。在该任务中,模型在具有移动对象分布的成对图像-字幕流上进行训练;同时在保持的测试集上通过视觉接地的掩蔽语言预测任务进行不断评估。VisCOLL将持续学习的挑战(即,从连续移动的数据分布中学习)和合成概括(即,推广到新的组合物)。为了方便对VisCOLL的研究,我们构建了两个数据集,COCO-shift和Flickr-shift,并使用不同的持续学习方法对它们进行了基准测试。结果表明,SoTA持续学习方法对VisCOLL几乎没有改进,因为存储所有可能组合物的示例是不可行的。我们进行进一步的消融和分析,以指导未来的工作。
2020-11-17 cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机学院);Language Technologies Institute(语言技术研究所)
本文针对视觉基础语言模型在语义组合表征上的不足,提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法,以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Compositional Failure in Audio-Visual LLMs: Late-Layer Prior Dominance Under Cross-modal Conflict
本研究针对AV-LLMs,以音频-视觉冲突为组合泛化测试,发现模型存在先验主导的组合式失效,开展可解释性分析并验证时间对齐无法提升冲突解决能力,提供了相关代码与数据。
2026-09-23 cs.AI cs.CL
Chat-crowd: A Dialog-based Platform for Visual Layout Composition
University of Virginia(弗吉尼亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们介绍了聊天人群,一个交互式环境,通过对话的互动视觉布局组成。Chat-crowd支持具有两个会话角色的多个代理:扮演设计师角色的代理负责根据具有导演角色的代理发出的指令或命令将对象放置在可编辑画布中。该系统可与众包平台集成,用于同步和异步数据汇集,并配备了对两类代理人业绩的全面质量控制。我们希望,该系统将是有用的,以建立多模态目标为导向的对话任务,需要空间和几何推理。
2019-04-01 cs.CL cs.HC
ComCLIP: Training-Free Compositional Image and Text Matching
Columbia University(哥伦比亚大学)
针对CLIP等视觉-语言预训练模型组合式图像-文本匹配能力不足的问题,本文从因果视角提出免训练的ComCLIP模型,通过拆解图像组件、组合编码器执行演化匹配缓解虚假相关性,无需微调即可提升多个模型的零样本匹配性能。
2024-04-13 cs.AI cs.CL cs.CV
Challenging the principle of compositionality in interpreting natural language texts
本文旨在强调,组合性假设在解释自然语言语篇时,即使是放松的组合性假设,也面临着许多问题。与其在组成框架内解决这些问题,我们认为有必要进行更彻底的改变,并提出另一种方法。
2006-09-08 cs.CL
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
在构建能够推理和回答视觉数据问题的人工智能系统时,我们需要诊断测试来分析我们的进展并发现不足。现有的视觉问答基准可以提供帮助,但有很强的偏见,模型可以利用这些偏见来正确回答问题,而无需推理。它们还合并了多种错误来源,使得很难确定模型的弱点。我们提出了一个诊断数据集,测试一系列的视觉推理能力。它包含最小的偏见,并有详细的注释,描述了每个问题所需的推理类型。我们使用这个数据集来分析各种现代视觉推理系统,为它们的能力和局限性提供新的见解。
2016-12-20 cs.CL cs.CV cs.LG
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学)
本文提出CompART,通过分解标题为以对象为中心的短语并构建复合短语,提升多对象定位能力,验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
Speakerly: A Voice-based Writing Assistant for Text Composition
Grammarly
本文提出了Speakerly,一个实时基于语音的写作辅助系统,通过结合小型任务特定模型和预训练语言模型,支持指令与听写等多种输入模式,帮助用户高效生成格式良好且连贯的文本。
2023-10-24 cs.AI cs.CL
Analogical Reasoning for Visually Grounded Language Acquisition
Columbia University(哥伦比亚大学)
儿童通过观察周围的世界和听描述下意识地习得语言。即使没有明确的语言知识,他们也能发现单词的含义,并毫不费力地概括为新的作文。在本文中,我们通过研究视觉基础语言习得(VLA)的任务,将这种能力引入人工智能。我们提出了一个多模态的Transformer模型,增加了一个新的机制,类比推理,近似新的组合物,通过学习语义映射和推理操作,从以前看到的组合物。我们提出的方法,类比推理Transformer网络(ARTNet),训练的原始多媒体数据(视频帧和成绩单),并在观察一组组成,如“洗苹果”或“切胡萝卜”,它可以概括和识别新的视频帧,如“洗胡萝卜”或“切苹果”的新组成。为此,ARTNet参考训练数据中的相关实例,并使用其视觉特征和标题与查询图像建立类比。然后选择合适的动词和名词来创作一个新的作品,最好地描述新的形象。大量的教学视频数据集上的实验表明,该方法实现了显着更好的泛化能力和识别精度相比,国家的最先进的Transformer模型。
2020-07-22 cs.AI cs.CL cs.CV
Learning Visual Composition through Improved Semantic Guidance
Google DeepMind(谷歌DeepMind)
本文提出通过大幅改进弱标记标题数据来提升标准对比学习方法的性能,使CLIP模型在组合学习任务和图像检索上大幅超越定制架构。
2025-04-04 cs.AI cs.CL cs.CV
Unleashing the Potentials of Likelihood Composition for Multi-modal Language Models
Shanghai AI Laboratory(上海人工智能实验室);CUHK(香港中文大学);East China Normal University(华东师范大学);Peking University(北京大学)
本文提出“似然组合”事后框架,通过组合去偏、突出、多数投票和集成等基本操作融合异构多模态语言模型,并在9个VQA数据集和10个MLM上验证了混合组合方法优于简单集成和多数投票。
2024-10-01 cs.CL
VCWE: Visual Character-Enhanced Word Embeddings
Fudan University(复旦大学)
汉语是一种语标书写系统,汉字的字形包含着丰富的句法和语义信息。在本文中,我们提出了一个模型来学习中文词嵌入通过三个层次的组合:(1)一个卷积神经网络,以提取字符的视觉形状的字符内的组合;(2)一个递归神经网络与自我注意组成的字符表示到词嵌入;(3)Skip-Gram框架,直接从上下文信息捕获非组合。评估表明,我们的模型在四个任务:词相似度,情感分析,命名实体识别和词性标注的优越性能。
2019-03-25 cs.CL
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University(斯坦福大学)
我们介绍了GQA,一个新的数据集,用于现实世界的视觉推理和组合问答,寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎,利用场景图结构创建22M不同的推理问题,所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布,并提出了一个新的可调平滑技术,以减轻问题的偏见。该数据集附带了一套新的指标,用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析,为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%,强大的VQA模型获得54.1%,但人类性能最高可达89.3%,为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源,增强鲁棒性,提高一致性,并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation
Google Research(谷歌研究院);Google Brain(谷歌大脑)
我们提出了组合采样,一个简单但有效的方法来产生不同的输出,有条件的生成更高的质量相比,以前的随机解码策略。它建立在最近提出的基于计划的神经生成模型(Narayan et al,2021)的基础上,这些模型经过训练,首先创建输出的组合,然后通过调节它和输入来生成。我们的方法避免了文本退化,首先采样组成的实体链的形式,然后使用束搜索,以产生最好的可能接地到这个实体链的文本。摘要(CNN/DailyMail和XSum)和问题生成(SQuAD)的实验,使用现有的和新提出的自动度量以及基于人类的评估,证明了成分采样是目前最好的解码策略,用于生成各种有意义的输出。
2022-03-28 cs.CL
Semantic Compositional Networks for Visual Captioning
Duke University(杜克大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
提出了一种用于图像描述的语义合成网络(SCN),标签),并且每个标签的概率用于构成长短期记忆(LSTM)网络中的参数。SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合。集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关。除了为图像添加字幕外,我们还扩展了SCN以生成视频剪辑的字幕。我们定性分析了SCN中的语义组成,并在三个基准数据集上定量评估了该算法:COCO,Flickr30k和Youtube2Text。实验结果表明,该方法显着优于现有的最先进的方法,在多个评价指标。
2017-03-28 cs.CL cs.CV cs.LG
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
Set-Theoretic Compositionality of Sentence Embeddings
Auburn University(奥本大学);University of Central Florida(中佛罗里达大学)
本文提出基于集合论的六个标准,评估句子编码器的组合性,发现SBERT优于最新LLM,并发布约19.2万样本的新数据集以促进基准测试。
2025-02-28 cs.CL
LEGO-OPD: Factorized Teacher Composition for Multimodal On-Policy Distillation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
提出LEGO-OPD,通过因子化组合语言与定位专家教师,在贝叶斯框架下独立控制视觉监督强度,实现多模态蒸馏中视觉定位与语言推理的平衡,实验验证优于现有基线。
2026-10-02 cs.AI cs.CL cs.CV
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University(巴伊兰大学)
构建有意义的短语表示是具有挑战性的,因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义,引入隐含信息。我们测试了广泛的文本表示,以解决这些问题的能力。我们发现,正如预期的那样,语境化的词表征比静态的词嵌入表现更好,更多的是在检测意义转移比在恢复隐含信息,其中他们的表现仍然是远离人类。我们的评估套件,包括5个任务相关的词汇组成的影响,可以为未来的研究,旨在改善这种表征。
2019-05-19 cs.CL
Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
针对多方面可控文本生成(MCTG)缺乏组合泛化评估基准及现有方法组合测试性能下降的问题,提出CompMCTG基准与融合元学习的Meta-MCTG训练框架,有效提升了模型的组合泛化能力。
2024-06-03 cs.CL
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University(于默奥大学);Örebro University(厄勒布鲁大学)
我们介绍CLEVR-Math,一个多模态数学单词问题数据集,由涉及加法/减法的简单数学单词问题组成,部分由文本描述表示,部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景,而是关于应用动作之前或之后的场景状态,因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明,这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Image Search with Text Feedback by Additive Attention Compositional Learning
University of California, Merced(加州大学默塞德分校);Pinterest(拼趣)
具有文本反馈的有效图像检索将影响一系列现实世界的应用,例如电子商务。给定源图像和描述对该图像的期望修改的文本反馈,目标是通过组成多模态(图像-文本)查询来检索与源相似但满足给定修改的目标图像。我们提出了一种新的解决方案,添加剂注意组合学习(AACL),它使用了多模态转换器为基础的架构,并有效地模拟图像-文本上下文。具体来说,我们提出了一种新的基于附加注意力的图像-文本合成模块,可以无缝地插入到深度神经网络中。我们还介绍了一个新的具有挑战性的基准来自Shopping 100 k数据集。AACL在三个大规模数据集(FashionIQ,Fashion 200 k和Shopping 100 k)上进行了评估,每个数据集都有很强的基线。大量的实验表明,AACL在所有三个数据集上都取得了新的最先进的结果。
2022-03-08 cs.CL cs.CV
GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University(卡内基梅隆大学);Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力,发现VQAScore指标优于现有方法,可通过黑盒排序提升生成效果,并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
Measuring and Improving Compositional Generalization in Text-to-SQL via Component Alignment
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Nanning Central Sub-branch of the People’s Bank of China(中国人民银行南宁中心支行)
在文本到SQL的任务中--就像在大多数NLP中一样--组合泛化是一个主要的挑战:神经网络在训练和测试分布不同的情况下与组合泛化作斗争。然而,最近试图改善这一点是基于单词级的合成数据或特定的数据集分裂,以产生成分偏见。在这项工作中,我们提出了一个子句级的组合示例生成方法。我们首先将Spider text-to-SQL数据集中的句子拆分为子句子,用相应的SQL子句注释每个子句子,从而生成一个新的数据集Spider-SS。然后,我们构建了一个进一步的数据集,蜘蛛CG,通过组成蜘蛛SS子句子在不同的组合,测试模型的能力,组成概括。实验表明,现有的模型在Spider-CG上进行评估时,即使在训练过程中看到每个子句子,也会出现显着的性能下降。为了解决这个问题,我们修改了一些国家的最先进的模型,训练的Spider-SS的分割数据,我们表明,这种方法提高了泛化性能。
2022-05-04 cs.CL
MVGraph: Benchmarking LVLMs on Evidence Composition across Multi-View Visual Graph
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本研究推出MVGraph基准,针对现有多图推理基准的不足,构建含8000实例的多视图视觉图任务集,分解多图推理能力并开展诊断,揭示LVLMs多图推理的瓶颈与能力边界。
2026-10-12 cs.CL cs.CV
Composition and Deformance: Measuring Imageability with a Text-to-Image Model
Northeastern University(东北大学)
本文利用文本到图像生成模型提出测量单词和连贯文本可成像性的计算方法,并通过变形实验验证其对组合性变化的敏感度优于基线方法。
2023-06-05 cs.CL cs.CV
From Word2Vec to Transformers: Text-Derived Composition Embeddings for Filtering Combinatorial Electrocatalysts
Ruhr University Bochum(鲁尔大学波恩)
本文提出基于文本的组成嵌入方法,用于无标签筛选电催化剂,通过比较Word2Vec与Transformer模型,实现对候选组合的有效过滤。
2026-03-09 cond-mat.mtrl-sci cs.CL
Exploring the Compositional Generalization in Context Dependent Text-to-SQL Parsing
Tsinghua University(清华大学)
本文首次研究上下文依赖 Text-to-SQL 的组合泛化,构建 CoSQL-CG 与 SParC-CG 基准,并提出 p-align 通过对齐历史 SQL 与当前话语提升模型泛化性能。
2023-05-29 cs.CL
SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation
Peking University(北京大学)
针对数据到文本生成中组合泛化评估局限于单一表现、未覆盖大语言模型的问题,本文提出涵盖四类表现形式、无需额外人工标注的SPOR评估方法,验证其有效性并发现现有模型存在多方面不足,为相关评估提供框架。
2024-07-15 cs.CL
Compositional Zero-Shot Domain Transfer with Text-to-Text Models
University of Cambridge(剑桥大学);Microsoft Health Futures(微软健康未来部门)
标签稀缺是提高专业领域任务性能的瓶颈。我们提出了一种新的成分迁移学习框架(DoT5域成分zero-shot T5)的zero-shot域迁移。在不访问域内标签的情况下,DoT5以多任务的方式联合学习领域知识(来自未标记的域内自由文本的MLM)和任务知识(来自更容易获得的通用领域数据的任务训练)。为了提高任务训练的可移植性,我们设计了一种名为NLGU的策略:我们同时训练NLG进行域内标签到数据的生成,这使得数据增强用于自微调,NLU用于标签预测。我们在生物医学领域和资源贫乏的放射学子域上评估DoT5,重点是NLI,文本摘要和嵌入式学习。DoT5通过多任务学习证明了组合迁移学习的有效性。特别是,DoT5在RadNLI上的zero-shot传输中的精度超过当前SOTA 7个绝对点。我们通过消融和案例研究验证了DoT5,证明其能够解决需要领域内专业知识的具有挑战性的NLI示例。
2023-03-23 cs.CL cs.LG
Curriculum Learning for Compositional Visual Reasoning
Conservatoire National des Arts et Métiers(法国国立工艺学院);XXII Group(XXII集团)
可视化问答(VQA)是一项复杂的任务,需要大量的数据集和昂贵的训练。神经模块网络(NMN)首先将问题转换为推理路径,然后沿着该路径分析图像并提供答案。我们提出了一种NMN方法,该方法依赖于预定义的跨模态嵌入来在GQA数据集上进行“热启动”学习,然后专注于课程学习(CL),以改善训练并更好地利用数据。几个困难的标准被用来定义CL方法。我们表明,通过适当选择的CL方法的训练成本和训练数据的量可以大大降低,与最终的VQA精度的影响有限。此外,我们在训练过程中引入了中间损失,并发现这可以简化CL策略。
2023-03-27 cs.CL cs.CV cs.LG
Compositional Generalization for Data-to-Text Generation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
针对数据到文本生成中未见谓词组合导致的组合泛化问题,提出谓词聚类逐句生成模型,并构建基准,在忠实度指标上比T5提升31%。
2023-12-05 cs.CL cs.LG
AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
视觉事件是一个时间动作的组合,涉及空间上与对象交互的演员。在开发能够推理组合时空事件的计算机视觉模型时,我们需要能够分析进展并发现缺点的基准。现有的视频问答基准测试是有用的,但它们往往将多个错误来源合并到一个准确性度量中,并且具有模型可以利用的强烈偏见,因此很难查明模型的弱点。我们提出了行动基因组问答(AGQA),一个新的基准组合时空推理。AGQA包含$9.6K$视频的$192M$不平衡问题答案对。我们还提供了一个平衡的子集的$3.9M$问题答案对,$3$数量级大于现有的基准,最大限度地减少偏见,通过平衡的答案分布和类型的问题结构。虽然人类评估者将我们的问题-答案对中的$86.02\%$标记为正确,但最好的模型只能达到$47.74\%$的准确性。此外,AGQA还引入了多个训练/测试分割来测试各种推理能力,包括对新组合、间接引用和更多组合步骤的概括。使用AGQA,我们评估了现代视觉推理系统,证明了最好的模型几乎没有比利用语言偏见的非视觉基线更好的表现,并且现有的模型都没有推广到训练过程中看不到的新成分。
2021-03-30 cs.CL cs.CV
Text encoders bottleneck compositionality in contrastive vision-language models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所)
本文通过构建CompPrompts和ControlledImCaps基准,利用仅文本恢复探针揭示了CLIP等对比视觉-语言模型中文本编码器在组合性理解上的瓶颈,并证明文本可恢复性是组合性建模的必要条件。
2023-10-30 cs.CL cs.CV cs.LG
Linguistic Structure as Composition and Perturbation
本文讨论了从未经处理的文本和语音信号中学习语言的问题,重点讨论了学习词汇的问题。特别是,它认为语言的表示,其中语言参数,如单词是通过扰动现有参数的组成。在文本分割和压缩,从原始语音的词典的收购,以及收购文本和人工表示的意义之间的映射的几个例子证明了这种表示的力量。
1996-06-21 cmp-lg cs.CL