MR-COSMO: Visual-Text Memory Recall and Direct CrOSs-MOdal Alignment Method for Query-Driven 3D Segmentation
MR-COSMO通过视觉-文本记忆召回与直接跨模态对齐方法,在查询驱动的3D分割中实现几何与语义特征的精确融合,提升点云分割性能。
2025-12-15 cs.CV
SPINAL -- Scaling-law and Preference Integration in Neural Alignment Layers
IIIT Ranchi(兰契国际信息技术学院);Apple(苹果公司);Google(谷歌公司);BITS Pilani(皮拉尼博拉理工学院)
SPINAL通过分析神经对齐层的几何特性,量化对齐在深度层的集中表现及稳定性变化。
2026-01-08 cs.AI cs.CL cs.LG
Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs
University of Southern California(南加州大学);Inha University(inha大学)
本文提出Ghosted Layers方法,通过无约束优化解决层剪枝后激活分布不匹配问题,提升LLM准确性和 perplexity 而不牺牲效率。
2026-11-10 cs.AI cs.LG cs.PF
Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对LLM跨语言迁移受限于性能差距和数据稀缺的问题,提出基于中间层表示对齐的微调方法,实验证明其在多任务中显著提升跨语言迁移效果,且模块可合并无需全面重训。
2025-06-02 cs.AI cs.CL
Hierarchical Alignment: Block-Level LoRA-DPO for Preference Tuning in Large Language Models
The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学)
本文提出层级对齐方法,对LLM不同功能层(局部、中间、全局)分别进行DPO微调,在Llama-3.1-8B和Qwen1.5-7B上验证,全局对齐显著提升事实一致性与逻辑连贯性,且避免标准DPO的对齐税,实现更高效可控的模型对齐。
2026-10-27 cs.AI cs.CL
TextRegion: Text-Aligned Region Tokens from Frozen Image-Text Models
Siebel School of Computing and Data Science(塞比尔计算与数据科学学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出无需训练的TextRegion框架,结合图像-文本模型与SAM2分割模型生成文本对齐区域令牌,在开放世界语义分割、指代表达理解等任务上取得优越性能。
2025-11-06 cs.CV
TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对LLM时间序列预测依赖成对文本且模态对齐不足的问题,本文提出TS-HTFA,以QR分解虚拟文本和可学习提示替代文本,并在输入、特征、输出三层实现无文本跨模态对齐,取得SOTA效果。
2025-01-08 cs.AI
VISTA: Enhancing Vision-Text Alignment in MLLMs via Cross-Modal Mutual Information Maximization
Tencent(腾讯)
针对多模态大语言模型存在的文本偏向、跨模态对齐随文本长度下降的问题,提出无需额外模块和数据的VISTA方法,通过最大化跨模态互信息增强视觉-文本对齐,在十余个基准上显著优于基线。
2025-05-19 cs.CV
Optimizing Vision-Language Consistency via Cross-Layer Regional Attention Alignment
School of Medicine, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)医学院);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Wave and Machine Intelligence Department, Technology Innovation Institute(技术创新研究院波浪与机器智能部门);University of the Chinese Academy of Sciences(中国科学院大学);McGill University(麦吉尔大学)
针对视觉语言模型注意力不匹配问题,提出CCRA方法,通过跨层区域注意力对齐增强一致性,仅用3.55M参数在十个基准上达到最优性能。
2025-07-31 cs.CV
What You See is What You Read? Improving Text-Image Alignment Evaluation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出SeeTRUE评估集及两种自动对齐判定方法,在文本-图像对齐任务上超越先前方法,并能定位错位与重排候选。
2023-12-26 cs.CL cs.CV
Safety Layers in Aligned Large Language Models: The Key to LLM Security
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文在参数层面揭示了对齐大语言模型的安全机制,识别出关键的安全层,并提出安全部分参数微调方法SPPFT,在微调时固定安全层梯度,以在保持性能的同时显著保留安全性并降低计算资源消耗。
2025-04-07 cs.AI cs.CR
Towards Aligning Language Models with Textual Feedback
ETH Zürich(苏黎世联邦理工学院);IBM Research(IBM研究院)
提出仅依赖语言建模的 ALT 方法,通过条件化文本反馈对齐语言模型,在毒性降低上优于 PPO,并以 20% 样本达到摘要任务同等性能。
2025-03-18 cs.AI cs.CL cs.LG
VTQA: Visual Text Question Answering via Entity Alignment and Cross-Media Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
视觉问答的理想形式要求在视觉和语言的联合空间中进行理解、扎根和推理,并作为场景理解的人工智能任务的代理。然而,大多数现有的VQA基准测试仅限于从预定义的选项集合中选择答案,并且缺乏对文本的关注。我们提出了一个新的挑战,数据集包含23,781个问题,基于10124个图像-文本对。具体而言,该任务要求模型对齐同一实体的多媒体表示,以实现图像和文本之间的多跳推理,并最终使用自然语言来回答问题。这项挑战的目的是开发和基准模型,能够多媒体实体对齐,多步推理和开放式答案生成。
2023-03-05 cs.CV cs.MM
Text2VLM: Adapting Text-Only Datasets to Evaluate Alignment Training in Visual Language Models
Advai
Text2VLM通过将文本-only数据集转换为多模态格式,评估VLMs对提示注入攻击的鲁棒性,并揭示模型对齐中的关键弱点。
2026-01-05 cs.AI cs.CL cs.CR
ROCKET: Residual-Oriented Multi-Layer Alignment for Spatially-Aware Vision-Language-Action Models
University of Maryland, College Park;University of Wisconsin, Madison;City University of Hong Kong;St.\ Paul's School
ROCKET通过共享投影器和稀疏激活方案实现多层对齐,提升3D空间理解能力,在LIBERO等任务中达到98.5%的高成功率。
2026-02-20 cs.AI cs.CV
Pareto-Enhanced Portrait Generation: Vision-Aligned Text Supervision for Alignment, Realism, and Aesthetics
本文提出了一种多模态扩散变换器(MM-DiT)的特征监督方法,通过引入轻量级的跨模态对齐机制,隐式提取多粒度的视觉对齐文本表示,以提升文本-图像对齐、真实性和美学质量,从而在Pareto前沿上实现协同改进。
2026-05-20 cs.AI cs.CV
Initialization and Alignment for Adversarial Texture Optimization
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然从图像和视频数据中恢复几何形状在计算机视觉中受到了很多关注,但是捕获给定几何形状的纹理的方法还不太成熟。具体来说,经典的纹理生成方法通常假设干净的几何形状和合理对齐的图像数据。虽然最近的方法,例如,对抗性纹理优化,更好地处理从手持设备获得的低质量数据,我们发现他们仍然经常挣扎。为了提高鲁棒性,特别是最近的对抗性纹理优化,我们开发了一个显式的初始化和对齐过程。它处理复杂的几何体,因为它具有强大的几何体到纹理贴图的映射和基于硬赋值的初始化。它通过将快速图像对齐集成到纹理细化优化中来处理几何和图像的未对齐。我们证明了我们的纹理生成的11个场景的数据集上的效果,共2807帧,观察7.8%和11.1%的感知和清晰度测量的相对改善。
2022-07-28 cs.AI cs.CV
RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment
Pengcheng Laboratory(鹏城实验室);Sun Yat-sen University(中山大学);Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);College of Information Technology (CIT), United Arab Emirates University (UAEU)(阿联酋大学信息技术学院)
本文提出 RealignDiff 两阶段语义重对齐方法,结合 BLIP-2 字幕奖励、局部密集字幕与注意力调制,显著提升文生图扩散模型的视觉质量和提示语义一致性。
2024-10-24 cs.AI cs.CV
PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting
Zhejiang University(浙江大学)
PLA4D通过文本生成视频作为锚定参考,在像素空间对齐不同扩散模型的运动与几何先验,解决文本到4D生成中的运动-几何冲突,显著提升4D对象质量并缩短生成时间。
2024-11-19 cs.AI cs.CV
Aligning Text-to-Image Models using Human Feedback
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校)
深度生成模型在文本到图像的合成中显示出令人印象深刻的结果。然而,当前的文本到图像模型通常生成与文本提示不充分对齐的图像。我们提出了一种微调方法,用于调整这样的模型,使用人类的反馈,包括三个阶段。首先,我们从一组不同的文本提示中收集评估模型输出对齐的人类反馈。然后,我们使用人类标记的图像-文本数据集来训练预测人类反馈的奖励函数。最后,通过最大化奖励加权似然来微调文本到图像模型,以改善图文对齐。我们的方法比预先训练的模型更准确地生成具有指定颜色,计数和背景的对象。我们还分析了几种设计选择,并发现仔细调查,这样的设计选择是很重要的,在平衡的保真度的权衡。我们的研究结果证明了从人类反馈中学习的潜力,以显着改善文本到图像的模型。
2023-02-23 cs.AI cs.CV cs.LG
Learning Semantic-Aligned Feature Representation for Text-based Person Search
Soochow University(苏州大学)
基于文本的人物搜索旨在通过文本描述检索特定行人的图像。这项任务的关键挑战是消除模态间的差距,实现跨模态的特征对齐。在本文中,我们提出了一个语义对齐的嵌入方法,基于文本的人搜索,在其中的特征对齐跨模态自动学习语义对齐的视觉特征和文本特征。首先,我们引入了两个基于transformer的主干来编码图像和文本的鲁棒特征表示。其次,我们设计了一个语义对齐的特征聚合网络,以自适应地选择和聚合具有相同语义的特征到部分感知的特征,这是由一个受跨模态部分对齐损失和多样性损失约束的多头注意力模块实现的。在CUHK-PEDES和Flickr 30 K数据集上的实验结果表明,该方法具有较好的性能.
2021-12-13 cs.AI cs.CV cs.MM
Re-Thinking the Automatic Evaluation of Image-Text Alignment in Text-to-Image Models
Wangxuan Institute of Computer Technology, Peking University(计算机技术研究院,北京大学)
本文针对文本到图像模型的图文对齐自动评估,指出主流框架过度依赖与人类判断的一致性,并识别可靠评估的两个关键方面,通过多指标、多模型实验揭示其不足,进而提出改进建议。
2025-06-10 cs.AI cs.CL cs.CV
Attention-based Cross-Layer Domain Alignment for Unsupervised Domain Adaptation
Zhejiang University(浙江大学);Ritsumeikan University(立命馆大学)
无监督领域自适应(UDA)的目的是从标记的源领域学习可转移的知识,并使训练好的模型适应未标记的目标领域。为了弥合源域和目标域之间的差距,一种流行的策略是通过对齐由深度模型提取的语义特征来最小化分布差异。现有的基于域的方法主要集中在减少同一模型层中的域分歧。然而,由于域的变化,相同级别的语义信息可能分布在模型层之间。为了进一步提高模型自适应性能,本文提出了一种基于注意力的跨层域对齐(ACDA)方法,该方法通过动态注意力机制捕获源域和目标域之间跨模型层的语义关系,并自动校准各个层次的语义信息。设计了一个精心设计的注意力机制,根据语义相似度对每个跨层对进行重新加权,以实现精确的领域对齐,从而在模型自适应过程中有效地匹配每个层次的语义信息。在多个基准数据集上的大量实验一致表明,所提出的方法ACDA产生最先进的性能。
2022-02-27 cs.CV
Towards Improved Text-Aligned Codebook Learning: Multi-Hierarchical Codebook-Text Alignment with Long Text
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);SiFar Company(思法公司)
本文提出 TA-VQ 框架,通过视觉-语言模型生成长文本,并以词、短语、句子多粒度编码和层级对齐策略实现细粒度码本-文本对齐,在重建和下游任务中优于现有方法。
2025-03-11 cs.CV
Aligning Text to Image in Diffusion Models is Easier Than You Think
Kim Jaechul Graduate School of AI, KAIST(金佳哲人工智能研究生院,韩国科学技术院);Department of Bio and Brain Engineering, KAIST(生物与脑工程系,韩国科学技术院)
本文提出SoftREPA方法,通过对比学习提升文本与图像表示的对齐效果,减少计算开销,增强语义一致性。
2025-12-10 cs.AI cs.CV cs.LG
On Cross-Layer Alignment for Model Fusion of Heterogeneous Neural Networks
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内科技大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);Monash University(莫纳什大学)
通过最佳传输的分层模型融合(称为OTFusion)应用软神经元关联来统一不同的预训练网络,以节省计算资源。在享受其成功的同时,OTFusion要求输入网络具有相同的层数。为了解决这个问题,我们提出了一种新的模型融合框架,名为CLAFusion,融合神经网络与不同数量的层,我们称之为异构神经网络,通过跨层对齐。跨层对齐问题是一个不平衡的分配问题,可以使用动态规划来有效地解决。基于跨层对齐,我们的框架平衡层的神经网络的数量之前,应用逐层模型融合。我们的实验表明,CLAFusion通过额外的微调过程,提高了CIFAR 10,CIFAR 100和Tiny-ImageNet数据集上残差网络的准确性。此外,我们还探讨了它在师生环境中的模型压缩和知识蒸馏的实际应用。
2023-02-20 cs.CV cs.LG
Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Samsung AI Center, Cambridge(三星人工智能中心)
提出Null-TTA方法,通过优化无分类器引导中的无条件嵌入实现测试时对齐,避免奖励黑客问题,在保持语义一致性的同时达到最先进性能。
2026-06-23 cs.AI cs.CV cs.LG
See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval
Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学);Anhui University(安徽大学)
基于文本的人物检索的目的是根据文本描述找到查询人。关键是学习视觉-文本模态之间的共同潜在空间映射。为了实现这一目标,现有的作品采用分割来获得明确的跨模态对齐或利用注意力来探索显着的对齐。这些方法有两个缺点:1)标记跨模态对齐是耗时的。2)注意力方法可以探索突出的跨模态对齐,但可能会忽略一些微妙的和有价值的对。为了缓解这些问题,我们引入了一个隐式视觉文本(IVT)框架,基于文本的人检索。与以前的模型不同,IVT利用单个网络来学习两种模态的表示,这有助于视觉-文本交互。为了探索细粒度对齐,我们进一步提出了两种隐式语义对齐范式:多级对齐(MLA)和双向掩码建模(BMM)。MLA模块在句子、短语和单词级别探索更精细的匹配,而BMM模块旨在挖掘视觉和文本模态之间的\textbf{more}语义对齐。在公共数据集上进行了大量的实验来评估所提出的IVT,即,CUHK-PEDES、RSTPReID和ICFG-PEDES。即使没有明确的身体部位对齐,我们的方法仍然达到了最先进的性能。代码可在:https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.
2022-08-26 cs.CV
AutoDIAL: Automatic DomaIn Alignment Layers
Sapienza, Roma(罗马大学);IRI CSIC-UPC, Barcelona(西班牙高等科研理事会-加泰罗尼亚理工大学机器人研究所);Mapillary, Graz(Mapillary公司);FBK, Trento(特伦托布鲁诺·凯斯勒基金会);University of Perugia(佩鲁贾大学)
在给定数据库上训练的分类器在对不同设置中获取的数据进行测试时表现不佳。这在领域自适应中通过源和目标领域的分布之间的移位来解释。传统上,将它们对齐的尝试会导致作品通过在目标函数中引入适当的损失项、测量源分布和目标分布之间的差异来减少域转移。在这里,我们采取了不同的路线,建议通过嵌入任何给定的网络特定的域对齐层来对齐学习的表示,旨在将源和目标特征分布与参考分布相匹配。与之前定义先验的工作相反,我们的方法能够自动学习深度网络不同级别所需的特征对齐程度。在无监督环境下,对不同的公共基准进行了彻底的实验,证实了我们方法的强大功能。
2017-11-27 cs.CV
A New Fine-grained Alignment Method for Image-text Matching
Shanghai Jiao Tong University(上海交通大学)
针对交叉注意力易引入无关区域且等同处理显著与非显著词的问题,提出 CPFEAN,通过模态内片段关系推理、显著片段增强及文本先验引导提升图文细粒度对齐,rSum 较 SOTA 提高约5%–10%。
2023-12-07 cs.AI cs.CV cs.MM
Exploring Motion-Language Alignment for Text-driven Motion Generation
Department of Automation, University of Science and Technology of China(中国科学技术大学自动化系);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,北京通用人工智能研究院)
本文提出MLA-Gen框架,通过整合全局运动先验与局部条件,提升文本驱动运动生成的对齐精度,并引入SinkRatio指标解决注意力集中问题,提升运动质量和语义对齐。
2026-10-14 cs.CV
FITA: Fine-grained Image-Text Aligner for Radiology Report Generation
The Hong Kong University of Science and Technology(香港科技大学)
本文提出FITA方法,通过图像特征细化器、文本特征细化器和对比对齐器实现放射学图像与文本的细粒度对齐,并在基准上超越现有方法。
2024-05-02 cs.CV
Where Concept Erasure Should Occur: Concept-Layer Alignment in Text-to-Video Diffusion Models
The School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074, China(人工智能与自动化学院,华中科技大学,武汉430074,中国);Department of Computer Science and Engineering, University of Nevada, Reno, NV, USA(计算机科学与工程系,内华达大学里诺分校,内华达州,美国)
本文通过识别概念-层拓扑对齐瓶颈,提出基于可分离性优化的CLEAR框架,在文本到视频扩散模型中实现精确的概念擦除并保持生成质量。
2026-05-25 cs.CV
ReAlign: Text-to-Motion Generation via Step-Aware Reward-Guided Alignment
ReAlign通过步感知奖励模型和引导策略提升文本到动作生成的对齐和质量。
2025-11-24 cs.CV
HANet: Hierarchical Alignment Networks for Video-Text Retrieval
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);Alibaba Group(阿里巴巴集团)
视频文本检索是视觉语言理解中一项重要而又具有挑战性的任务,其目标是学习一个相关视频和文本实例彼此接近的联合嵌入空间。目前的研究大多是简单地基于视频级和文本级嵌入来度量视频-文本的相似度。然而,忽略更细粒度或局部信息导致表示不足的问题。有些作品通过解开句子来挖掘局部细节,但忽略了对应的视频,造成视频-文本表征的不对称。为了解决上述限制,我们提出了一个层次对齐网络(HANet),以调整不同级别的视频文本匹配表示。具体来说,我们首先将视频和文本分解为三个语义层次,即事件(视频和文本),动作(运动和动词)和实体(外观和名词)。在此基础上,我们自然地构建层次表示在个别-本地-全球的方式,其中个别级别侧重于帧和词之间的对齐,本地级别侧重于视频剪辑和文本上下文之间的对齐,和全球级别侧重于整个视频和文本之间的对齐。不同层次的对齐捕捉视频和文本之间的由细到粗的相关性,以及利用三个语义层次之间的互补信息。此外,我们的HANet也是丰富的解释,明确学习关键的语义概念。在MSR-VTT和VATEX两个公共数据集上的实验表明,HANet的性能优于其他现有方法,证明了层次表示和对齐的有效性。我们的代码是公开的。
2021-07-30 cs.CV
Step-Wise Hierarchical Alignment Network for Image-Text Matching
Tianjin University(天津大学)
图像-文本匹配在弥合视觉和语言之间的语义鸿沟方面起着核心作用。实现精确的视觉语义对齐的关键在于捕捉图像和文本之间的细粒度跨模态对应。以往的方法大多依赖于单步推理来发现视觉-语义交互,缺乏利用多层次信息定位层次细粒度关联的能力。与之不同的是,本文提出了一种分步层次对齐网络(SHAN),它将图像-文本匹配分解为多步跨模态推理过程。具体来说,我们首先实现局部到局部对齐在片段级别,其次是执行全局到局部和全局到全局对齐在上下文级别顺序。这种渐进式对齐策略为我们的模型提供了更多的互补性和足够的语义线索来理解图像和文本之间的层次关系。在两个基准数据集上的实验结果证明了该方法的优越性。
2021-06-11 cs.CV
AttnDreamBooth: Towards Text-Aligned Personalized Text-to-Image Generation
Sun Yat-sen University(中山大学);Hong Kong Metropolitan University(香港都会大学);The Hong Kong Polytechnic University(香港理工大学)
AttnDreamBooth通过分阶段分别学习嵌入对齐、注意力图和主体身份,并引入交叉注意力图正则化,解决了Textual Inversion过拟合和DreamBooth忽略概念的问题,显著提升个性化文本到图像生成中的身份保持与文本对齐性能。
2024-06-07 cs.CV
Hierarchical Vision-Language Alignment for Text-to-Image Generation via Diffusion Models
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出VLAD模型,通过上下文组合模块与分层扩散的双流策略,解决复杂文本到图像生成中的视觉-语言对齐问题,并在多个基准上取得领先性能。
2025-01-01 cs.CV
Generalizing Alignment Paradigm of Text-to-Image Generation with Preferences through $f$-divergence Minimization
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学清华大学深圳国际研究生院)
该研究将文本到图像模型的对齐范式从反向KL散度推广到$f$-散度,通过梯度场分析不同散度约束的影响,发现Jensen-Shannon散度在对齐性能与生成多样性间取得最佳权衡。
2024-11-06 cs.CV
SegMo: Segment-aligned Text to 3D Human Motion Generation
University of Sheffield(谢菲尔德大学);University of Glasgow(格拉斯哥大学);Queen Mary University of London(伦敦大学Queen Mary)
SegMo通过段落对齐实现文本与3D人体运动的精细生成与对齐,提升生成效果并拓展应用范围。
2025-12-24 cs.CV
Bridging the Skeleton-Text Modality Gap: Diffusion-Powered Modality Alignment for Zero-shot Skeleton-based Action Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出基于扩散模型的骨架-文本对齐框架TDSM,通过将文本特征纳入反向扩散过程实现统一潜在空间匹配,并引入三重态扩散损失增强判别力,在ZSAR任务中显著超越现有方法。
2025-07-16 cs.CV
Removing Distributional Discrepancies in Captions Improves Image-Text Alignment
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Adobe Research(奥多比研究院)
本文通过生成混合类型负描述并平衡正负样本分布来构建高质量对齐训练数据,微调视觉-语言模型,显著提升图像-文本对齐预测性能,并可用于对文本到图像模型的生成结果进行对齐排序。
2024-10-01 cs.CV
LASER: Layer-wise Scale Alignment for Training-Free Streaming 4D Reconstruction
Northeastern University(东北大学);Independent Researcher(独立研究员);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出LASER框架,通过分层尺度对齐将离线重建模型转换为流式系统,实现14fps和6GB内存下的千米级流式视频重建,优于现有方法。
2026-03-28 cs.CV
Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark
State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology(光电信息采集与防护技术国家重点实验室);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);The University of Hong Kong(香港大学)
本文提出跨模态模糊对齐网络,通过模糊逻辑量化token级可靠性,结合地面图像作为桥梁代理,提升文本与空中图像的语义对齐鲁棒性,并构建了大规模基准数据集AERI-PEDES。
2026-03-21 cs.CV
Just DIAL: DomaIn Alignment Layers for Unsupervised Domain Adaptation
Sapienza University(罗马大学);Institut de Robotica i Informatica Industrial CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与计算机视觉研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Perugia(佩鲁贾大学)
经验的事实,即分类器,在给定的数据汇集,在不同的设置中获得的数据进行测试时表现不佳,在理论上解释了领域自适应通过源和目标域的分布之间的转变。减轻域转移问题,特别是在没有标记数据可用于目标域的具有挑战性的设置中,对于使视觉识别系统在野外工作至关重要。由于问题源于分布之间的转变,直觉上应该尝试将它们对齐。在文献中,这导致了一系列试图将从源域和目标域学习到的特征表示对齐的工作。在这里,我们采取不同的路线。而不是引入正则化条款,旨在促进对齐的两个表示,我们采取行动的分布水平,通过引入\emph{DomaIn Alignment Layers}(\DIAL),能够匹配所观察到的源和目标数据分布的参考。在三个不同的公共基准上进行了彻底的实验,我们证实了我们的方法的力量。
2017-04-27 cs.CV
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts
ByteDance(字节跳动)
视觉语言预训练中的大多数现有方法依赖于通过目标检测提取的以对象为中心的特征,并在提取的特征和文本之间进行细粒度的对齐。这些方法学习多个对象之间的关系是具有挑战性的。为此,我们提出了一种称为X-VLM的新方法来执行多粒度视觉语言预训练。学习多粒度对齐的关键是在给定相关文本的情况下在图像中定位视觉概念,同时将文本与视觉概念对齐,其中对齐是多粒度的。实验结果表明,X-VLM有效地利用学习到的多粒度对齐到许多下游视觉语言任务,并始终优于最先进的方法。
2022-06-01 cs.CL cs.CV
ContextCLIP: Contextual Alignment of Image-Text pairs on CLIP visual representations
Ashoka University(阿育王大学);LNMIT(拉克希米·尼瓦斯·米塔尔信息技术学院)
最先进的经验工作表明,深度神经网络学习的视觉表示本质上是鲁棒的,能够在不同的数据集上执行分类任务。例如,CLIP在图像和文本对的联合嵌入空间中的分类任务的多个数据集上展示了zero-shot传输性能。然而,它在标准数据集上显示出负迁移性能,例如,BirdsNAP、RESISC 45和MNIST。在本文中,我们提出了ContextCLIP,上下文和对比学习框架的上下文对齐的图像-文本对学习强大的视觉表示的概念字幕数据集。我们的框架被观察到通过在联合嵌入空间中上下文地对齐文本和图像表示来改善图文对齐。ContextCLIP在文本到图像检索任务中表现出良好的定性性能,并提高了分类精度。我们对CIFAR-10、CIFAR-100、Birdsnap、RESISC 45和MNIST数据集进行了zero-shot转移和微调实验,定量评估了我们的模型。
2022-11-14 cs.CV
A Three-Level Alignment Framework for Large-Scale 3D Retrieval and Controlled 4D Generation
Uni4D通过三级对齐框架实现大规模3D检索与可控4D生成,提升多模态动态理解与应用
2025-12-25 cs.CV
Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
文本到图像的人物检索的目的是根据给定的文本描述查询识别目标人物。主要的挑战是学习视觉和文本形式到一个共同的潜在空间的映射。先前的工作试图通过利用单独预训练的单峰模型来提取视觉和文本特征来解决这一挑战。然而,这些方法缺乏有效匹配多模态数据所需的必要的底层对齐能力。此外,这些工作使用先验信息来探索显式的部分对齐,这可能会导致模态内信息的失真。为了缓解这些问题,我们提出了IRRA:一个跨模态的隐式关系推理和对齐框架,它学习本地视觉-文本标记之间的关系,并增强全局图像-文本匹配,而无需额外的事先监督。具体来说,我们首先设计了一个隐式关系推理模块在掩蔽语言建模范式。这实现了跨模态的交互,通过整合的视觉线索到文本标记与跨模态多模态交互编码器。其次,为了全局对齐视觉和文本嵌入,提出了相似性分布匹配,以最小化图像-文本相似性分布和归一化标签匹配分布之间的KL分歧。所提出的方法在所有三个公共数据集上都取得了新的最先进的结果,与现有方法相比,Rank-1的准确性有大约3%-9%的显着保证金。
2023-03-22 cs.CV
ODM: A Text-Image Further Alignment Pre-training Approach for Scene Text Detection and Spotting
Meituan(美团)
针对OCR任务中文本与图像文本区域对齐难、标注成本高的问题,提出ODM预训练方法结合Text-Controller模块,实现更优文本对齐并利用无标注数据,在场景文本检测与识别定位任务上性能优于现有预训练方法。
2024-04-17 cs.CV
FGAseg: Fine-Grained Pixel-Text Alignment for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University(西北工业大学人工智能、光学与电子学院(iOPEN))
FGAseg通过像素级对齐模块和类别信息补充模块,利用跨模态注意力与可优化伪掩码细化CLIP的粗粒度对齐,从而增强开放词汇语义分割中的细粒度像素-文本对齐和类别边界信息,并在多个基准上超越现有方法。
2025-01-03 cs.CV
Contextual Non-Local Alignment over Full-Scale Representation for Text-Based Person Search
Southern University of Science and Technology(南方科技大学);Tencent Youtu Lab(腾讯优图实验室)
基于文本的人物搜索的目的是利用人物的描述性语句在图库中检索出目标人物。这是非常具有挑战性的,因为模态间隙使得有效地提取判别特征更加困难。此外,行人图像和描述的类间方差很小。因此,需要全面的信息来调整所有尺度上的视觉和文本线索。大多数现有的方法仅仅考虑在单个尺度(例如,仅全局尺度或仅部分尺度)内图像和文本之间的局部对准,然后简单地分别在每个尺度上构造对准。为了解决这个问题,我们提出了一种能够在所有尺度上自适应对齐图像和文本特征的方法,称为NAFS(即全尺度表示的非局部对齐)。首先,提出了一种新的阶梯网络结构,以提取具有更好局部性的全尺度图像特征。其次,提出了一种具有局部约束注意力的BERT,以获得描述在不同尺度上的表示。然后,而不是单独对齐功能,在每个尺度上,一种新的上下文非本地注意力机制,同时发现潜在的路线在所有尺度。实验结果表明,我们的方法优于国家的最先进的方法在前1名和前5名的5.35%,在基于文本的人搜索数据集。代码可在https://github.com/TencentYoutuResearch/PersonReID-NAFS上获得
2021-01-08 cs.CV
Curriculum Learning for Data-Efficient Vision-Language Alignment
University of Southern California(南加州大学)
使用对比学习从头开始对齐图像和文本编码器需要大量成对的图像-文本数据。我们通过使用更少量的配对数据对齐单独预训练的语言和视觉表示模型来缓解这种需求,并使用课程学习算法来学习细粒度的视觉语言对齐。TOnICS(Ontology-Informed Contrastive Sampling)最初对图像-文本对包含各种对象的小批量进行采样,以学习对象级对齐,并逐步对所有图像-文本对包含相同对象的小批量进行采样,以学习更细粒度的上下文对齐。使用TOnICS将预训练的BERT和VinVL模型彼此对齐,在下游zero-shot图像检索上优于CLIP,同时使用不到1%的训练数据。
2022-07-29 cs.AI cs.CL cs.CV
Deep Multi-Center Learning for Face Alignment
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
面部地标彼此高度相关,因为某个地标可以通过其邻近地标来估计。现有的大多数深度学习方法只使用一个称为形状预测层的全连接层来估计面部特征点的位置。在本文中,我们提出了一种新的深度学习框架,称为多中心学习,具有多个形状预测层用于人脸对齐。特别地,每个形状预测层分别强调对语义相关地标的某个聚类的检测。首先对标记点进行聚焦,然后对每类标记点分别进行优化。此外,为了降低模型的复杂度,我们提出了一种模型组装方法,将多个形状预测层集成到一个形状预测层。大量的实验表明,我们的方法是有效的处理复杂的遮挡和外观变化的实时性能。我们方法的代码可以在https://github.com/ZhiwenShao/MCNet-Extension上找到。
2018-11-18 cs.CV