LOCATEdit: Graph Laplacian Optimized Cross Attention for Localized Text-Guided Image Editing
University of Waterloo(滑铁卢大学);Stony Brook University(石溪大学)
LOCATEdit通过图拉普拉斯优化交叉注意力,利用自注意力块关系增强空间一致性,实现局部文本引导图像编辑,在PIE-Bench上显著优于现有方法。
2025-03-28 cs.AI cs.CV
Can We Achieve Efficient Diffusion without Self-Attention? Distilling Self-Attention into Convolutions
Australian National University(澳大利亚国立大学);Tsinghua University(清华大学)
本文发现预训练扩散模型中自注意力主要呈现局部模式,提出ΔConvFusion用金字塔卷积块替代自注意力,在保持生成保真度的同时大幅降低计算成本并提升效率。
2025-04-30 cs.CV
T2LSC-Bench: Benchmarking Localized Semantic Control in Text-to-Image Generation
Communication University of China(中国传媒大学);Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学)
该研究提出用于评估文本到图像生成本地化语义控制的基准T2LSC-Bench,发现现有模型存在语义泄漏问题,反泄漏提示可降低泄漏率且不影响渲染准确率。
2026-09-03 cs.CV
Localized Control in Diffusion Models via Latent Vector Prediction
本文提出通过潜在向量预测实现扩散模型的局部控制,使模型能精准控制用户定义区域并自主生成剩余部分。
2026-02-11 cs.CV
Personalized Residuals for Concept-Driven Text-to-Image Generation
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院)
提出个性化低秩残差与交叉注意力局部采样,在冻结扩散模型上高效学习概念身份,并保留原模型生成先验。
2024-05-21 cs.CV
RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing
KTH(瑞典皇家理工学院)
本文提出RealCraft,一种基于注意力控制的零样本真实世界视频编辑方法,通过替换交叉注意力注入新特征并放松编辑对象的空间-时间注意力,在直接使用Stable Diffusion且无需额外信息的情况下,实现了长达64帧的局部形状级、时间一致且无需参数的视频编辑。
2025-01-31 cs.CV
FaR: Enhancing Multi-Concept Text-to-Image Diffusion via Concept Fusion and Localized Refinement
University of Information Technology(信息科技大学);University of Science(科学大学);John von Neumann Institute(约翰·冯·诺依曼研究所);Vietnam National University(越南国家大学)
本文提出FaR方法,通过Concept Fusion技术增强训练数据多样性以缓解过拟合,并引入Localized Refinement损失函数对齐注意力图以防止属性泄漏,有效提升了多概念文本到图像生成的质量。
2025-04-04 cs.CV
DCEdit: Dual-Level Controlled Image Editing via Precisely Localized Semantics
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);MT Lab, Meitu Inc(美图公司MT实验室);Pengcheng Laboratory(鹏城实验室);Visual Intelligence + X International Joint Laboratory of the Ministry of Education(教育部视觉智能与X国际联合实验室)
针对文本引导图像编辑中目标语义定位编辑不精准的问题,提出DCEdit方法,通过精准语义定位策略增强交叉注意力图,并结合双层控制机制实现细粒度编辑,构建RW-800基准,实验验证其在背景保留和编辑精度上的优势。
2025-03-21 cs.CV
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
Lehigh University(理海大学);Microsoft Research(微软研究院);Rutgers University(罗格斯大学);Duke University(杜克大学)
在本文中,我们提出了一个注意力生成对抗网络(AttnGAN),它允许注意力驱动,多阶段细化细粒度的文本到图像生成。AttnGAN采用一种新颖的注意力生成网络,通过关注自然语言描述中的相关词语,可以在图像的不同子区域合成细粒度的细节。此外,提出了一种深度注意力多模态相似性模型来计算细粒度的图像-文本匹配损失,用于训练生成器。所提出的AttnGAN显著优于先前的最新技术水平,在CUB数据集上将最佳报告的初始得分提高了14.14%,在更具挑战性的COCO数据集上提高了170.25%。还通过可视化AttnGAN的注意力层来执行详细的分析。这是第一次表明,分层注意GAN是能够自动选择的条件,在词的水平,以产生不同的部分的图像。
2017-11-28 cs.CV
DCText: Scheduled Attention Masking for Visual Text Generation via Divide-and-Conquer Strategy
Seoul National University(首尔大学);Samsung Electronics(三星电子)
DCText通过分而治之策略和注意力遮罩技术,实现高效视觉文本生成,提升长文本和多文本处理能力,同时保持图像质量和生成效率。
2025-12-08 cs.CV
CAGAN: Text-To-Image Generation with Combined Attention GANs
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人体工程学与机器人研究所)
根据自然语言描述生成图像是一项具有挑战性的任务。以前的研究主要集中在通过调查空间注意和/或语篇注意的使用来提高生成的质量,从而忽视了通道之间的关系。在这项工作中,我们提出了组合注意力生成对抗网络(CAGAN),根据文本描述生成照片般真实的图像。建议CAGAN利用两个注意力模型:字的注意力,以吸引不同的子区域条件相关的话;和挤压和激励注意力,以捕捉通道之间的非线性相互作用。通过光谱归一化来稳定训练,我们提出的CAGAN改进了CUB数据集上的IS和FID以及更具挑战性的COCO数据集上的FID。此外,我们证明,通过单一的评估指标来判断模型可能会产生误导,因为开发了一个额外的模型,增加了局部自我注意力,得分更高,在CUB数据集上表现优于最先进的技术,但通过特征重复生成不切实际的图像。
2022-01-14 cs.CV
APRNet: Attention-based Pixel-wise Rendering Network for Photo-Realistic Text Image Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
风格引导的文本图像生成试图通过模仿参考图像的外观来合成文本图像,同时保持文本内容不变。文本形象的呈现包括很多方面。在本文中,我们专注于将风格图像的背景和前景颜色模式转移到内容图像,以生成照片级真实感的文本图像。为了实现这一目标,我们提出了1)基于内容风格交叉注意的像素采样方法来粗略地模仿风格文本图像的背景; 2)逐像素风格调制技术来空间自适应地将风格图像的变化的颜色模式转移到内容图像; 3)基于交叉注意的多尺度风格融合方法来解决风格图像和内容图像之间的文本前景错位问题; 4)图像块混洗策略,以创建用于训练的风格、内容和地面实况图像元组。在SCUT-HCCDoc和CASIA-OLHWDB数据集上进行的中文手写文本图像合成实验表明,该方法能够提高合成文本图像的质量,使合成文本图像具有更好的照片级真实感。
2022-03-15 cs.CV
TGT: Text-Grounded Trajectories for Locally Controlled Video Generation
Johns Hopkins University(约翰霍普金斯大学);Bytedance, Intelligent Creation(字节跳动,智能创作)
本文提出TGT框架,通过将点轨迹与局部文本描述配对并采用位置感知交叉注意力和双CFG方案,实现视频生成中外观和运动的局部可控,实验证明其优于现有方法。
2025-10-16 cs.CV
AlignVid: Training-Free Attention Scaling for Semantic Fidelity in Text-Guided Image-to-Video Generation
Hong Kong University of Science(香港科学大学);University of Central Florida, Orlando, FL, USA(中央佛罗里达大学);Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院);The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学)
针对文本引导图像到视频生成中视觉主导导致语义编辑失败的问题,提出免训练注意力缩放调制(ASM)和引导调度(GS)方法,并构建OmitI2V基准,有效提升语义保真度且计算开销可忽略。
2026-05-28 cs.CV
TextCenGen: Attention-Guided Text-Centric Background Adaptation for Text-to-Image Generation
Chenhui Li(李晨辉)
针对 T2I 图像背景难以自然容纳文字的问题,本文提出免训练、即插即用的 TextCenGen,通过交叉注意力定位冲突对象并以力导向图迁移,在 27,000 图基准上降低 23% 显著性重叠并保持 98% 语义保真度。
2025-05-13 cs.CV
Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);EPFL(瑞士联邦理工学院洛桑分校)
本文提出一种无需训练的框架,用于在移除目标概念的同时保护邻域概念。通过三个阶段处理:谱加权嵌入调节、注意力引导的空间门控和空间门控硬擦除,实现局部概念移除并保持周围概念结构。
2026-03-27 cs.CR cs.CV
A-STAR: Test-time Attention Segregation and Retention for Text-to-image Synthesis
Adobe Research(奥多比研究院)
本文提出A-STAR方法,通过两个测试时注意力损失函数解决文本到图像扩散模型中多概念像素重叠和去噪后期知识丢失问题,显著提升生成质量。
2023-06-26 cs.CV
Grounded Text-to-Image Synthesis with Attention Refocusing
University of Maryland(马里兰大学)
针对扩散模型难以精确遵循多对象、属性与空间关系提示的问题,本文提出两种注意力重聚焦损失,并利用 LLM 生成空间布局,在多个基准上提升了文本到图像合成的可控性。
2023-12-02 cs.CV
SGBANet: Semantic GAN and Balanced Attention Network for Arbitrarily Oriented Scene Text Recognition
East China Normal University(华东师范大学);University of Malaya(马来亚大学);iFLYTEK(科大讯飞);Indian Statistical Institute(印度统计研究所)
场景文本识别是一项具有挑战性的任务,由于复杂的背景和多样的变化的文本实例。在本文中,我们提出了一种新的语义GAN和平衡注意力网络(SGBANet)识别场景图像中的文本。该方法首先利用语义GAN生成简单的语义特征,然后利用平衡注意模块识别场景文本。语义GAN的目标是匹配支持域和目标域之间的语义特征分布。与传统的图像到图像的翻译方法不同,语义GAN通过语义生成器模块(SGM)和语义鉴别器模块(SDM)在语义层面上进行生成和鉴别。对于目标图像(场景文本图像),语义生成器模块生成与支持图像(明文图像)共享相同特征分布的简单语义特征。语义判别模块用于区分支持域和目标域的语义特征。此外,还设计了一个平衡注意力模块来缓解注意力漂移的问题。平衡注意模块首先基于视觉一瞥向量和语义一瞥向量学习平衡参数,然后执行平衡操作以获得平衡的一瞥向量。在六个基准上进行了实验,包括常规数据集,即,IIIT5K、SVT、ICDAR 2013和不规则数据集,即,ICDAR2015、SVTP、CUTE80等算例验证了该方法的有效性。
2022-07-21 cs.CV
Fast Personalized Text-to-Image Syntheses With Attention Injection
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学)
提出一种无需微调的快速个性化图像生成方法,通过操纵扩散模型的注意力层平衡文本与身份一致性,实验证明其优越性。
2024-03-17 cs.CV
Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation
Department of ECE(电子工程系);IPAI;INMC;Seoul National University(首尔国立大学)
提出局部概念擦除框架及免训练门控低秩适配方法GLoCE,通过轻量模块选择性移除图像中目标概念区域,在保持其余区域保真度的同时提升擦除有效性、特异性和鲁棒性。
2025-07-10 cs.AI cs.CV
Text Embedding is Not All You Need: Attention Control for Text-to-Image Semantic Alignment with Text Self-Attention Maps
Purdue University(普渡大学)
本文针对文本到图像扩散模型中因文本嵌入相似性导致的注意力重叠和句法关系丢失问题,提出在测试时直接将文本注意力图中的句法关系迁移到交叉注意力模块,从而无需外部引导即可提升图像与文本的语义对齐效果。
2024-11-21 cs.CV cs.LG
LOTS of Fashion! Multi-Conditioning for Image Generation via Sketch-Text Pairing
University of Verona(威尼斯大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Polytechnic Institute of Turin(都灵理工学院);University of Reykjavik(雷克雅未克大学)
针对服装设计中视觉与文本融合的创作需求,提出LOTS多条件生成方法,结合全局描述与局部草图-文本对,通过模块化表示与扩散配对引导实现定制化时尚图像生成,并发布首个多对文本-草图时尚数据集Sketchy,性能达SOTA。
2025-09-04 cs.AI cs.CV
Self-Correcting Text-to-Video Generation with Misalignment Detection and Localized Refinement
UNC Chapel Hill(北卡罗来纳大学教堂山分校);NTU Singapore(新加坡国立大学);Allen Institute for AI(人工智能研究院);Johns Hopkins University(约翰霍普金斯大学)
本文提出VideoRepair框架,通过检测并修正视频与文本提示的对齐问题,提升生成质量。框架分为三个阶段,保留正确生成区域并针对性修正错误部分,有效提升多种对齐指标。
2026-04-20 cs.AI cs.CL cs.CV
Localized Concept Erasure in Text-to-Image Diffusion Models via High-Level Representation Misdirection
Department of Data Science, Seoul National University of Science and Technology(数据科学系,首尔科学技术大学)
本文提出HiRM方法,通过误导文本编码器中的高层表示来实现精确的概念擦除,减少对非目标概念的影响,并在低训练成本下保持生成能力。
2026-02-23 cs.AI cs.CV
LUSD: Localized Update Score Distillation for Text-Guided Image Editing
VISTEC(泰国先进科学技术研究所);Siam Commercial Bank(暹罗商业银行);Faculty of Medicine Siriraj Hospital(诗里拉吉医学院附属医院);Pixiv(Pixiv公司)
本文提出LUSD方法,通过基于注意力的空间正则化和梯度过滤-归一化解决文本引导图像编辑中分数蒸馏梯度不稳定问题,在提示保真度和背景保留上优于现有技术。
2025-07-02 cs.CV cs.GR cs.LG
LoMOE: Localized Multi-Object Editing via Multi-Diffusion
TCS Research(塔塔咨询服务研究部);IISc Bangalore(班加罗尔印度科学学院);IIT Delhi(德里印度理工学院)
提出 LoMOE 零样本多扩散框架,结合前景掩码、文本提示及潜在空间约束,实现复杂场景中一次性局部多对象编辑,并发布 LoMOE-Bench 数据集。
2024-03-01 cs.AI cs.CV cs.GR
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Academy of AI for Science(上海人工智能科学研究院)
该研究探索了扩散与自回归T2I Transformer的注意力汇,明确其存在、模式与功能,引入寄存器标记可优化生成性能,为相关机制分析与注意力设计提供依据。
2026-10-12 cs.CL cs.CV
Masked-Attention Diffusion Guidance for Spatially Controlling Text-to-Image Generation
University of Tsukuba(筑波大学)
本文提出掩码注意力引导方法,通过操纵输入噪声图像间接控制交叉注意力,无需额外训练即可使文本到图像生成更准确遵循语义掩码,并适用于 Stable Diffusion 及图像编辑任务。
2023-10-30 cs.CV cs.GR
Harmonizing Attention: Training-free Texture-aware Geometry Transfer
DATAGRID Inc.(DATAGRID公司);Kyoto University(京都大学)
本文提出免训练的 Harmonizing Attention 方法,通过修改扩散模型自注意力层,以纹理对齐与几何对齐双注意力机制实现跨材质的纹理感知几何迁移,无需微调模型。
2024-09-01 cs.AI cs.CV cs.MM
SegAttnGAN: Text to Image Generation with Segmentation Attention
PAII Inc.(PAII公司);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种新的生成网络(SegAttnGAN),利用额外的分割信息的文本到图像的合成任务。由于引入模型的分割数据为生成器训练提供了有用的指导,因此与以前的最先进方法相比,所提出的模型可以生成具有更好的真实感质量和更高的定量测量的图像。我们在CUB数据集上实现了4.84的Inception Score,在Oxford-102数据集上实现了3.52。此外,我们测试了自我注意SegAttnGAN,它使用生成的分割数据而不是来自数据集的注意力掩码,并获得了类似的高质量结果,这表明我们的模型可以适用于文本到图像的合成任务。
2020-05-25 cs.CV cs.LG
DiffUHaul: A Training-Free Method for Object Dragging in Images
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);NVIDIA Research(英伟达研究院);Reichman University(赖希曼大学)
DiffUHaul提出一种无需训练的物体拖拽方法,利用局部化文本到图像模型的空间理解,通过注意力掩码、自注意力共享和扩散锚定技术实现高质量编辑,并引入自动化评估流程验证效果。
2024-09-08 cs.CV cs.GR cs.LG
LAA-X: Unified Localized Artifact Attention for Quality-Agnostic and Generalizable Face Forgery Detection
CRISTAL laboratory, ENSI, University of Manouba(马努巴大学ENSI学院CRISTAL实验室);SnT, University of Luxembourg(卢森堡大学SnT中心)
本文提出LAA-X框架,通过多任务学习与数据合成结合,实现对高质量伪造和未知篡改的鲁棒检测,支持CNN和Transformer结构,提供LAA-Net和LAA-Former两种版本,能与最新方法在多个基准上竞争。
2026-04-05 cs.CV
LAA-Net: Localized Artifact Attention Network for Quality-Agnostic and Generalizable Deepfake Detection
CVI SnT University of Luxembourg(卢森堡大学CVI SnT研究所);Cristal Laboratory National School of Computer Sciences University of Manouba(马努巴大学国家计算机科学学院Cristal实验室)
本文提出LAA-Net,通过显式注意力机制和增强特征金字塔网络,实现质量无关且可泛化的深度伪造检测,在多个基准上优于现有方法。
2024-05-24 cs.CV
Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attention
Amazon(亚马逊)
研究多模态大语言模型接地置信度问题,提出无训练的多令牌局部注意力(MTLA)方法,通过在声称区域内求和并跨预测令牌聚合恢复更强接地信号,在多模型家族和模态中提升了幻觉AUROC及零样本检测AP。
2026-07-08 cs.AI cs.CV
Attention Capture Is Not Detection: A Two-Stage Account of How Humans Miss Localized AI Image Edits
National Chengchi University(国立政治大学)
该研究通过眼动实验发现人类对AI图像编辑的感知分为注意力捕获和判断两个独立阶段,训练生成扫描路径的Transformer可有效建模注意力捕获阶段,为遏制AI虚假信息提供新视角。
2026-08-17 cs.CV
Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence
University of Milano-Bicocca, Department of Informatics, Systems and Communication(米兰-比科卡大学信息与通信系统学院)
研究将局部化高斯函数作为固定注意力权重整合到Transformer架构中用于点云匹配,发现该方法能加速训练、增强优化稳定性,并通过消融实验确定了注入信息最有效的层级。
2025-08-08 cs.CV cs.GR
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan(密歇根大学);University of Rochester(罗切斯特大学)
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而,现有的方法仅使用视觉内容作为注意力,文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题,我们提出了一种新型的注意力机制,称为\textit{text-conditional attention},它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征,我们采用了引导性长短期记忆(gLSTM)字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入,文本嵌入,文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明,我们的方法优于国家的最先进的字幕方法的各种定量指标,以及在人类的评价,这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
Efficient Scene Text Detection with Textual Attention Tower
Xidian University(西安电子科技大学);OrionStar Ltd.(猎户星空有限公司);University of Western Australia(西澳大学)
场景文本检测多年来一直受到关注,并在各种基准测试中取得了令人印象深刻的性能。在这项工作中,我们提出了一个有效的和准确的方法来检测场景图像中的多方向文本。所提出的特征融合机制允许我们使用较浅的网络来降低计算复杂性。采用自注意力机制来抑制误报检测。在ICDAR 2013、ICDAR 2015和MSRA-TD 500等公共基准上的实验表明,该方法能够以较少的参数和较少的计算代价获得更好或相当的性能。
2020-01-30 cs.CV
Attention-based Feature Decomposition-Reconstruction Network for Scene Text Detection
Beihang(北京航空航天大学)
近年来,场景文本检测一直是一个具有挑战性的任务。具有任意形状或大纵横比的文本通常很难检测。以前的基于分割的方法可以更准确地描述曲线文本,但遭受过度分割和文本粘连。在本文中,我们提出了基于注意力的特征分解-重构网络的场景文本检测,它利用上下文信息和低级别的功能,以提高基于分割的文本检测器的性能。在特征融合阶段,我们引入跨层次注意模块,通过在融合的多尺度特征上增加注意力机制来丰富文本的上下文信息。在概率图生成阶段,提出了一种特征分解-重构模块,该模块根据文本特征的频率特性对文本特征进行分解,然后通过添加低层特征进行重构,以缓解大纵横比文本的过分割问题。在两个公共基准数据集上进行了实验,结果表明,我们提出的方法达到了最先进的性能。
2021-11-29 cs.CV
Investigating Text Insulation and Attention Mechanisms for Complex Visual Text Generation
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Jiutian Research(中移九天);The Hong Kong University of Science and Technology(香港科学与技术大学)
TextCrafter通过文本绝缘与注意力机制,提升复杂视觉文本生成性能,引入CVTG-2K基准测试集验证有效性。
2026-02-27 cs.CV
Self-supervised Implicit Glyph Attention for Text Recognition
Shanghai Jiao Tong University(上海交通大学)
针对场景文本识别中隐式注意力对齐漂移及监督注意力需额外标注的问题,提出自监督隐式字形注意力(SIGA),通过联合文本分割与注意力对齐提升注意力正确性,在公开及无上下文基准上显著优于现有方法。
2023-05-15 cs.CV
MedicalNarratives: Connecting Medical Vision and Language with Localized Narratives
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(人工智能研究院);Amazon(亚马逊)
MedicalNarratives通过局部化鼠标轨迹连接医学视觉与语言,训练出的GenMedClip在12个医学领域均优于现有最佳模型。
2026-01-14 cs.CV
SCATTER: Selective Context Attentional Scene Text Recognizer
Amazon Web Services(亚马逊云服务)
场景文本识别(STR)是在复杂图像背景下识别文本的一个研究热点。目前最先进的(SOTA)方法仍然难以识别以任意形状书写的文本。在本文中,我们介绍了一种新的结构STR,命名为选择性上下文注意力文本识别器(SCATTER)。SCATTER在训练过程中使用了具有中间监督的堆栈块架构,为成功训练深度BiLSTM编码器铺平了道路,从而改善了上下文依赖的编码。使用两步1D注意力机制进行解码。第一个关注步骤将来自CNN主干的视觉特征与由BiLSTM层计算的上下文特征一起重新加权。第二个注意步骤,类似于以前的论文,对待的功能作为一个序列,并出席序列内的关系。实验结果表明,该方法在不规则文本识别基准测试中的性能平均比SOTA提高3.7%.
2020-03-25 cs.CV
A Multi-Object Rectified Attention Network for Scene Text Recognition
South China University of Technology(华南理工大学);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
不规则文本被广泛使用。然而,由于它的各种形状和扭曲的图案,识别起来相当困难。因此,在本文中,我们提出了一个多对象纠正注意力网络(MORAN)的一般场景文本识别。MORAN由一个多目标校正网络和一个基于注意力的序列识别网络组成。针对含有不规则文字的图像,设计了多目标校正网络。它降低了识别的难度,使基于注意力的序列识别网络更容易阅读不规则文本。它是以弱监督方式训练的,因此只需要图像和相应的文本标签。基于注意力的序列识别网络专注于目标字符并顺序输出预测。此外,为了提高基于注意力的序列识别网络的灵敏度,在训练阶段提出了一种分数拾取方法用于基于注意力的解码器。通过校正机制,MORAN可以读取规则和不规则的场景文本。在各种基准上进行了大量的实验,结果表明MORAN达到了最先进的性能。源代码是可用的。
2019-01-10 cs.CV
Decoupled Attention Network for Text Recognition
South China University of Technology(华南理工大学);Lenovo Research(联想研究院)
文本识别因其广泛的应用而引起了人们的广泛兴趣。最前沿的文本识别方法都是基于注意力机制的。然而,大多数的注意力方法通常遭受严重的对齐问题,由于其递归对齐操作,其中对齐依赖于历史解码结果。为了解决这个问题,我们提出了一个解耦的注意力网络(DAN),它从使用历史解码结果中分离出对齐操作。DAN是一种有效、灵活、鲁棒的端到端文本识别器,它由三个组件组成:1)从输入图像中提取视觉特征的特征编码器; 2)基于编码器的视觉特征执行对齐操作的卷积对齐模块;以及3)通过联合使用特征图和注意力图进行最终预测的解耦文本解码器。实验结果表明,DAN在多个文本识别任务上实现了最先进的性能,包括离线手写文本识别和规则/不规则场景文本识别。
2019-12-21 cs.CV
Discrete-continuous Action Space Policy Gradient-based Attention for Image-Text Matching
Nanjing University of Information Science and Technology(南京信息工程大学);East China Normal University(华东师范大学)
图文匹配是一项重要的多模态任务,有着广泛的应用。它试图匹配图像和文本具有相似的语义信息。现有的办法没有明确地将不同的模式转变为一个共同的空间。同时,在图像-文本匹配模型中广泛使用的注意力机制没有监督机制。我们提出了一种新的注意力方案,该方案将图像和文本嵌入到一个共同的空间中,并直接对评估指标优化注意力权重。所提出的注意方案可以被认为是一种监督注意,不需要额外的注释。它是通过一个新的离散连续动作空间策略梯度算法,这是更有效地建模复杂的动作空间比以前的连续动作空间策略梯度。我们在两个广泛使用的基准数据集上评估了所提出的方法:Flickr 30 k和MS-COCO,大大优于以前的方法。
2021-04-21 cs.CV
On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
Clova AI Research, NAVER/LINE Corp(Clova AI 研究,NAVER/LINE 公司)
场景文本识别是对自然场景中的字符序列进行识别的任务。虽然STR方法已经有了很大的进步,但目前的方法仍然无法识别任意形状的文本,例如严重弯曲或旋转的文本,这些文本在日常生活中非常丰富(例如餐厅标志,产品标签,公司徽标等)。本文介绍了一种新的架构,识别任意形状的文本,命名为自注意文本识别网络(SATRN),这是受Transformer。SATRN利用自注意力机制来描述场景文本图像中字符的二维(2D)空间依赖性。利用自注意的全图传播特性,SATRN可以识别任意排列和大字符间距的文本。因此,SATRN在“不规则文本”基准测试中平均比现有STR模型高出5.7 pp。我们提供了实证分析,说明了内部机制和模型的适用范围(如旋转和多行文本)。我们将开源代码。
2019-10-10 cs.CV
Text-guided Attention Model for Image Captioning
POSTECH(浦项科技大学)
视觉注意在图像理解中起着重要的作用,并在生成图像的自然语言描述中表现出其有效性。另一方面,最近的研究表明,与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发,我们引入了一个文本引导的注意力模型的图像描述,学习驱动视觉注意力使用相关的字幕。对于这个模型,我们提出了一个基于范例的学习方法,检索从训练数据相关的标题与每个图像,并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型,并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
More Than Just Attention: Improving Cross-Modal Attentions with Contrastive Constraints for Image-Text Matching
Rutgers University(罗格斯大学);Amazon.com Services, Inc(亚马逊服务公司)
跨模态注意力机制由于能够跨模态学习细粒度的相关性,已被广泛应用于图像-文本匹配任务中,并取得了显著的进步。然而,现有方法的跨模态注意力模型可能是次优的和不准确的,因为在训练过程中没有提供直接的监督。在这项工作中,我们提出了两种新的培训策略,即对比内容再采购(CCR)和对比内容交换(CCS)的限制,以解决这些限制。这些约束以对比学习的方式监督跨通道注意力模型的训练,而不需要显式的注意力注释。它们是插件式的训练策略,可以很容易地集成到现有的跨模态注意力模型中。此外,我们引入了三个指标,包括注意力精度,召回率和F1分数,以定量衡量学习的注意力模型的质量。我们评估建议的限制,将它们纳入四个国家的最先进的跨模态注意力为基础的图像-文本匹配模型。在Flickr 30 k和MS-COCO数据集上的实验结果表明,集成这些约束可以提高模型在检索性能和注意力指标方面的性能。
2022-10-03 cs.CV
TextMatcher: Cross-Attentional Neural Network to Compare Image and Text
UniCredit(裕信银行)
我们研究了一个新的多模态学习问题,我们称之为文本匹配:给定一个包含单行文本和候选文本转录的图像,目标是评估图像中表示的文本是否对应于候选文本。我们设计了第一个专门为这个问题设计的机器学习模型。该模型称为TextMatcher,通过在图像和文本的嵌入表示上应用交叉注意力机制来比较两个输入,并且以端到端的方式进行训练。我们广泛地评估了TextMatcher在流行的IAM数据集上的经验性能。结果证明,与为相关问题设计的基线和现有模型相比,TextMatcher在各种配置上实现了更高的性能,同时在推理时运行得更快。我们还展示了TextMatcher在一个关于银行支票自动处理的真实应用场景中的应用。
2022-10-06 cs.CV
Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields
LG Electronics(LG电子);Seoul National University(首尔国立大学)
提出Blending-NeRF模型,通过预训练NeRF与可编辑NeRF结合CLIP实现文本驱动的3D对象局部编辑,支持添加、修改和移除操作。
2023-09-11 cs.AI cs.CV cs.GR
X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval
Layer 6 AI(Layer 6人工智能公司);University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
在文本-视频检索中,目标是学习文本和视频之间的跨模态相似度函数,该函数将相关的文本-视频对排名高于不相关的文本-视频对。然而,视频固有地表达比文本更广泛的信息范围。相反,文本通常捕获整个视频的子区域,并且在语义上与视频中的某些帧最相似。因此,对于一个给定的文本,检索模型应该集中在文本的语义上最相似的视频子区域,以进行更相关的比较。然而,大多数现有的作品聚合整个视频,而不直接考虑文本。常见的文本不可知聚合方案包括均值池或帧上的自我关注,但这些可能会编码给定文本中未描述的误导性视觉信息。为了解决这个问题,我们提出了一个跨模态的注意力模型,称为X池的原因之间的文本和视频的帧。我们的核心机制是一个缩放的点积注意力的文本参加其最语义相似的框架。然后,我们生成一个聚合的视频表示的文本的注意力的权重在帧上的条件。我们在MSR-VTT,MSVD和LSMDC三个基准数据集上评估了我们的方法,在Recall@1的相对改进中实现了高达12%的新的最先进的结果。因此,我们的研究结果突出了联合文本视频推理的重要性,以提取重要的视觉线索,根据文本。完整的代码和演示可以在https://layer6ai-labs.github.io/xpool/上找到
2022-03-28 cs.CV
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution
The Hong Kong Polytechnic University(香港理工大学);OPPO Research(OPPO研究院)
场景文本图像超分辨率的目的是提高低分辨率图像中文本的分辨率和可读性。虽然深度卷积神经网络(CNN)已经取得了显着的改善,它仍然很难重建高分辨率的图像空间变形的文本,特别是旋转和曲线形状的。这是因为当前基于CNN的方法采用基于局部的操作,这对于处理由变形引起的变化是无效的。在本文中,我们提出了一个基于CNN的文本注意网络(TATT)来解决这个问题。首先通过文本识别模块提取文本的语义作为文本的先验信息。然后,我们设计了一个新的基于transformer的模块,它利用全局注意力机制,发挥文本的语义指导之前的文本重建过程。此外,我们提出了一个文本结构的一致性损失,以改善的视觉外观,通过施加结构的一致性重建的规则和变形的文本。在TextZoom基准数据集上的实验表明,该算法不仅在PSNR/SSIM指标上达到了最佳性能,而且在后续文本识别任务中显著提高了识别精度,尤其是对于多方向和弯曲形状的文本实例。代码可在https://github.com/mjq11302010044/TATT上获得。
2022-03-18 cs.CV