Towards Explainable In-the-Wild Video Quality Assessment: A Database and a Language-Prompted Approach
Nanyang Technological University(南洋理工大学);SenseTime Group Limited(商汤集团有限公司);Sensetime Research(商汤科技研究院)
针对自然场景视频质量评估难以解释具体质量因素的问题,构建了包含4543个视频、13个维度的Maxwell数据库,并提出基于CLIP的语言提示方法MaxVQA,实现了多维质量因素联合评估与最优泛化。
2023-08-03 cs.CL cs.CV cs.MM
WildNet: Learning Domain Generalized Semantic Segmentation from the Wild
School of Electrical and Electronic Engineering, Yonsei University(延世大学电气与电子工程学院)
我们提出了一个新的领域广义语义分割网络命名为WildNet,学习领域广义的功能,利用各种内容和风格的野生。在领域泛化中,对未知目标域的低泛化能力显然是由于对源域的过拟合。为了解决这个问题,以前的作品都集中在通过删除或多样化的源域的风格来概括域。这些方法减轻了对源样式的过拟合,但忽略了对源内容的过拟合。在本文中,我们提出了多样化的内容和风格的源域的帮助下,野生的。我们的主要想法是让网络自然地从野外学习领域广义语义信息。为此,我们通过增强源特征来使风格多样化,以类似于野生风格,并使网络能够适应各种风格。此外,我们鼓励网络通过提供从野外借用的语义变体来学习类别判别特征,以获取特征空间中的源内容。最后,我们对网络进行正则化,以捕获一致的语义信息,即使源域的内容和风格都扩展到野外。对五个不同数据集进行的广泛实验验证了我们的WildNet的有效性,并且我们的性能显着优于最先进的方法。源代码和模型可以在网上获得:https://github.com/suhyeonlee/WildNet。
2022-04-04 cs.CV
RusTitW: Russian Language Text Dataset for Visual Text in-the-Wild Recognition
AIRI(AIRI(人工智能研究所));Sber AI(俄联邦储蓄银行人工智能实验室)
信息在现代生活中包围着人们。文本是一种非常有效的信息类型,几个世纪以来人们都在使用它进行交流。然而,自动文本识别仍然是一个具有挑战性的问题。DL系统的主要限制是缺乏训练数据。为了提高竞争力,训练集必须包含许多复制真实世界案例的样本。虽然有许多高质量的数据集用于英语文本识别,但没有可用的俄语数据集。在本文中,我们提出了一个大规模的人类标记的数据集俄罗斯文本识别在野外。我们还发布了一个合成数据集和代码来重现生成过程
2023-03-29 cs.CV
OmniAID: Decoupling Semantics and Artifacts for Universal AI-Generated Image Detection in the Wild
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Sun Yat-Sen University(中山大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Shanghai Jiao Tong University(上海交通大学)
提出OmniAID框架,通过解耦混合专家架构分离语义缺陷和通用伪影,结合两阶段训练策略和Mirage数据集,实现跨生成模型和语义内容的鲁棒AI生成图像检测。
2026-07-21 cs.CV
TextTubes for Detecting Curved Text in the Wild
Amazon(亚马逊公司)
我们提出了一个自然图像中的弯曲文本检测器。我们模型的场景文本实例为管围绕其中轴,并引入了参数化不变的损失函数。我们训练了一个两阶段的弯曲文本检测器,并在弯曲文本基准CTW-1500和Total-Text上对其进行了评估。我们的方法实现了最先进的结果或改进了它们,特别是CTW-1500的F分数超过8个百分点。
2019-12-19 cs.CV cs.LG
ICDAR 2015 Text Reading in the Wild Competition
Megvii Inc.(旷视科技)
近年来,自然场景中的文本检测和识别在计算机视觉界以及文档分析界变得越来越流行。然而,大多数现有的想法,算法和系统是专门为英语设计的。本技术报告介绍了ICDAR 2015文本阅读大赛(TRW 2015)的最终结果,该比赛旨在建立一个评估针对中文和英文脚本设计的检测和识别算法的基准,并为社区研究人员提供一个平台。在本文中,我们详细描述了本次比赛的数据集,任务,评估协议和参与者,并报告了参与方法的性能。此外,有前途的未来研究方向进行了讨论。
2015-06-10 cs.CV
Enhanced Characterness for Text Detection in the Wild
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
文本识别是一个有趣的研究问题,因为文本可能出现在任何随机的地方,并且可能以各种形式出现。此外,检测文本的能力为改进许多高级计算机视觉问题打开了视野。在本文中,我们提出了一种新的语言无关的文本检测方法,利用边缘增强的最大稳定极值区域在自然场景中定义强特征的措施。我们表明,一个简单的组合字符线索有助于拒绝非文本区域。这些区域被进一步微调以拒绝非文本相邻区域。综合评价表明,该方案提供了比较,以更好的推广性能,传统的方法,这项任务。
2017-12-04 cs.CV
Lip-to-Speech Synthesis in the Wild with Multi-task Learning
KAIST(韩国科学技术院)
最近的研究表明,在唇到语音合成,旨在重建语音从视觉信息单独令人印象深刻的性能。然而,由于指导模型推断正确内容的监督不足,他们一直无法在野外合成准确的语音。与以前的方法不同,在本文中,我们开发了一个功能强大的Lip2Speech方法,即使在野外环境中,也可以从输入的嘴唇运动中重建具有正确内容的语音。为此,我们设计了多任务学习,使用多模态监督来指导模型,即,文本和音频,以补充声学特征重建损失的单词表示的不足。因此,所提出的框架带来了合成语音的优势,包含多个扬声器的权利内容与不受约束的句子。我们使用LRS2,LRS3和LRW数据集验证了所提出的方法的有效性。
2023-02-17 cs.CV cs.LG cs.MM
Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder
University of Surrey(萨里大学);Microsoft Corporation(微软公司)
我们提出了一个自我监督的方法,在野外的单视图图像的图像重照明。该方法基于自动编码器,该自动编码器将图像解构为两个单独的编码,分别与场景照明和内容相关。为了在没有监督的情况下解开这些嵌入信息,我们利用了一些增强操作不影响图像内容并且只影响光的方向的假设。一种新的损失函数,称为球谐损失,介绍了强制的照明嵌入转换为球谐矢量。我们在Youtube 8M和CelebA等大规模数据集上训练我们的模型。实验结果表明,该方法可以正确地估计场景照明和现实的重新照明输入图像,没有任何监督或先验形状模型。与监督方法相比,我们的方法具有相似的性能,并避免了常见的照明伪影。
2021-08-23 cs.CV
Scale-Invariant Multi-Oriented Text Detection in Wild Scene Images
Heritage Institute of Technology, Kolkata(加尔各答传统理工学院);Indian Statistical Institute, Kolkata(印度统计研究所加尔各答分所)
在野外的场景文本的自动检测是一个具有挑战性的问题,特别是由于在处理(一)不同百分比的遮挡,(二)广泛不同的尺度和方向,(三)在图像质量等严重退化的困难。在这篇文章中,我们提出了一个完整的卷积神经网络架构,包括一个新的特征表示块(FRB)能够有效地抽象信息。所提出的网络已经训练使用课程学习方面的困难,在图像样本和逐步像素模糊。它能够检测不同尺度和方向的文本,这些文本受到来自多个可能来源的模糊、非均匀照明以及不同百分比的部分遮挡的影响。该框架在各种基准样本数据库(包括ICDAR 2015、ICDAR 2017 MLT、COCO-Text和MSRA-TD 500)上的文本检测性能显著提高了各自的最新结果。拟议架构的源代码将在github上提供。
2020-02-15 cs.CV
Marior: Margin Removal and Iterative Content Rectification for Document Dewarping in the Wild
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));IntSig Information Co. Ltd(合合信息科技股份有限公司)
针对自然场景中带大边距或无边距文档难以去畸变的问题,提出 Marior 框架,通过 MRM 去边距和 ICRM 基于密集位移流迭代校正,在公开基准上达到 SOTA。
2022-07-23 cs.CV
Quality Assessment of In-the-Wild Videos
Peking University(北京大学)
由于缺乏参考视频和拍摄失真,野外视频的质量评估是一个具有挑战性的问题。人类视觉系统的知识可以帮助建立客观的质量评估方法,在野外视频。在这项工作中,我们展示了人类视觉系统的两个突出效果,即内容依赖性和时间记忆效应,可以用于此目的。我们提出了一种客观的无参考视频质量评估方法,将这两种效果集成到一个深度神经网络。对于内容依赖性,我们从预训练的图像分类神经网络中提取特征,因为它具有固有的内容感知属性。对于时间记忆效应,长期依赖性,特别是时间滞后,被集成到网络中,具有门控递归单元和主观启发的时间池化层。为了验证我们的方法的性能,实验进行了三个公开的在野外视频质量评估数据库:KoNViD-1 k,CVD 2014,和LIVE-Qualcomm,分别。实验结果表明,我们提出的方法优于五个国家的最先进的方法,由一个大的利润率,具体地说,12.39%,15.71%,15.45%,和18.09%的整体性能提高第二好的方法VBLIINDS,在SROCC,KROCC,PLCC和RMSE,分别。此外,消融研究验证了内容感知特征和时间记忆效应建模的关键作用。我们方法的PyTorch实现已在https://github.com/lidq92/VSFA上发布。
2019-10-05 cs.CV cs.MM eess.IV
Text Detection & Recognition in the Wild for Robot Localization
University of Waterloo(滑铁卢大学)
标识无处不在,机器人应该能够利用标识来帮助它定位(包括视觉位置识别(VPR))和地图。由于姿态、不规则文本、光照和遮挡等因素,在野外进行鲁棒的文本检测和识别具有挑战性。我们提出了一个端到端的场景文本定位模型,同时输出的文本字符串和边界框。该模型更适合于VPR。我们的主要贡献是引入了一个端到端的场景文本定位框架,以充分捕捉不规则和遮挡的文本区域在不同的挑战性的地方。为了评估我们提出的架构的VPR的性能,我们进行了几个具有挑战性的自我收集的文本位置(SCTP)基准数据集的实验。初步的实验结果表明,该方法优于SOTA方法的精度和召回方面测试时,在这个基准。
2022-05-19 cs.CV cs.RO
More than Words: In-the-Wild Visually-Driven Prosody for Text-to-Speech
Google Research(谷歌研究院);DeepMind(深度思维)
在本文中,我们提出了VDTTS,视觉驱动的文本到语音模型。受配音的启发,VDTTS利用视频帧作为文本旁边的附加输入,并生成与视频信号匹配的语音。我们演示了如何使VDTTS,不像普通的TTS模型,生成的语音,不仅有韵律的变化,如自然的停顿和音高,但也同步到输入视频。在实验中,我们展示了我们的模型在几个具有挑战性的基准测试(包括VoxCeleb 2的“野外”内容)上产生了同步良好的输出,接近地面实况的视频-语音同步质量。补充演示视频,演示视频语音同步,鲁棒性扬声器ID交换,韵律,在项目页面。
2022-03-23 cs.CL cs.CV
Detecting Text in the Wild with Deep Character Embedding Network
Baidu Inc(百度公司)
大多数文本检测方法假设文本是水平或多方向的,因此定义四边形作为基本检测单元。然而,在野外的文本通常是永久扭曲或弯曲,这不能很容易地解决现有的方法。在本文中,我们提出了一种深度字符嵌入网络(CENet),它同时预测字符的边界框及其嵌入向量,从而使文本检测成为字符嵌入空间中的一个简单的聚类任务。所提出的方法不需要在一般文本检测上形成直线的强假设,这在任意弯曲或永久变形的文本上提供了灵活性。对于字符检测任务,设计了一个稠密预测子网络来获得字符的置信度和边界框。对于字符嵌入任务,使用对比度损失训练子网,以将检测到的字符投影到嵌入空间中。这两个任务共享一个主干CNN,从中提取多尺度特征图。通过对字符对的置信度和嵌入距离进行阈值处理,可以很容易地得到最终的文本区域。我们在ICDAR 13,ICDAR 15,MSRA-TD 500和Total-Text上评估了我们的方法。所提出的方法在所有这些数据集上都达到了最先进或相当的性能,并且在不规则文本数据集(即Total-Text)上显示出实质性的改进。
2019-01-02 cs.CV
FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
针对单张野外服装图像向任意3D服装迁移纹理时细节易丢失的问题,本文提出FabricDiffusion,通过扩散模型提取无扭曲、可平铺材质并结合PBR流程,实现高保真纹理、材质与标志迁移。
2024-10-02 cs.AI cs.CV cs.GR
Text Recognition in the Wild: A Survey
South China University of Technology(华南理工大学)
文字的历史可以追溯到几千年前。文本所承载的丰富而精确的语义信息在广泛的基于视觉的应用场景中非常重要。因此,自然场景中的文本识别一直是计算机视觉和模式识别领域的研究热点。近年来,随着深度学习的兴起和发展,许多方法在创新性、实用性和效率方面表现出了良好的前景。本文旨在(1)总结与场景文本识别相关的基本问题和最新技术水平;(2)引入新的见解和想法;(3)提供对公开可用资源的全面回顾;(4)指出未来工作的方向。总之,这篇文献综述试图呈现场景文本识别领域的全貌。它为人们进入这一领域提供了一个全面的参考,并可能有助于启发未来的研究。相关资源可以在我们的Github资源库中找到:https://github.com/HCIILAB/Scene-Text-Recognition。
2020-12-03 cs.CV
Object Proposals for Text Extraction in the Wild
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
对象建议是一种最近的计算机视觉技术,越来越受到研究界的关注。其主要目标是生成一组相对较小的限界框建议,这些建议最有可能包含感兴趣的对象。将Object Proposals技术应用于场景文本理解领域具有创新性。受强大而昂贵的技术以整体方式识别单词的成功的激励,Object Proposals技术作为传统文本检测器的替代品出现。在本文中,我们研究在何种程度上现有的通用对象建议的方法可能是有用的场景文本理解。此外,我们提出了一个新的对象提案算法,是专门为文本设计的,并将其与其他通用的方法在最先进的状态进行比较。实验表明,我们的建议是优越的,在其能力,生产高质量的文字建议,在一个有效的方式。我们的方法的源代码是公开的。
2015-09-08 cs.CV
Chinese Text in the Wild
Tsinghua University(清华大学);Tencent(腾讯)
我们介绍了中文文本在野外,一个非常大的数据集的中文文本在街景图像。虽然文档图像中的光学字符识别(OCR)已得到充分研究,并且许多商业工具可用,但自然图像中的文本的检测和识别仍然是一个具有挑战性的问题,特别是对于更复杂的字符集,例如中文文本。缺乏训练数据一直是一个问题,特别是对于需要大量训练数据的深度学习方法。在本文中,我们提供了一个新创建的中文文本数据集的细节,约有100万个中文字符的专家注释超过3万街景图像。这是一个具有良好多样性的具有挑战性的数据集。它包含平面文字、凸起文字、城市中的文字、农村地区中的文字、照明不足的文字、远处的文字、部分遮挡的文字等。对于数据集中的每个字符,注释包括其基础字符、其限界框和6个属性。属性表明它是否具有复杂的背景,是否提出,它是否是手写或印刷等,这个数据集的大尺寸和多样性,使它适合于训练强大的神经网络的各种任务,特别是检测和识别。我们使用几种最先进的网络给出了基线结果,包括AlexNet,OverFeat,Google Inception和ResNet用于字符识别,以及YOLOv2用于图像中的字符检测。总体而言,Google Inception在识别方面表现最好,前1名的准确率为80.5%,而YOLOv2在检测方面达到了71.0%的mAP。数据集、源代码和训练模型都将在网站上公开。
2018-02-28 cs.CV
Scene Text Image Super-Resolution in the Wild
The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院);Nanjing University(南京大学);The University of Adelaide(阿德莱德大学);Huazhong University of Science and Technology(华中科技大学)
低分辨率的文本图像经常出现在自然场景中,例如手机拍摄的文档。识别低分辨率的文本图像具有挑战性,因为它们丢失了详细的内容信息,导致识别准确性差。一种直观的解决方案是引入超分辨率(SR)技术作为预处理。然而,以前的单图像超分辨率(SISR)方法是在合成的低分辨率图像(例如双三次下采样)上训练的,这是简单的,不适合真正的低分辨率文本识别。为此,我们提出了一个真实场景的文本SR数据集,称为TextZoom。它包含成对的真实低分辨率和高分辨率图像,这些图像是由野外不同焦距的相机捕获的。它比合成数据更真实,更具挑战性,如图1所示。我们认为提高识别精度是场景文本SR的最终目标。为此,开发了一种新的文本超分辨率网络TSRN,它包括三个新的模块。(1)提出了一种利用序列残差块提取文本图像序列信息的方法。(2)边界感知损失旨在锐化字符边界。(3)提出了一个中心对齐模块来解决TextZoom中的对齐问题。在TextZoom上的大量实验表明,与合成SR数据相比,我们的TSRN大大提高了CRNN的识别准确率超过13%,ASTER和MORAN的识别准确率接近9.0%。此外,我们的TSRN在提高TextZoom中LR图像的识别准确性方面明显优于7种最先进的SR方法。例如,它优于LapSRN的ASTER和CRNN的识别精度分别超过5%和8%。我们的研究结果表明,低分辨率文本识别在野外远未得到解决,因此需要更多的研…
2020-08-02 cs.CV
ICDAR2017 Competition on Reading Chinese Text in the Wild (RCTW-17)
Huazhong University of Science and Technology(华中科技大学);Megvii Technology Inc.(旷视科技有限公司);Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院);Nanyang Technological University(南洋理工大学)
汉语是世界上使用最广泛的语言。在自然图像中读取中文文本的算法促进了各种应用。尽管有很大的潜在价值,但过去的数据集和竞赛主要集中在英语上,这与中文有很大的不同。本文介绍了一个新的比赛,RCTW,专注于中文文本阅读。比赛的特点是一个大规模的数据集,有12,263张带注释的图像。设置了文本定位和端到端识别两个任务。比赛于2017年1月20日至5月31日举行。共收到19支参赛队提交的23份有效参赛作品。该报告包括数据集描述、任务定义、评估方案以及结果总结和分析。通过这次比赛,我们呼吁更多的未来研究的中文文本阅读问题。比赛的官方网站是http://rctw.vlrlab.net
2018-09-26 cs.CV
Text Detection Forgot About Document OCR
University of Oxford(牛津大学)
从扫描和其他图像中检测和识别文本,通常表示为光学字符识别(OCR),是一种广泛使用的自动化文档处理形式,具有许多可用的方法。然而,OCR系统仍然不能达到100%的准确性,在正确读出至关重要的应用中需要人工校正。机器学习的进步使文本检测和识别的“野外”更具挑战性的场景成为可能-例如从复杂场景的照片中检测物体上的文本。虽然用于野外文本识别的最先进的方法通常在复杂场景中进行评估,但它们在文档领域的性能通常没有公布,并且缺少与文档OCR方法的全面比较。本文比较了几种用于野外文本识别和文档文本识别的方法,并对它们在结构化文档领域的应用进行了评价。结果表明,最初提出的最先进的方法,在野生文本检测也取得了有竞争力的结果,对文档文本检测,优于现有的OCR方法。我们认为,文档OCR的应用不应该被忽略的文本检测和识别方法的评价。
2023-01-23 cs.CV
Reading Text in the Wild with Convolutional Neural Networks
University of Oxford(牛津大学)
在这项工作中,我们提出了一个端到端的系统,用于文本定位-定位和识别自然场景图像中的文本-和基于文本的图像检索。该系统基于用于检测的区域建议机制和用于识别的深度卷积神经网络。我们的流水线使用了一种新的互补建议生成技术的组合,以确保高召回率,以及快速的后续过滤阶段,以提高精度。对于提案的识别和排序,我们训练非常大的卷积神经网络,以同时对整个提案区域执行单词识别,而不是过去基于字符分类器的系统。这些网络仅基于合成文本生成引擎生成的数据进行训练,不需要人工标记的数据。分析我们的管道的各个阶段,我们展示了最先进的性能。我们在许多标准的端到端文本定位基准和基于文本的图像检索数据集上进行了严格的实验,显示出比以前所有方法都有很大的改进。最后,我们展示了一个真实世界的应用程序,我们的文本发现系统,让数千小时的新闻镜头,通过文本查询即时搜索。
2014-12-04 cs.CV
MixNet: Toward Accurate Detection of Challenging Scene Text in the Wild
针对自然场景小型文本检测受位置、光照等干扰精度低的问题,提出融合CNN与Transformer的MixNet,通过多尺度特征交换的FSNet骨干和中心线特征CTBlock,在多数据集上实现场景文本检测SOTA性能。
2023-08-28 cs.CV
TextProposals: a Text-specific Selective Search Algorithm for Word Spotting in the Wild
Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学)
受强大而昂贵的技术以整体方式识别单词的成功的激励,对象建议技术成为传统文本检测器的替代品。在本文中,我们介绍了一种新的对象建议方法,是专门为文本设计的。我们依赖于基于相似性的区域分组算法,该算法生成单词假设的层次结构。在该层次结构的节点上,可以以有效的方式应用整体单词识别方法。我们的实验表明,所提出的方法是优越的,在其能力产生高质量的词的建议相比,类独立的算法。我们在不同的标准基准测试中展示了令人印象深刻的召回率,其中包括重点或附带的文本数据集以及多语言场景。此外,我们的目标提案与现有的全词识别器的组合显示出端到端的单词识别的竞争力,并在一些基准测试中,优于以前公布的结果。具体地说,在具有挑战性的ICDAR 2015附带文本数据集中,我们以超过10%的f分数战胜了上一届ICDAR稳健阅读竞赛中表现最好的方法。完整端到端系统的源代码可在https://github.com/lluisgomez/TextProposals上获得
2017-02-01 cs.CV
Visual Text Generation in the Wild
Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学)
针对真实场景文本生成难同时满足保真度、合理性、实用性的问题,提出两阶段SceneVTG模型,结合多模态大模型与条件扩散模型,性能优于现有方法且能助力文本检测识别任务。
2024-11-03 cs.CV
Editing Text in the Wild
Huazhong University of Science and Technology(华中科技大学);Baidu Inc.(百度公司)
在本文中,我们感兴趣的是在自然图像中编辑文本,其目的是用另一个替换或修改源图像中的一个词,同时保持其逼真的外观。这项任务是具有挑战性的,因为背景和文本的样式都需要保留,以便编辑后的图像在视觉上与源图像无法区分。具体来说,我们提出了一个端到端的可训练风格保持网络(SRNet),它由三个模块组成:文本转换模块,背景修复模块和融合模块。文本转换模块将源图像的文本内容转换为目标文本,同时保持原始文本样式。背景修复模块擦除原始文本,并使用适当的纹理填充文本区域。融合模块将前两个模块的信息进行融合,生成编辑后的文本图像。据我们所知,这项工作是第一次尝试在自然图像中编辑文字。人工和真实数据集(ICDAR 2013)上的视觉效果和定量结果都充分证实了模块分解的重要性和必要性。我们还进行了大量的实验,以验证我们的方法在各种现实世界中的应用,如文本图像合成,增强现实(AR)翻译,信息隐藏等的有用性。
2019-08-08 cs.CV
A pooling based scene text proposal technique for scene text reading in the wild
Sorbonne University - University Pierre and Marie CURIE(索邦大学 - 皮埃尔和玛丽·居里大学);Image & Pervasive Access Lab(图像与普适访问实验室);CNRS(法国国家科学研究中心);I2R(资讯通信研究院);Nanyang Technological University(南洋理工大学);Tencent Co. LTD(腾讯有限公司);Institut Mines-Telecom(矿业电信学院)
由于文本中含有丰富的语义信息,对场景理解非常有用,因此,近年来,场景文本的自动阅读引起了人们越来越多的关注。在本文中,我们提出了一种新的场景文本建议技术,旨在准确阅读文本的场景。受深度神经网络体系结构中池化层的启发,提出了一种基于池化的场景文本建议技术。设计了一种新的评分函数,该函数利用了方向梯度的直方图,并能够根据提案的文本概率对提案进行排名。一个端到端的场景文本阅读系统也已开发,结合建议的场景文本建议技术,其中虚警消除和单词识别同时进行。在多个公开数据集上的实验表明,该方法能够处理多方向、多语言的场景文本,并获得了良好的推荐性能.开发的端到端系统还实现了非常有竞争力的场景文本发现和阅读性能。
2018-11-25 cs.CV
Text Detection and Recognition in the Wild: A Review
University of Waterloo(滑铁卢大学);ATS Automation Tooling Systems Inc.(ATS自动化工具系统公司)
自然图像中的文本的检测和识别是计算机视觉领域中的两个主要问题,其在体育视频的分析、自动驾驶、工业自动化等方面具有广泛的应用。它们面临着共同的挑战性问题,这些问题是文本如何被表示和受几种环境条件影响的因素。当前最先进的场景文本检测和/或识别方法利用了深度学习架构中所见证的进步,并在处理多分辨率和多方向文本时在基准数据集上报告了卓越的准确性。然而,仍然存在一些影响野生图像中文本的挑战,这些挑战导致现有方法表现不佳,因为模型无法推广到看不见的数据和标记数据不足。因此,与该领域以前的调查不同,本次调查的目标如下:首先,不仅为读者提供了对场景文本检测和识别的最新进展的回顾,而且还提供了使用统一的评估框架进行广泛实验的结果,该框架评估了所选方法在具有挑战性的情况下的预训练模型,并对这些技术应用了相同的评估标准。第二,识别了在野生图像中检测或识别文本的几个现有挑战,即平面内旋转、多方向和多分辨率文本、透视失真、光照反射、部分遮挡、复杂字体和专用字符。最后,本文还介绍了在这一领域的潜在研究方向,以解决一些仍然遇到的场景文本检测和识别技术的挑战。
2020-06-30 cs.CV cs.LG
Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Dolby Laboratories(杜比实验室)
研究旨在通过Video2Reaction数据集实现视频到观众反应分布预测,开发仅用开源语言模型的两阶段多智能体管道,建立基准,发现预训练模型零样本失败,微调可提升性能,但任务仍具挑战。
2026-07-09 cs.CV cs.LG
Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild
South China University of Technology(华南理工大学);The University of Adelaide(阿德莱德大学);Monash University(莫纳什大学);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
我们建议从一个新的角度来提高文本识别,从复杂的背景分离的文本内容。由于普通GANs不足以在自然图像中生成类似序列的字符,因此我们提出了一个对抗学习框架,用于生成和识别图像中的多个字符。该框架由一个基于注意力的识别器和一个生成式对抗体系结构组成。此外,为了解决缺乏成对训练样本的问题,我们设计了一个交互式的联合训练方案,该方案从识别器到识别器共享注意力掩码,并使识别器能够提取每个字符的特征以进行进一步的对抗训练。受益于字符级对抗训练,我们的框架只需要不成对的简单数据进行风格监督。每个目标风格样本只包含一个随机选择的字符,可以简单地在训练过程中在线合成。这一点很重要,因为训练不需要昂贵的配对样本或字符级注释。因此,仅需要输入图像和对应的文本标签。除了风格规范化的背景,我们细化字符模式,以减轻识别任务。提出了一种反馈机制,以弥合之间的差距,搜索引擎和识别器。因此,识别器可以根据识别器的混淆来指导生成器,使得生成的模式更清晰,便于识别。在各种基准测试(包括规则和不规则文本)上的实验表明,我们的方法显着降低了识别难度。我们的框架可以集成到最近的识别方法,以实现新的最先进的识别精度。
2020-12-12 cs.CV
Detecting Curve Text in the Wild: New Dataset and New Solution
South China University of Technology(华南理工大学)
场景文本检测技术近年来取得了很大的进展。检测方式从轴向矩形到旋转矩形,再到四边形。然而,目前的数据集包含的曲线文本非常少,而这些曲线文本广泛存在于广告牌、产品名称等场景图像中,为了提高人们对野外曲线文本阅读的关注,本文构建了一个名为CTW1,500的曲线文本数据集,该数据集包含1,500幅图像(1000幅用于训练,500幅用于测试)中超过10k个文本注释。基于此数据集,我们开创性地提出了一种基于多边形的曲线文本检测器(CTD),它可以直接检测曲线文本,而无需经验组合。此外,通过无缝地集成经常性的横向和纵向偏移连接(TSTO),所提出的方法可以是端到端可训练的,以学习位置偏移之间的固有连接。这允许CTD探索上下文信息,而不是独立地预测点,从而导致更平滑和准确的检测。我们还提出了两种简单但有效的后处理方法,即非多边形抑制(non-polygon suppress,简称NMM)和多边形非最大值抑制(polygon non-maximum suppression,简称PNMS),以进一步提高检测精度。此外,本文提出的方法是以通用的方式设计的,它也可以用矩形或四边形边界框进行训练,而无需额外的努力。CTW-1500上的实验结果表明,我们的方法,只有一个轻骨干可以优于国家的最先进的方法有很大的利润。通过仅在曲线或非曲线子集中进行评估,CTD + Tclad仍然可以获得最佳结果。代码可在www.…
2017-12-06 cs.CV
Characterness: An Indicator of Text in the Wild
University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学)
图像中的文本提供了解释其内容的重要信息,场景中的文本可以帮助执行各种任务,从导航到避障和测距。然而,尽管它的价值,识别图像中的一般文本仍然是一个具有挑战性的研究问题。出于需要考虑各种形式的自然文本,我们提出了一个自下而上的方法来解决这个问题,它反映了“字符”的图像区域。从这个意义上说,我们的方法反映了从显着性检测方法的“对象”的措施。为了衡量的字符,我们开发了三个新的线索,是专为字符检测,和贝叶斯方法,他们的整合。由于文本是由字符集组成的,因此我们设计了一个马尔可夫随机场(MRF)模型,以利用字符之间的固有依赖关系。我们的实验证明了我们的性格线索的有效性,以及贝叶斯多线索整合的优势。所提出的文本检测器在一些基准场景文本检测数据集上的性能优于最先进的方法。我们还表明,我们的测量“特性”优于国家的最先进的显着性检测模型时,适用于相同的任务。
2013-09-25 cs.CV
Textualized and Feature-based Models for Compound Multimodal Emotion Recognition in the Wild
ETS Montreal(蒙特利尔理工学院);Concordia University(康考迪亚大学);CIUSSS Nord-de-l’Ile-de-Montréal(蒙特利尔岛北部卫生和社会服务中心);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Institut Universitaire de France(法国大学研究院)
本文比较了基于文本化和基于特征的多模态模型在野外复合情感识别中的表现,发现文本化在C-EXPR-DB上准确率较低,但在转录丰富时更高。
2026-10-05 cs.CV
A Manually Annotated Image-Caption Dataset for Detecting Children in the Wild
MPI-SP & EPFL Bochum, Germany(MPI-SP与苏黎世联邦理工学院博希姆分校);EPFL Lausanne, Switzerland(苏黎世联邦理工学院拉沃斯分校);Cyber-Defence Campus armasuisse S+T Thun, Switzerland(网络安全防御校园armasuisse S+T图恩分校);Georgetown University Washington, D.C., USA(乔治城大学华盛顿特区)
针对多模态环境下未成年人描绘检测缺乏基准数据集的问题,发布了含10000对人工标注图像-字幕对的ICCWD数据集,基准测试显示儿童检测任务难度较高,最佳方法真阳性率为75.3%。
2025-06-11 cs.CV cs.ET
Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset
Oxford Internet Institute(牛津互联网研究院);Dept. of Computer Science(计算机科学系);Oxford Uehiro Centre for Practical Ethics(牛津上广实践伦理中心);Dept. of Engineering Science(工程科学系)
仇恨模因对当前的机器学习系统提出了独特的挑战,因为它们的信息来自文本和视觉模态。为此,Facebook发布了“仇恨迷因挑战”,这是一个带有预先提取的文本标题的迷因数据集,但目前还不清楚这些合成的例子是否可以推广到“野生迷因”。在本文中,我们从Pinterest中收集了仇恨和非仇恨的模因,以评估在Facebook数据集上预训练的模型的样本外性能。我们发现,在野外的模因在两个关键方面不同:1)字幕必须通过OCR提取,注入噪声和降低多模态模型的性能,2)模因比“传统模因”更多样化,包括对话或文本的屏幕截图在一个简单的背景。因此,本文作为一个现实检查仇恨模因检测和检测现实世界的仇恨其适用性的当前基准。
2021-07-09 cs.CV
The Forchheim Image Database for Camera Identification in the Wild
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校)
图像出处可以代表犯罪调查和新闻事实核查中的关键知识。在过去的二十年中,已经提出了许多算法,用于获得关于源相机和图像的分布历史的信息。为了对这些技术进行公平的排名,重要的是严格评估它们在实际相关测试用例上的性能。为此,提出了一些数据集。然而,我们认为现有数据库中存在差距:据我们所知,目前没有同时满足两个目标的数据集,即a)干净地分离场景内容和法医痕迹,以及b)支持现实的后处理,如社交媒体重新压缩。在这项工作中,我们提出了Forchheim图像数据库(FODB),以弥补这一差距。它由27个智能手机摄像头拍摄的143个场景的23,000多张图像组成,可以将图像内容与法医文物清晰地分离开来。每张图片都有6种不同的质量:原始相机本地版本,以及来自社交网络的五个副本。我们证明了有用的FODB在相机识别方法的评估。我们报告三个发现。首先,最近提出的通用EfficientNet在干净和压缩图像上的性能明显优于几个专用的法医CNN。第二,分类器获得性能提升,即使在未知的后处理后增强人工退化。第三,FODB对场景内容和取证痕迹的清晰分离为算法基准测试施加了重要而严格的边界条件。
2020-11-04 cs.CV
AttentionHand: Text-driven Controllable Hand Image Generation for 3D Hand Reconstruction in the Wild
Sogang University(西江大学);LG Electronics(LG电子);Pusan National University(釜山大学)
针对野外3D手部重建因数据缺乏和复杂姿态导致困难的问题,提出文本驱动的AttentionHand方法,利用多模态输入和注意力机制生成对齐的手部图像,达到SOTA并提升3D手部网格重建性能。
2024-07-25 cs.AI cs.CV
BanglaWild: An In-the-Wild Bengali Scene Text Recognition Benchmark for OCR and Vision-Language Models
研究发现现有孟加拉语场景文本识别基准的不足,推出含2535张图像的BanglaWild基准,评估15个VLMs和3个OCR系统等,揭示视觉误识别为主要错误来源等结论,代码数据将公开。
2026-08-05 cs.CL cs.CV
On Manipulating Scene Text in the Wild with Diffusion Models
The Australian National University(澳大利亚国立大学)
本文提出 DBEST 网络,通过单样本风格适配与文本识别引导增强扩散模型,在保留背景、颜色和字号等细节的同时实现野外场景文本替换,并在 COCO-text 与 ICDAR2013 上取得高字符级准确率。
2023-11-03 cs.CV
Synthetic-to-Real Unsupervised Domain Adaptation for Scene Text Detection in the Wild
Zhejiang University(浙江大学);Tencent(腾讯);University of Hong Kong(香港大学)
基于深度学习的场景文本检测在有足够的标记训练数据的情况下可以取得较好的性能。然而,手动标记是耗时且费力的。在极端情况下,相应的注释数据不可用。利用合成数据是一个非常有前途的解决方案,除了合成数据集和真实数据集之间的域分布失配。为了解决严重的域分布不匹配问题,提出了一种基于领域自适应的场景文本检测方法,将合成数据(源域)的知识转移到真实数据(目标域)。本文介绍了一种文本自训练(TST)方法和对抗性文本实例对齐(ATA)的领域自适应场景文本检测。ATA通过以对抗方式训练域分类器来帮助网络学习域不变特征。TST减少了由不准确的伪标记引起的假阳性~(FP)和假阴性~(FN)的不利影响。这两个组成部分对提高场景文本检测器从合成场景到真实场景的适应性能有积极的影响。我们通过从SynthText,VISD转移到ICDAR 2015,ICDAR 2013来评估所提出的方法。实验结果表明,该方法的有效性达到了10%以上,对领域自适应场景文本检测具有重要的探索意义。代码可在https://github.com/weijiawu/SyntoReal_STD上获得
2020-09-03 cs.AI cs.CV
EnsNet: Ensconce Text in the Wild
School of Electronic and Information Engineering(电子与信息工程学院);South China University of Technology(华南理工大学)
提出了一种新的自然图像文本去除方法。挑战在于首先在笔划级别上准确地定位文本,然后用视觉上合理的背景替换它。与以前需要图像补丁来擦除场景文本的方法不同,我们的方法,即ensconce网络(EnsNet),可以在没有任何先验知识的情况下对单个图像进行端到端操作。整体结构是一个端到端可训练的FCN-ResNet-18网络,带有一个条件生成对抗网络(cGAN)。前者的特征首先通过一种新颖的横向连接结构增强,然后通过四种精心设计的损失进行细化:多尺度回归损失和内容损失,它们捕获了不同级别特征的全局差异;纹理损失和总变化损失,主要针对填充文本区域并保持背景的真实性。后者是一种新的局部敏感的GAN,它专注于评估文本擦除区域的局部一致性。在合成图像和ICDAR 2013数据集上进行的定性和定量灵敏度实验表明,EnsNet的每个组件对于实现良好性能至关重要。此外,我们的EnsNet在所有指标方面都明显优于以前最先进的方法。此外,在SMBNet数据集上进行的定性实验进一步表明,该方法也可以很好地执行一般对象(如行人)去除任务。EnsNet的速度非常快,在i5-8600 CPU设备上可以达到333 fps。
2018-12-03 cs.CV
WildDet3D: Scaling Promptable 3D Detection in the Wild
Allen Institute for AI(人工智能研究院);University of Washington(华盛顿大学);Cornell University(康奈尔大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出WildDet3D,一种统一的几何感知架构,支持文本、点和框提示,并在推理时整合辅助深度信号。同时,构建了最大的开放3D检测数据集WildDet3D-Data,包含13.5K类别的100万张图像,在多个基准测试中取得新突破。
2026-04-17 cs.CV
ID-Sculpt: ID-aware 3D Head Generation from Single In-the-wild Portrait Image
Shanghai Jiao Tong University(上海交通大学);Youtu Lab, Tencent(腾讯优图实验室)
提出ID-Sculpt框架,通过几何初始化、雕刻和纹理生成三阶段融合身份信息,从单张非受限人脸图像生成高质量3D头部。
2024-12-22 cs.CV
NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360° Views
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对单图生成360度3D对象的难题,提出NeuralLift-360框架,结合深度感知NeRF与去噪扩散模型,利用排序损失和CLIP引导采样策略,显著优于现有基线,简化了3D内容创作流程。
2023-04-03 cs.CV
CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition
University of Science and Technology of China(中国科学技术大学)
人脸表情识别是理解人类行为的一项重要任务。作为人类最具信息量的行为之一,面部表情往往是复合的和可变的,这表现为不同的人可能以非常不同的方式表达相同的表情。然而,大多数FER方法仍然使用独热或软标签作为监督,这缺乏足够的语义描述的面部表情和较少的可解释性。最近,对比视觉语言预训练(VLP)模型(例如,CLIP)以文本为监督,得益于文本中丰富的语义,为各种计算机视觉任务注入了新的活力。因此,在这项工作中,我们提出了CLIPER,一个统一的框架,静态和动态的面部表情识别的基础上CLIP。此外,我们引入了多表达式文本描述符(METD)来学习细粒度的表达式表示,使CLIPER更具可解释性。我们在几个流行的FER基准上进行了大量的实验,并达到了最先进的性能,这证明了CLIPER的有效性。
2023-03-01 cs.CV
SceneVTG++: Controllable Multilingual Visual Text Generation in the Wild
School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Alibaba Group(阿里巴巴集团)
针对自然场景图像文本生成的保真、合理、实用与可控需求,提出两阶段 SceneVTG++,结合多模态大模型布局内容生成与局部扩散实现可控多语言文本生成,并在 OCR 任务上验证先进性能。
2025-01-07 cs.CV
Generating the Wild: Individual-Consistent Image-to-Video Generation for Wildlife
University of Auckland(奥克兰大学)
针对野生动物个体识别数据稀缺问题,提出高频引导的I2V框架WildIcon,通过频率感知身份编码和轻量级适配保持个体一致性,并构建数据集WildlifeVid,实验验证其优于现有方法。
2026-10-06 cs.CV
Towards Accurate Lip-to-Speech Synthesis in-the-Wild
University of Oxford(牛津大学);IIIT Hyderabad(印度信息技术研究所海得拉巴分校);University of Bath(巴斯大学)
提出利用预训练唇动转文本模型产生的带噪文本监督注入语言信息,并结合视觉文本转语音网络,实现野外无声唇动视频的准确同步语音合成。
2024-03-02 cs.CV cs.MM cs.SD
Referring Human Pose and Mask Estimation in the Wild
University of Western Australia(西澳大学);Xidian University(西安电子科技大学);Hunan University(湖南大学);Griffith University(格里菲斯大学)
本文提出 R-HPM 任务与 RefHuman 数据集,并通过端到端多模态 UniPHD 模型依据文本或位置提示同时估计目标人物的姿态与掩码。
2024-10-27 cs.CV cs.HC
Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
Lightricks;Tel Aviv University(特拉维夫大学)
提出ScenA方法,利用预训练的文本到音频流匹配基础模型,通过多参考声音和自然语言提示生成多说话人音频场景,并采用高噪声偏置时间步分布解决参考捷径问题,在CoVoMix2-Dialogue基准上优于现有系统。
2026-06-18 cs.AI cs.CV cs.SD
FunnyNet-W: Multimodal Learning of Funny Moments in Videos in the Wild
Lappeenranta-Lahti University of Technology(拉彭兰塔-拉赫蒂理工大学);Ecole Polytechnique(巴黎综合理工学院)
本文提出FunnyNet-W模型,利用交叉和自注意力机制融合视觉、音频及自动提取的文本数据,并通过无监督方法获取标签,在五个数据集上实现了多模态搞笑时刻检测的最新技术水平。
2024-01-08 cs.AI cs.CL cs.CV