Detection and Rectification of Arbitrary Shaped Scene Texts by using Text Keypoints and Links
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Salesforce(赛富时)
检测和识别的任意形状的场景文本仍然是一个巨大的挑战,由于超级富文本形状的变化,文本行的方向,长度,曲率等。本文提出了一个掩码引导的多任务网络,检测和纠正的任意形状的场景文本可靠。检测三种类型的关键点,它们精确地指定了文本实例的中心线和形状。另外,检测四种类型的关键点链接,其中水平链接关联每个文本实例的检测到的关键点,并且垂直链接分别预测沿着上文本边界和下文本边界的一对界标点(对于每个关键点)。场景文本的定位和校正分别通过连接相关的标志点(给出定位多边形框)和通过薄板样条变换多边形框来实现。在多个公开数据集上的大量实验表明,文本关键点的使用对文本方向、长度和曲率的变化具有容忍性,并且与最先进的方法相比,它实现了优越的场景文本检测和校正性能。
2021-03-01 cs.CV
TriCoLo: Trimodal Contrastive Loss for Text to Shape Retrieval
Simon Fraser University(西蒙菲莎大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
针对文本到形状检索,提出三模态对比学习方案,利用大批量对比学习,无需复杂注意力机制,实现良好检索性能,为后续三模态嵌入研究奠定基础。
2023-12-27 cs.CV
Arbitrary-Shaped Text Detection withAdaptive Text Region Representation
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
文本检测/定位作为计算机视觉中的一项重要任务,卷积神经网络在方法和性能上都取得了长足的进步。然而,绝大多数流行的方法使用矩形或四边形来描述文本区域。这些表示有固有的缺点,特别是与密集的相邻文本和松散的区域文本边界有关,这通常会导致难以检测任意形状的文本。本文提出了一种新的文本区域表示方法,该方法具有鲁棒的流水线,可以精确地检测任意形状的密集相邻文本实例。我们认为一个文本实例是由一个自适应的中心文本区域掩码和相应的中心文本区域和全文区域之间的扩展比例。更具体地说,我们的管道生成自适应的中心文本区域和相应的扩展比与proposedtraining策略,其次是一个新的后处理算法,扩大中心文本regionsto完整的文本实例与相应的扩展比。我们证明了我们新的文本区域表示是有效的,并且管道可以精确地检测任意形状的紧密相邻的文本实例。在常见数据集上的实验结果表明,
2021-04-01 cs.CV
3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models
National University of Singapore(新加坡国立大学);Technical University of Munich(慕尼黑工业大学);Bernard M. Baruch College(伯纳德·M·巴鲁克学院);Stanford University(斯坦福大学);Computational Design Institute(计算设计研究所);Adobe(奥多比公司)
扩散模型在图像生成方面表现出了巨大的潜力,在生成多样性方面击败了GANs,并具有相当的图像质量。然而,它们对3D形状的应用仅限于点或体素表示,这些表示在实践中不能准确地表示3D表面。我们提出了一个扩散模型的神经隐式表示的3D形状,在潜在的自动解码器的空间。这使我们能够生成多样化和高质量的3D表面。我们还表明,我们可以在图像或文本上调整我们的模型,以使用CLIP嵌入实现图像到3D的生成和文本到3D的生成。此外,将噪声添加到现有形状的潜在代码中,使我们能够探索形状的变化。
2022-12-15 cs.CV
MSR: Multi-Scale Shape Regression for Scene Text Detection
Nanyang Technological University(南洋理工大学);Shandong University(山东大学)
最先进的场景文本检测技术预测在处理场景中不同方向和长度的直线或曲线文本行时容易出现定位错误的四边形框。本文提出了一种新的多尺度形状回归网络(MSR),能够定位场景中不同长度,形状和曲率的文本行。建议的MSR检测场景文本通过预测密集的文本边界点,固有地捕捉文本行的位置和形状准确,也更宽容的文本行长度的变化相比,使用建议或分割的艺术状态。此外,多尺度网络在不同尺度上提取和融合特征,对文本尺度变化表现出极好的容忍度。在多个公开数据集上的实验表明,该方法对不同长度和方向的直线和曲线文本行都有较好的检测性能。
2019-07-09 cs.CV
Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models
ARC Lab(ARC实验室);ShanghaiTech University(上海科技大学);Tencent PCG(腾讯平台与内容事业群);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心)
首次将显式3D形状先验引入CLIP引导的3D优化,利用文本到图像扩散模型生成高质量3D形状并优化神经辐射场,显著提升了零样本文本到3D合成的视觉质量与形状准确性。
2023-04-03 cs.CV
ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model
Fudan University(复旦大学);Tencent(腾讯);ShanghaiTech University(上海科技大学);Zhejiang Lab(之江实验室)
本文提出ShapeGPT,通过“词-句-段”框架将三维形状离散化并与指令文本结合,利用三阶段训练构建统一多模态语言模型,在文本到形状、形状到文本、形状补全与编辑等任务上取得可比性能。
2023-12-01 cs.CV
PRISM: Probabilistic Representation for Integrated Shape Modeling and Generation
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
PRISM提出一种结合类别扩散模型、统计形状模型与高斯混合模型的三维形状生成方法,以提升部件级几何与语义建模的质量和可控性。
2025-04-06 cs.CV
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University(大阪大学)
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而,尽管最近在生成对抗网络(GANs)方面取得了进展,但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点,并且仅对对象类别给予有限的控制。在这项工作中,我们提出了SCGAN,一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估,我们证明了我们方法的有效性。
2018-11-29 cs.CV
Shape-Texture Debiased Neural Network Training
Johns Hopkins University(约翰霍普金斯大学);Google Brain(谷歌大脑);Shanghai Jiaotong University(上海交通大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
形状和纹理是识别物体的两个突出和互补的线索。尽管如此,卷积神经网络往往偏向于纹理或形状,这取决于训练数据集。我们的消融表明,这种偏见退化模型的性能。出于这一观察,我们开发了一个简单的算法的形状纹理去偏学习。为了防止模型在表示学习中只关注单个线索,我们用具有冲突形状和纹理信息的图像(例如,黑猩猩形状但具有柠檬纹理的图像)来增强训练数据,最重要的是,同时提供来自形状和纹理的相应监督。实验表明,该方法成功地提高了模型在几个图像识别基准测试中的性能和对抗鲁棒性。例如,通过在ImageNet上进行训练,它帮助ResNet-152在ImageNet(+1.2%)、ImageNet-A(+5.2%)、ImageNet-C(+8.3%)和Stylized-ImageNet(+11.1%)上实现了实质性的改进,并在ImageNet上防御FGSM对抗性攻击(+14.4%)。我们的方法还声称与其他先进的数据增强策略兼容,例如Mixup和CutMix。代码可以在这里找到:https://github.com/LiYingwei/ShapeTextureDebiasedTraining。
2021-03-30 cs.CV
3D Shape Generation: A Survey
本文综述了3D形状生成的最新进展,涵盖形状表示、生成方法和评估协议,探讨了当前挑战与未来发展方向。
2025-12-22 cs.CV
Autoregressive 3D Shape Generation via Canonical Mapping
National Tsing-Hua University(国立清华大学);NVIDIA(英伟达);University of California, Merced(加州大学默塞德分校)
由于能够对序列数据中的长程依赖关系进行建模,Transformers在各种生成任务(如图像,音频和文本生成)中表现出了卓越的性能。然而,驯服他们在生成较少的结构化和大量的数据格式,如高分辨率点云很少被探索,由于模糊的序列化过程和不可行的计算负担。在本文中,我们的目标是进一步利用Transformers的力量,并采用它们的三维点云生成的任务。其关键思想是通过学习的规范空间将一类点云分解为语义对齐的形状组合序列。然后,这些形状组成可以被量化并用于学习用于点云生成的上下文丰富的组成码本。点云重建和无条件生成的实验结果表明,我们的模型表现良好,对国家的最先进的方法。此外,我们的模型可以很容易地扩展到多模态形状完成作为条件形状生成的应用程序。
2022-04-05 cs.CV
Looking at words and points with attention: a benchmark for text-to-shape coherence
University of Bologna(博洛尼亚大学)
针对文本到3D形状连贯性评估缺乏基准的问题,提出利用大语言模型优化文本描述,并基于交叉注意力机制构建定量评估指标,形成并公开发布了一个细粒度的新基准。
2023-09-14 cs.CV
Learning Neural Deformation Representation for 4D Dynamic Shape Generation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出一种新的神经变形表示,结合条件神经符号距离场,设计解耦运动与形状潜在空间的4D表示架构,通过扩散模型生成高质量、高时间一致性的4D动态形状。
2026-05-31 cs.CV
3D Shape Generation and Completion through Point-Voxel Diffusion
Stanford University(斯坦福大学);MIT(麻省理工学院)
我们提出了一种新的方法,概率生成建模的三维形状。与大多数现有的模型,学习确定性地将一个潜在的矢量转化为一个形状,我们的模型,点体素扩散(PVD),是一个统一的,概率公式无条件的形状生成和条件,多模态形状完成。PVD将去噪扩散模型与3D形状的混合点-体素表示相结合。它可以被视为一系列去噪步骤,将从观察到的点云数据到高斯噪声的扩散过程反转,并通过优化(条件)似然函数的变分下限进行训练。实验表明,PVD能够合成高保真形状,完成部分点云,并从真实物体的单视图深度扫描生成多个完成结果。
2021-08-29 cs.CV
TextCohesion: Detecting Text for Arbitrary Shapes
Zhejiang University(浙江大学);Zhengzhou University(郑州大学)
在本文中,我们提出了一个像素的方法命名为TextCohesion场景文本检测,它分为五个关键组件的文本实例:一个文本骨架和四个方向像素区域。这些组件比整个文本实例更容易处理。设计了一种置信度评分机制来过滤与文本相似的字符。当背景复杂时,我们的方法可以集中地整合文本上下文。在两个具有挑战性的曲线基准测试上的实验表明,TextCohesion的性能优于最先进的方法,在Total-Text上实现了84.6%的F测量,在SCUT-CTW 1500上实现了86.3%的bf系列。
2019-04-30 cs.CV
HyperSDFusion: Bridging Hierarchical Structures in Language and Geometry for Enhanced 3D Text2Shape Generation
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
本文提出HyperSDFusion,首次利用双曲空间学习文本与3D形状的层次表示,并通过双分支扩散模型实现更优的文本到3D形状生成,在Text2Shape数据集上取得最先进结果。
2024-04-30 cs.CV
Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning
Alibaba Group(阿里巴巴集团);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学)
基于图像的三维形状检索(IBSR)的目的是从一个大型的三维形状数据库中找到一个给定的二维图像对应的三维形状。常见的例程是将2D图像和3D形状映射到嵌入空间中,并定义(或学习)形状相似性度量。虽然具有一些自适应技术的度量学习似乎是形状相似性学习的自然解决方案,但对于细粒度形状检索,性能往往不令人满意。在本文中,我们找出了性能不佳的根源,并提出了解决该问题的实用解决方案。我们发现负对之间的形状差异与纹理间隙纠缠在一起,使得度量学习在推开负对时无效。为了解决这个问题,我们开发了一个以几何为中心的多视图度量学习框架,该框架由纹理合成授权。3D形状模型的纹理合成创建了硬三元组,这抑制了2D图像中丰富纹理的不利影响,从而推动网络更多地关注于发现几何特征。我们的方法在最近发布的大规模3D-FUTURE[1]存储库以及三个广泛研究的基准测试中显示了最先进的性能,包括Pix 3D [2],Stanford Cars[3]和Comp Cars[4]。代码将在以下网址公开:https://github.com/3D-FRONT-FUTURE/IBSR-texture
2020-10-27 cs.CV
Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation via Triplane
University of California, Irvine(加州大学欧文分校)
本文提出HNDF方法,通过混合神经微分同胚流和三平面特征分解实现三维形状的稠密对应学习与拓扑保持的形状生成,并利用二维扩散模型提升生成质量与多样性。
2023-07-04 cs.CV
DreamStone: Image as Stepping Stone for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Hunan University(湖南大学)
本文提出DreamStone,通过图像作为中介、两阶段CLIP特征对齐及风格化与扩散模型增强,实现无需文本-3D配对数据的高质量文本引导3D形状生成。
2023-09-23 cs.CV
Weakly-Supervised Arbitrary-Shaped Text Detection with Expectation-Maximization Algorithm
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
异形文字检测是计算机视觉中一个重要而又具有挑战性的课题。大多数现有的方法需要大量的数据标记工作,以产生用于监督训练的文本区域标签。为了降低数据标记的成本,我们研究了弱监督任意形状文本检测,以结合各种弱监督形式(例如,图像级标签、粗略的、松散的和紧密的边界框),这对于注释来说要容易得多。我们提出了一个基于期望最大化(EM)的弱监督学习框架,训练一个准确的任意形状的文本检测器,只使用少量的文本级注释数据结合大量的弱注释数据。同时,我们提出了一个基于轮廓的任意形状的文本检测器,这是适合于结合弱监督学习。在CTW 1500、Total-Text和ICDAR-ArT三个任意形状的文本基准测试上的实验表明:(1)仅使用10%的强注释数据和90%的弱注释数据,我们的方法的性能与现有方法相当;(2)在100%的强注释数据下,我们的方法在所有三个基准测试上的性能都优于现有方法。我们将在未来公开弱注释数据集。
2020-12-01 cs.CV
ShapeGen4D: Towards High Quality 4D Shape Generation from Videos
Snap(Snap公司);Purdue University(普渡大学);KAUST(王国立阿布扎克大学)
提出ShapeGen4D框架,基于预训练3D模型,通过时间注意力、时间感知点采样和噪声共享,从视频端到端生成高质量动态4D形状,无需逐帧优化,提升鲁棒性和感知保真度。
2025-10-07 cs.CV
ZeroForge: Feedforward Text-to-Shape Without 3D Supervision
New York University(纽约大学);Iowa State University(爱荷华州立大学)
针对现有文本到形状生成方法需3D监督或推理优化成本高的问题,提出ZeroForge零样本生成方法,通过架构适配结合无数据CLIP损失与对比损失避免模式崩溃,显著提升前馈模型生成能力并经多维度评估验证。
2023-06-16 cs.CV
SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation
The Chinese University of Hong Kong(香港中文大学)
我们提出了SP-GAN,这是一种新的无监督球体引导生成模型,用于以点云的形式直接合成3D形状。与现有模型相比,SP-GAN能够合成具有精细细节的多样化和高质量的形状,并提高零件感知形状生成和操作的可控性,但无需任何零件注释即可训练。在SP-GAN中,我们结合了全局先验(球体上的均匀点)来空间引导生成过程,并将局部先验(随机潜在代码)附加到每个球体点以提供局部细节。在我们的设计中,关键的洞察力是解开复杂的三维形状生成任务到一个全局形状建模和局部结构调整,以减轻学习过程,提高形状生成质量。此外,我们的模型在球体点和每个生成的形状中的点之间形成隐式密集对应,从而实现各种形式的结构感知形状操作,例如零件编辑,零件形状插值和多形状零件合成等,超越现有的生成模型。实验结果,其中包括视觉和定量评价,表明我们的模型是能够合成不同的点云与精细的细节和较少的噪音,与国家的最先进的模型相比。
2021-08-10 cs.CV
Shape My Moves: Text-Driven Shape-Aware Synthesis of Human Motions
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出一种文本驱动的形状感知人体动作合成方法,利用FSQ-VAE量化动作并结合预训练语言模型预测体型参数与动作标记,解决了现有方法忽略体型影响的问题,有效生成与文本对齐且形状感知的动作。
2025-04-04 cs.CV
Arbitrary Shape Scene Text Detection with Adaptive Text Region Representation
Samsung Research China - Beijing(三星中国研究院-北京);University of Chinese Academy of Sciences(中国科学院大学);Samsung Research(三星研究院)
场景文本检测在计算机视觉中有着广泛的应用,如实时文本翻译、自动信息录入、盲人辅助、机器人感知等。为了解决这个问题,我们提出了一个鲁棒的场景文本检测方法与自适应文本区域表示。给定输入图像,首先使用文本区域建议网络来提取文本建议。然后,这些建议进行了验证和细化网络。本文提出了一种基于递归神经网络的自适应文本区域表示方法,该方法在每个时间步长内预测一对边界点,直到没有新的边界点为止,从而检测出任意形状的文本区域,并使用自适应的边界点数目来表示。这样可以更准确地描述文本区域。在CTW1500、TotalText、ICDAR2013、ICDAR2015和MSRATD500五个基准测试集上的实验结果表明,该方法在场景文本检测方面达到了最先进的水平。
2019-05-15 cs.CV
LRANet: Towards Accurate and Efficient Scene Text Detection with Low-Rank Approximation Network
Fudan University(复旦大学);Baidu Inc.(百度);China University of Mining and Technology(中国矿业大学);Tomorrow Advancing Life(好未来)
本文提出LRANet,通过低秩近似参数化文本形状并结合稀疏与密集双重分配,在多个基准上实现了准确高效的任意形状场景文本检测。
2024-01-24 cs.CV
EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Tel-Aviv University(特拉维夫大学)
本文提出EXIM混合显式-隐式三维形状表示,通过显式阶段控制拓扑、隐式阶段细化形状与着色,实现无需逐形状优化和人工标注文本的高保真文本引导三维形状生成,并可用于风格一致的室内场景生成。
2023-11-30 cs.CV
High-Fidelity Medical Shape Generation via Skeletal Latent Diffusion
本文提出了一种骨骼潜在扩散框架,通过结合结构先验实现高效高保真医学形状生成,并构建了大规模MedSDF数据集以提升生成质量与效率。
2026-03-12 cs.CV
EditVAE: Unsupervised Part-Aware Controllable 3D Point Cloud Shape Generation
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
本文解决了零件感知点云生成问题。与现有的作品,需要将点云分割成部分的先验,我们的部分感知编辑和生成是在一个无监督的方式进行。我们实现了这一点,一个简单的修改变分自动编码器,产生一个联合模型的点云本身以及它的示意图表示为形状图元的组合。特别是,我们引入了一个潜在的表示的点云,它可以被分解成一个解开表示的形状的每个部分。这些部分依次分解为形状基元和点云表示,以及到规范坐标系的标准化变换。我们的标准化转换之间的依赖关系以允许有意义的零件感知点云生成和形状编辑的方式保留了零件之间的空间依赖关系。除了我们的解纠缠表示所提供的灵活性之外,我们的联合建模方法引入的归纳偏差在ShapeNet数据集上产生了最先进的实验结果。
2022-03-30 cs.CV
Adversarial Generation of Continuous Implicit Shape Representations
TU Dortmund University(多特蒙德工业大学)
这项工作提出了一种生成对抗架构,用于基于符号距离表示生成三维形状。虽然形状的深层生成主要是通过体素和表面点云方法来解决的,但我们的生成器学习在给定先验潜在信息的情况下近似空间中任何点的符号距离。虽然在结构上类似于生成点云方法,但该公式可以在推理期间使用任意点密度进行评估,从而在生成的输出中产生细粒度的细节。此外,我们研究了使用逐步增长的体素或点处理网络作为鉴别器的效果,并提出了一个改进方案,以加强发电机的能力,在建模的零等值面决策边界的形状。我们训练我们的方法在ShapeNet基准数据集和验证,定量和定性,其性能生成逼真的3D形状。
2020-03-26 cs.CV
GlobalMapper: Arbitrary-Shaped Urban Layout Generation
Purdue University(普渡大学)
针对城市建筑布局生成问题,提出基于图注意力网络的全自动方法GlobalMapper,可基于任意道路网络和先验知识生成逼真布局,性能优于现有方法,支持多样街区与建筑形状。
2023-07-19 cs.CV
Learning Versatile 3D Shape Generation with Improved AR Models
Fudan University(复旦大学);Google(谷歌);Tencent Youtu Lab(腾讯优图实验室)
自回归(AR)模型通过对网格空间中的联合分布进行建模,在二维图像生成中取得了令人印象深刻的结果。虽然这种方法已经扩展到3D域的强大的形状生成,它仍然有两个限制:昂贵的计算体积网格和模糊的自回归顺序沿网格尺寸。为了克服这些限制,我们提出了改进的自回归模型(ImAM)的三维形状生成,它适用于离散表示学习的基础上的一个潜在的矢量,而不是体积网格。我们的方法不仅降低了计算成本,而且通过以更易处理的顺序学习联合分布来保留基本的几何细节。此外,由于模型架构的简单性,我们可以通过连接各种条件输入(如点云、类别、图像和文本),自然地将其从无条件生成扩展到有条件生成。大量的实验表明,ImAM可以合成多种类别的多样和忠实的形状,达到最先进的性能。
2023-03-26 cs.CV
Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction
Tsinghua University(清华大学)
在本文中,我们提出了一个新的角度对基于图像的形状生成。大多数现有的基于深度学习的形状重建方法采用单视图确定性模型,该模型有时不足以确定单个地面实况形状,因为后部被遮挡。在这项工作中,我们首先引入了一个条件生成网络模型的不确定性单视图重建。然后,我们制定了多视图重建的任务,作为每个单一的图像上的预测的形状空间的交集。我们设计了新的可微制导,包括前端约束,多样性约束,和一致性损失,使有效的单视图条件生成和多视图合成。实验结果和消融研究表明,我们提出的方法优于国家的最先进的方法的三维重建测试误差,并证明其泛化能力的真实世界的数据。
2019-04-21 cs.CV
Look More Than Once: An Accurate Detector for Text of Arbitrary Shapes
Baidu Inc(百度公司);Xiamen University(厦门大学)
在过去的几年里,以前的场景文本检测方法已经取得了很大的进展。然而,由于受CNN的接收域和描述文本的矩形限界框或四边形等简单表示的限制,以前的方法在处理更具有挑战性的文本实例时可能会有所不足,例如超长文本和任意形状的文本。为了解决这两个问题,我们提出了一种新的文本检测器,即LOMO,它逐步定位文本多次(或换句话说,LOOK不止一次)。LOMO由一个直接回归器(DR),一个迭代细化模块(RESIDENCE)和一个形状表达模块(SEM)。首先,由DR分支生成四边形形式的文本建议。接下来,通过基于初步建议的提取的特征块的迭代细化,ESTA逐步感知整个长文本。最后,SEM被引入到重建更精确的不规则文本的表示,通过考虑文本实例的几何属性,包括文本区域,文本中心线和边界偏移。包括ICDAR 2017-RCTW、SCUT-CTW 1500、Total-Text、ICDAR 2015和ICDAR 17-MLT在内的多个公共基准测试的最新结果证实了LOMO的强大和有效性。
2019-04-13 cs.CV
Generative Shape Models: Joint Text Recognition and Segmentation with Very Little Training Data
Vicarious FPC Inc.(Vicarious FPC 公司)
我们证明了对象形状的生成模型可以在具有挑战性的场景文本识别任务上实现最先进的结果,并且训练图像的数量级比竞争判别方法所需的数量级少。除了从具有挑战性的图像中转录文本外,我们的方法还对字符进行细粒度的实例分割。我们表明,我们的模型是更强大的仿射变换和非仿射变形相比,以前的方法。
2016-11-09 cs.CV
Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes
Huazhong University of Science and Technology(华中科技大学);Megvii (Face++) Technology Inc.(旷视(Face++)科技有限公司)
近年来,基于深度神经网络的模型在场景文本检测和识别领域占据主导地位。在本文中,我们研究的问题,场景文本定位,其目的是同时在自然图像中的文本检测和识别。提出了一种端到端的可训练神经网络场景文本识别模型。该模型被命名为Mask TextSpotter,其灵感来自新发表的Mask R-CNN。与之前使用端到端可训练深度神经网络完成文本识别的方法不同,Mask TextSpotter利用简单而平滑的端到端学习过程,通过语义分割获得精确的文本检测和识别。此外,它在处理不规则形状的文本实例(例如,弯曲文本)方面优于以前的方法。在ICDAR 2013、ICDAR 2015和Total-Text上的实验表明,该方法在场景文本检测和端到端文本识别任务中均取得了较好的效果。
2018-08-01 cs.CV
Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation
Autodesk Research(欧特克研究院)
本文提出利用冻结的大型预训练视觉模型特征,仅用合成RGB渲染图训练三维生成模型,实现零样本草图到三维形状生成,无需任何草图-形状配对数据。
2023-07-08 cs.CV
A Mesh Is Worth 512 Numbers: Spectral-domain Diffusion Modeling for High-dimension Shape Generation
Leiden University(莱顿大学);BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
本文提出谱域扩散框架SpoDify,利用SVD将复杂网格高效编码为低维隐编码,无需训练自编码器即可实现高质量三维形状生成,在样本和GPU资源受限场景下优势显著。
2025-03-09 cs.CV
On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
Clova AI Research, NAVER/LINE Corp(Clova AI 研究,NAVER/LINE 公司)
场景文本识别是对自然场景中的字符序列进行识别的任务。虽然STR方法已经有了很大的进步,但目前的方法仍然无法识别任意形状的文本,例如严重弯曲或旋转的文本,这些文本在日常生活中非常丰富(例如餐厅标志,产品标签,公司徽标等)。本文介绍了一种新的架构,识别任意形状的文本,命名为自注意文本识别网络(SATRN),这是受Transformer。SATRN利用自注意力机制来描述场景文本图像中字符的二维(2D)空间依赖性。利用自注意的全图传播特性,SATRN可以识别任意排列和大字符间距的文本。因此,SATRN在“不规则文本”基准测试中平均比现有STR模型高出5.7 pp。我们提供了实证分析,说明了内部机制和模型的适用范围(如旋转和多行文本)。我们将开源代码。
2019-10-10 cs.CV
Few-shot 3D Shape Generation
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
本文首次尝试少样本3D形状生成,通过将在大规模源域预训练的生成模型适应到目标域,并在特征级和形状级维持成对相对距离分布以缓解过拟合,仅需轮廓即可生成多样拓扑和纹理的3D形状。
2023-05-19 cs.CV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing(海德堡图像处理协作实验室);IWR, Heidelberg University, Germany(德国海德堡大学IWR研究所(注:根据机构粒度要求,提取到大学级别,此处IWR为海德堡大学下属研究机构,整体保留原机构名及大学级别信息))
深度生成模型在图像合成中表现出了出色的性能。然而,在空间变形的情况下,结果会恶化,因为它们直接生成对象的图像,而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成,条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练,而不需要具有不同姿势或外观的相同对象的样本。实验表明,该模型能够实现条件图像的生成和传输.因此,可以从查询图像中保留形状或外观,同时自由地改变另一个。此外,由于其随机潜在表示,外观可以被采样,同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中,该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
Controllable Artistic Text Style Transfer via Shape-Matching GAN
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);Texas A&M University(德克萨斯农工大学);Adobe Research(奥多比研究中心)
艺术文本样式转换是将样式从源图像迁移到目标文本以创建艺术排版的任务。最近的风格转换方法考虑了纹理控制,以提高可用性。然而,在形状变形方面控制风格化程度仍然是一个重要的公开挑战。在本文中,我们提出了第一个文本风格传输网络,允许通过可调参数的关键风格程度的实时控制的广告。我们的主要贡献是一个新的双向形状匹配框架,建立一个有效的字形风格的映射在不同的变形水平,没有配对的地面真理。基于这一思想,我们提出了一个规模可控的模块,使一个单一的网络不断表征风格图像的多尺度形状特征,并将这些特征转移到目标文本。该方法在生成多样化、可控性和高质量的风格化文本方面表现出了其优越性。
2019-08-10 cs.CV
BPDO:Boundary Points Dynamic Optimization for Arbitrary Shape Scene Text Detection
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出BPDO任意形状场景文本检测器,通过文本感知模块提取中心区域边界点,并利用可变形注意力动态优化边界点位置,在多个数据集上取得优于或可比于最先进算法的性能。
2024-01-18 cs.CV
SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
通用图像修补的目的是通过借用周围的信息来完成损坏的图像,这几乎不会产生新的内容。相比之下,多模态修复提供了对修复内容\eg的更灵活和有用的控制,文本提示可用于描述具有更丰富属性的对象,并且遮罩可用于约束修复对象的形状,而不是仅被视为缺失区域。我们提出了一个新的扩散为基础的模型,名为SmartBrush完成一个丢失的区域与一个对象使用文本和形状指导。虽然以前的工作,如DALLE-2和稳定扩散可以做文本引导的inapinting,但它们不支持形状指导,并且倾向于修改生成对象周围的背景纹理。我们的模型结合了文本和形状引导以及精确控制。为了更好地保留背景,我们提出了一种新的训练和采样策略,通过对象掩模预测来增强扩散U-网络。最后,我们引入了一种多任务训练策略,通过联合训练图像修复与文本到图像生成来利用更多的训练数据。我们进行了大量的实验,表明我们的模型在视觉质量,掩模可控性和背景保护方面优于所有基线。
2022-12-09 cs.CV
Learning to Predict More Accurate Text Instances for Scene Text Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
目前,基于深度神经网络的多方向文本检测方法在各种基准测试中取得了令人满意的性能。然而,任意形状文本的检测仍然存在一些困难,特别是对于任意形状文本实例的简单和适当的表示。在本文中,提出了一种基于像素的文本检测器,以方便在一个简单的方式表示和预测的任意形状的文本实例。首先,为了减轻目标顶点排序的影响,实现任意形状文本实例的直接回归,提出了与起点无关的坐标回归损失。此外,为了预测更准确的文本实例,文本实例准确性损失被提出作为辅助任务,以细化预测坐标的指导下IoU。为了评估我们的检测器的有效性,广泛的实验已经进行了公共基准测试,其中包含任意形状的文本实例和多方向的文本实例。在Total-Text基准测试中,我们获得了84.8%的F-测度。实验结果表明,该方法可以达到最佳的性能。
2020-04-16 cs.CV
MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection
Bilkent University(比尔肯特大学);Adobe(奥多比公司)
MD-ProjTex利用预训练扩散模型,通过UV空间多视角一致性机制融合噪声预测并联合更新去噪方向,实现了快速且3D一致的文本引导纹理生成,计算效率与结果质量均优于现有方法。
2025-04-03 cs.CV
Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);USTB-EEasyTech Joint Lab of Artificial Intelligence, Tencent Technology (Shenzhen) Co. Ltd(腾讯科技(深圳)有限公司北京科技大学人工智能联合实验室);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
由于场景文本的高度复杂性和多样性,任意形状的文本检测是一项具有挑战性的任务。在这项工作中,我们提出了一种新的自适应边界建议网络用于任意形状的文本检测,它可以学习直接为任意形状的文本生成准确的边界,而无需任何后处理。我们的方法主要包括一个边界建议模型和一个创新的自适应边界变形模型。采用多层扩张卷积构造的边界建议模型产生先验信息(包括分类图、距离场和方向场)和粗边界建议。自适应边界变形模型是一个编码器-解码器网络,其中编码器主要由一个图卷积网络(GCN)和一个递归神经网络(RNN)组成。它的目的是执行边界变形在一个迭代的方式获得文本实例形状的先验信息的指导下,从边界建议模型。通过这种方式,我们的方法可以直接有效地生成准确的文本边界,而无需复杂的后处理。在公开数据集上的大量实验证明了我们方法的最新性能。
2021-08-13 cs.CV
PhysGen: Physically Grounded 3D Shape Generation for Industrial Design
CVLab, EPFL(EPFL计算机视觉实验室)
PhysGen提出一种结合物理引导的3D形状生成方法,通过物理感知正则化项和变分自编码器提升形状真实感,实验表明其优于单纯视觉合理性。
2026-03-22 cs.CV
Parameterize Structure with Differentiable Template for 3D Shape Generation
National Key Lab for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Texas A&M University(德克萨斯农工大学)
本文提出一种使用可微模板和固定长度参数化共享结构的方法,利用长方体三视图细节描述形状内部,从而实现具有复杂细节的3D形状重建、生成与平滑插值。
2024-10-15 cs.CV
Shape-biased Texture Agnostic Representations for Improved Textureless and Metallic Object Detection and 6D Pose Estimation
TU Wien(维也纳技术大学);UAS Technikum Vienna(维也纳技术高等学院 Technikum)
针对无纹理和金属物体检测及6D姿态估计难题,提出通过随机化数据渲染中的物体表面纹理来引入形状偏置,有效提升了检测与估计精度及对噪声和光照变化的鲁棒性。
2024-07-23 cs.CV
Towards Unconstrained End-to-End Text Spotting
Google AI(谷歌人工智能)
我们提出了一个端到端的可训练网络,可以同时检测和识别任意形状的文本,在阅读不规则形状的场景文本的开放问题上取得了实质性进展。我们制定任意形状的文本检测作为一个实例分割的问题,然后使用一个注意力模型来解码每个不规则形状的文本区域的文本内容,而无需整流。为了从图像尺度特征中提取有用的不规则形状的文本实例特征,我们提出了一个简单而有效的ROI掩蔽步骤。此外,我们表明,从现有的多步OCR引擎的预测可以利用部分标记的训练数据,这导致显着提高我们的模型的检测和识别精度。我们的方法在ICDAR 15(直)基准上超过了端到端识别任务的最新水平4.6%,在Total-Text(弯曲)基准上超过了16%。
2019-08-24 cs.CV
AtlasNet: A Papier-Mâché Approach to Learning 3D Surface Generation
Adobe Research(Adobe研究院);LIGM (UMR 8049), École des Ponts, UPE(巴黎东大桥路学院LIGM实验室(UMR 8049))
我们介绍了一种学习生成3D形状的表面的方法。我们的方法表示一个3D形状作为一个参数化的表面元素的集合,并在生成体素网格或点云的方法相比,自然推断的形状的表面表示。除了其新颖性之外,我们的新形状生成框架,masNet,还具有显著的优势,例如提高精度和泛化能力,以及生成任意分辨率形状而不存在内存问题的可能性。我们展示了这些好处,并在ShapeNet基准测试中比较了两个应用程序的强基线:(i)自动编码形状,(ii)从静止图像进行单视图重建。我们还提供了结果显示其潜在的其他应用,如变形,参数化,超分辨率,匹配和联合分割。
2018-07-20 cs.CV
Rank3DGAN: Semantic mesh generation using relative attributes
University of Bath(巴斯大学)
在本文中,我们研究了一个新的问题,使用生成对抗网络的三维形状生成任务根据语义属性。最近的工作将3D形状映射到2D参数域,这使得能够训练生成对抗网络(GANs)用于3D形状生成任务。我们将这些架构扩展到有条件的设置,在那里我们生成3D形状相对于用户定义的主观属性。考虑到3D形状的成对比较,我们的模型执行两个任务:它学习具有受控潜在空间的生成模型,以及基于2D中的多图表表示的3D形状的排名函数。在HumanShape、Basel人脸模型和重建的3DCUB数据集上的实验证明了该模型的性能。我们还提出了各种应用程序,受益于我们的模型,如多属性探索,网格编辑,网格属性转移。
2019-05-28 cs.CV