TrueType Transformer: Character and Font Style Recognition in Outline Format
Kyushu University（九州大学）
我们提出了TrueType Transformer（T3），它可以执行字符和字体识别的轮廓格式。轮廓格式（如TrueType）将每个字符表示为笔划轮廓的控制点序列，并经常用于数字文档。T3由一个深度神经网络组织，即所谓的Transformer。Transformer最初是针对连续数据（如文本）提出的，因此适合处理大纲数据。换句话说，T3直接接受轮廓数据而不将其转换成位图图像。因此，T3实现了与分辨率无关的分类。此外，由于控制点的位置表示字体样式的精细和局部结构，因此T3适合于字体样式分类，其中这种结构非常重要。在本文中，我们通过实验证明了T3在字符和字体识别任务中的适用性，同时观察各个控制点对分类结果的贡献。
2022-03-11 cs.CV
Total Disentanglement of Font Images into Style and Character Class Features
Kyushu University, Japan（九州大学，日本）；CyberAgent, Japan（CyberAgent，日本）
本文提出一种神经网络方法，将字体图像完全分解为风格和字符类别特征，以高精度验证'A'性存在，并适用于字体识别、字符识别和一次性字体生成。
2025-09-11 cs.CV
CF-Font: Content Fusion for Few-shot Font Generation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对少样本字体生成中内容特征提取非最优的问题，提出含内容融合模块、迭代风格向量精炼策略和投影字符损失的CF-Font方法，在300种字体的数据集上性能显著优于现有SOTA方法。
2024-04-15 cs.CV
A Study on the Refining Handwritten Font by Mixing Font Styles
Soongsil University（崇实大学）
针对手写字体可读性差的问题，提出FontFusionGAN方法，通过GAN融合手写与印刷字体特征，在保留美感的同时提升可读性，还可应用于字体属性控制等多类文本图像任务。
2025-05-19 cs.CV
VQ-Font: Few-Shot Font Generation with Structure-Aware Enhancement and Quantization
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
针对少样本中文字体生成易出现细节缺失、笔画扭曲的问题，提出基于VQGAN的VQ-Font框架，通过码本精炼token先验与结构感知风格校准提升字形保真度，实验表明其在定量定性指标上均优于现有方法。
2023-08-27 cs.CV
DG-Font: Deformable Generative Networks for Unsupervised Font Generation
East China Normal University（华东师范大学）
字体生成是一个具有挑战性的问题，特别是对于一些由大量字符组成的书写系统，近年来吸引了很多关注。然而，现有的字体生成方法往往是在监督学习。它们需要大量的成对数据，这是劳动密集型和昂贵的收集。此外，常见的图像到图像的翻译模型通常定义为纹理和颜色的集合，这不能直接应用于字体生成。为了解决这些问题，我们提出了新的可变形生成网络的无监督字体生成（DGFont）。我们引入了一个特征变形跳过连接（FDSC），它预测成对的位移图，并采用预测的图将可变形卷积应用于来自内容编码器的低级特征图。FDSC的输出被馈送到混频器中以生成最终结果。该混频器利用FDSC的优点，输出高质量的字符，结构完整。为了进一步提高生成图像的质量，我们在内容编码器中使用三个可变形卷积层来学习风格不变的特征表示。实验表明，我们的模型生成的字符质量高于最先进的方法。源代码可在https://github.com/ecnuycxie/DG-Font上获得。
2021-04-08 cs.CV
FontGAN: A Unified Generative Framework for Chinese Character Stylization and De-stylization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
汉字合成涉及两个相关的方面，即，风格维护和内容一致性。虽然一些方法在从标准字体合成具有指定风格的字符方面取得了显著的成功，但如何将字符映射到指定的风格域而不失去其可识别性仍然是非常具有挑战性的。在本文中，我们提出了一个新的模型命名为FontGAN，它集成了字符风格化和去风格化到一个统一的框架。在我们的模型中，我们将字符图像解耦为样式表示和内容表示，这有助于更精确地控制这两种类型的变量，从而提高生成结果的质量。本文还介绍了两个模块，即字体一致性模块（FCM）和内容优先模块（CPM）。FCM利用类别引导的Kullback-Leibler损失将风格表示嵌入到不同的高斯分布中。它全局约束训练集中相同字体的字符。另一方面，它使我们的模型，以获得风格变量，通过抽样测试阶段。CPM为模型提供内容先验信息，指导内容编码过程，解决了去风格化过程中的笔画缺失问题。大量的字符风格化和去风格化的实验结果证明了我们的方法的有效性。
2019-10-28 cs.CV
Font Acknowledgment and Character Extraction of Digital and Scanned Images
Institute of Space Technology（空间技术学院）
字体识别和字符提取非常重要，因为在许多情况下，数据都是这种形式，不能像图像形式或硬拷贝那样处理。因此，在本文中开发的程序基本上是有关识别字体（Times New Roman，Arial和Comic Sans MS），然后使用简单的基于相关性的方法恢复文本，其中二进制模板与输入图像文本字符相关。所有这些提取都是在存在一点噪声的情况下完成的，因为图像可能由于复印而具有噪声模式。该方法的意义在于从各种监控（Surveillance）摄像机镜头甚至更多的镜头中提取数据。该方法是在Matlab \c{opyright}上开发的，该软件获取输入图像，并在文本文件中恢复文本和字体信息。
2013-05-17 cs.CV
GlyphGAN: Style-Consistent Font Generation Based on Generative Adversarial Networks
Kyushu University（九州大学）
在本文中，我们提出了GlyphGAN：基于生成对抗网络（GANs）的风格一致的字体生成。GANs是一种使用两个相互竞争的神经网络系统来学习生成模型的框架。一个网络从随机输入向量生成合成图像，另一个网络区分合成图像和真实图像。本研究的动机是使用GAN框架创建新的字体，同时保持所有字符的风格一致性。在GlyphGAN中，生成器网络的输入向量由两个向量组成：字符类向量和样式向量。前者是一个独热向量，在训练过程中与每个样本图像的字符类相关联。后者是一个没有监督信息的均匀随机向量。通过这种方式，GlyphGAN可以生成无限多种字体，并且可以独立控制字符和样式。实验结果表明，GlyphGAN生成的字体具有与训练图像不同的风格一致性和多样性，而不会失去其易读性。
2019-05-30 cs.CV
Design and Development of a Framework For Stroke-Based Handwritten Gujarati Font Generation
Babu Madhav Institute of Information Technology, Uka Tarsadia University（乌卡·塔萨迪亚大学巴布·马德哈夫信息技术学院）
本文提出一种基于笔画规则的手写古吉拉特语字体生成框架，可由少量样例生成完整字体，并通过主观与OCR实验验证其有效性。
2024-04-04 cs.CV
A Cross-Font Image Retrieval Network for Recognizing Undeciphered Oracle Bone Inscriptions
Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能学院）；School of Informatics, Xiamen University（厦门大学信息学院）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism（文化和旅游部闽南（厦门大学）非物质文化遗产数字化保护与智能处理重点实验室）
本文提出跨字体图像检索网络CFIRN，通过孪生框架、多尺度特征集成模块和多尺度细化分类器建立甲骨文与其他字体的关联，实现未破译甲骨文的准确匹配与辅助破译。
2024-12-26 cs.CV
Local Style Awareness of Font Images
Kyushu University（九州大学）
本文提出一种准自监督注意力机制，识别字体图像的局部风格关键区域，并设计加权重建损失函数，提升少样本字体生成模型的字符生成质量。
2023-10-10 cs.CV
Word Level Font-to-Font Image Translation using Convolutional Recurrent Generative Adversarial Networks
Jadavpur University（贾达布尔大学）；Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Statistical Institute（印度统计研究所）
将一种字体转换为另一种字体在实际应用中非常有用。在本文中，我们提出了一个卷积递归生成模型来解决字级字体传输问题。我们的网络能够将任何打印文本图像的字体样式从当前字体转换为所需字体。该网络是针对完整的单词图像进行端到端训练的。因此，它消除了必要的预处理步骤，如字符分割。我们将我们的模型扩展到条件设置，这有助于学习一对多映射函数。我们在生成器中采用了一种新的卷积递归模型架构，可以有效地处理任意宽度的单词图像。它还有助于在连接目标字体的生成图像补丁后保持最终图像的一致性。除了生成器和鉴别器网络之外，我们还使用了一个分类网络来将转换后的字体样式的单词图像分类到它们随后的字体类别。大多数与图像平移相关的早期工作都是在正方形图像上进行的。我们提出的架构是第一个工作，可以处理不同宽度的图像。单词图像通常具有变化的宽度，这取决于存在的字符的数量。因此，我们在综合生成的字体数据集上测试我们的模型。我们将我们的方法与一些最先进的图像翻译方法进行比较。我们的网络在相同数据集上的卓越性能证明了我们的模型学习字体分布的能力。
2018-05-24 cs.CV
Optical Font Recognition in Smartphone-Captured Images, and its Applicability for ID Forgery Detection
Smart Engines（Smart Engines公司）；Boston University（波士顿大学）
在本文中，我们考虑的问题，检测伪造的身份证件的智能手机捕捉的图像。由于文档中包含特殊字体的数量，我们研究了卷积神经网络（CNN）的适用性，用于检测与政府标准相对应的字体的一致性。在这里，我们使用多任务学习来区分字体和字符的样本，并将得到的分类器与训练用于二进制字体分类的模拟分类器进行比较。我们训练神经网络的真实性估计的字体中使用的机器可读的区域和身份证号码的俄罗斯国家护照和测试他们的样本的个人字符从3238图像的俄罗斯国家护照。我们的研究结果表明，多任务学习的使用增加了分类器的灵敏度和特异性。此外，所得到的CNN表现出很高的泛化能力，因为它们正确地对训练集中不存在的字体进行分类。我们的结论是，所提出的方法是足够的字体的认证，并可以用作伪造检测系统的一部分，用智能手机摄像头采集的图像。
2018-10-18 cs.CV
Text-Conditioned Diffusion Model for High-Fidelity Korean Font Generation
School of Computer Science and Engineering, Soongsil University（计算机科学与工程学院，顺斯大学）
针对韩文等复杂语言字体生成中的训练不稳定和细节缺失问题，提出基于扩散模型的文本条件AFG方法，利用文本编码器、DG FONT风格编码器与感知损失，仅凭单张参考图生成高保真韩文字体，实验证明其优于基准方法。
2025-04-30 cs.CV
One-Shot Multilingual Font Generation Via ViT
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
针对CJK等表意文字字体设计难题，提出基于ViT和MAE预训练的多语言字体生成模型，无需复杂组件，可生成高质量字体，并集成RAG模块提升可扩展性。
2024-12-15 cs.CV
DropRegion Training of Inception Font Network for High-Performance Chinese Font Recognition
South China University of Technology（华南理工大学）
中文字体识别（CFR）近年来受到了广泛的关注。然而，由于标记字体样本的稀疏性和汉字结构的复杂性，CFR仍然是一个具有挑战性的任务。本文提出了一种DropRegion方法来生成大量随机变体字体样本，其局部区域被选择性地破坏，以及一种具有两个附加卷积神经网络（CNN）结构元素的初始字体网络（IFN），即，设计了级联的跨通道参数池（CCCP）和全局平均池。针对字体图像中笔画分布的非平稳性，提出了一种弹性网格化技术，该技术自适应地构造了一组具有均衡信息的局部区域。因此，DropRegion被无缝地嵌入到IFN中，这使得端到端训练成为可能;所提出的DropRegion-IFN可以用于高性能CFR。实验结果证实了我们的新方法的有效性CFR。
2017-03-27 cs.CV
HENet: Forcing a Network to Think More for Font Recognition
Shanghai University（上海大学）
虽然近年来文本识别/OCR取得了很大的进展，但字体识别的任务仍然具有挑战性。主要的挑战在于这些相似字体之间的细微差别，很难区分。本文提出了一种新的字体识别器与一个可插拔的模块解决字体识别任务。可插拔模块隐藏了最具区别性的可访问功能，并迫使网络考虑其他复杂的功能，以解决类似字体的困难示例，称为HE Block。与现有的公共字体识别系统相比，我们所提出的方法不需要在推理阶段进行任何交互。大量的实验表明，HENet取得了令人鼓舞的性能，包括字符级数据集Explor_all和单词级数据集TubeVFR
2021-10-21 cs.CV
Evaluating the Impact of Khmer Font Types on Text Recognition
La Rochelle University, Laboratoire Informatique Image Interaction (L3i)（拉罗谢尔大学，图像与交互信息实验室）；Cambodia Academy of Digital Technology (CADT)（柬埔寨数字技术学院）
本研究使用Pytesseract评估19种高棉语字体对OCR识别准确率的影响，发现不同字体表现差异显著，强调了字体选择对优化高棉语文本识别系统的重要性。
2025-06-30 cs.CV
Multiform Fonts-to-Fonts Translation via Style and Content Disentangled Representations of Chinese Character
Jinan University（暨南大学）
本文主要讨论了作为图像风格传递问题的个性化字体的生成。本文的主要目的是设计一个能够对人物的内容和风格进行提取和重组的网络框架。这些尝试可以用来合成只有少量字符的整个字体集。本文将卷积神经网络、多层感知器和残差网络等深度网络相结合，寻找最优模型来提取字体字符的特征。通过结构相似性指数和峰值信噪比评价标准，结果表明，所生成的字符与真实字符非常接近。
2020-03-28 cs.CV cs.LG stat.ML
ZiGAN: Fine-grained Chinese Calligraphy Font Generation via a Few-shot Style Transfer Approach
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Beijing Institute of Technology（北京理工大学）
与英文字母相比，汉字的字形或底层结构的复杂性以及存在的大量字符使得汉字的字形转换是一个非常具有挑战性的问题。此外，书法大师的笔迹具有更不规则的笔画，并且在现实场景中难以获得。最近，已经提出了几种基于GAN的字体合成方法，但其中一些方法需要大量的参考数据，而另一部分则需要繁琐的预处理步骤，将字符划分为不同的部分，以便分别学习和传输。本文提出了一个简单但功能强大的端到端汉字书法字体生成框架ZiGAN，该框架不需要任何人工操作或冗余的预处理，可以生成具有Few-Shot引用的细粒度目标样式字符。具体来说，利用来自不同字符样式的一些成对样本来获得不同字形下的结构之间的细粒度相关性。为了在目标中捕获有价值的风格知识并加强对字符内容的粗粒度理解，我们利用多个不成对的样本来对齐属于不同字符风格的特征分布。通过这样做，只需要几个目标汉字书法字符生成预期的风格转换字符。实验表明，该方法在Few-Shot汉字风格迁移中具有较好的泛化能力。
2021-08-08 cs.CV
Exploring Font-independent Features for Scene Text Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
场景文本识别（STR）在过去几年中得到了广泛的研究。许多最近提出的方法是专门设计，以适应任意形状，布局和方向的场景文本，但忽略了各种字体（或写作）风格也提出了严峻的挑战，STR。这些方法，其中字体特征和字符的内容特征纠缠在一起，表现不佳的文本识别场景图像与文本在新的字体风格。为了解决这个问题，我们通过大量的字体样式的字形的注意力生成的场景文本探索字体独立的功能。具体来说，我们引入了可训练的字体嵌入来塑造生成的字形的字体样式，场景文本的图像特征仅表示其基本模式。生成过程由空间注意力机制指导，该机制有效地处理不规则文本，并生成比现有图像到图像翻译方法更高质量的字形。在几个STR基准上进行的实验表明，与现有技术相比，我们的方法具有优越性。
2020-09-16 cs.CV
Handwritten Chinese Font Generation with Collaborative Stroke Refinement
Cooperative Madianet Innovation Center, Shanghai Jiao Tong University（上海交通大学Madianet协同创新中心）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；PingAn Technology US Research Lab（平安科技美国研究实验室）；Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）
自动字符生成是一种很有吸引力的解决方案，新的字体设计，特别是中文字体，包括超过3700个最常用的字符。该任务有两个主要的痛点：（i）手写字符通常与信息少的细笔画和复杂结构相关联，其在变形期间容易出错;（ii）需要基于少数手动设计的字符来合成具有各种形状的数千个字符。为了解决这些问题，我们提出了一种新的基于卷积神经网络的模型，主要有三个技术：协同笔划细化，使用协同训练策略来恢复丢失或破损的笔划;在线缩放增强，利用内容重用现象来减少训练集的大小;自适应预变形，标准化和对齐字符。该模型只需要750个成对的训练样本，不需要预先训练的网络，额外的数据集资源或标签。实验结果表明，该方法显着优于国家的最先进的方法下的实际限制手写体字体合成。
2019-05-06 cs.CV
Convolutional Neural Networks for Font Classification
Brigham Young University（杨百翰大学）
将页面或文本行分类到字体类别有助于转录，因为单字体光学字符识别（OCR）通常比全字体OCR更准确。我们提出了一个基于卷积神经网络（CNN）的简单框架，其中CNN经过训练，可以将小块文本分类为预定义的字体类。为了对页面或线条图像进行分类，我们对密集提取的补丁上的CNN预测进行平均。我们表明，这种方法实现了最先进的性能上具有挑战性的数据集的40个阿拉伯语计算机字体与98.8%的行级精度。同样的方法也达到了86.6%的预测古文字抄写脚本类在中世纪拉丁手稿页面水平的最高精度报告。最后，我们分析了CNN在拉丁语手稿上学习到的特征，并发现CNN正在学习抄写脚本类之间的定义形态差异以及过拟合类相关的滋扰因素的证据。我们提出了一种新形式的数据增强，提高了文本黑暗的鲁棒性，进一步提高分类性能。
2017-08-11 cs.CV
Efficient and Scalable Chinese Vector Font Generation via Component Composition
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Beijing Jiaotong University（北京交通大学）
针对大规模复杂中文矢量字体生成难题，本文构建含90K汉字部件与布局信息的数据集，并提出基于STN和多损失的部件仿射组合框架，在字体生成与零样本扩展上显著超越现有方法。
2024-04-10 cs.CV cs.GR
DiffCJK: Conditional Diffusion Model for High-Quality and Wide-coverage CJK Character Generation
Google DeepMind（谷歌DeepMind）；Tokyo, Japan（日本东京）
针对CJK字体创建成本高昂的问题，提出基于条件扩散模型的DiffCJK方法，能从单一标准字形生成高质量印刷和手写字体，并具备零样本泛化和风格插值能力。
2024-04-25 cs.CV
FontDiffuser: One-Shot Font Generation via Denoising Diffusion with Multi-Scale Content Aggregation and Style Contrastive Learning
South China University of Technology（华南理工大学）；SCUT-Zhuhai Institute of Modern Industrial Innovation（华南理工大学珠海现代产业创新研究院）；Alibaba Group（阿里巴巴集团）
针对现有字体生成方法在复杂字符和大幅风格变化下的不足，提出基于扩散模型的FontDiffuser，通过多尺度内容聚合模块与风格对比精炼模块提升效果，达到当前最优性能且代码已开源。
2023-12-19 cs.AI cs.CV
Scalable Font Reconstruction with Dual Latent Manifolds
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Google Research（谷歌研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度生成模型，通过学习字体样式和字符形状的解纠缠流形来执行排版分析和字体重建。与以前的方法相比，我们的方法使我们能够大规模地扩展我们可以有效建模的字符类型的数量。具体来说，我们推断单独的潜在变量表示字符和字体通过一对推理网络，作为输入集的字形，要么都共享一个字符类型，或属于同一种字体。这种设计使我们的模型能够泛化到在训练时没有观察到的字符，这是一项重要的任务，因为大多数字体都相对稀疏。我们还提出了一种新的损失，该损失是从先前的工作中改编而来的，该工作使用投影空间中的自适应分布来测量可能性，从而在不需要重复的情况下产生更自然的图像。我们评估的任务上的字体重建在各种数据集代表多种语言的字符类型，并比较有利的现代风格传输系统，根据自动和手动评估的指标。
2021-09-10 cs.CL cs.CV cs.LG
Few-shot Font Generation by Learning Style Difference and Similarity
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Shenzhen AiMall Tech（深圳爱猫科技）
Few-Shot字体生成（FFG）的目的是在通过引用少量样本生成目标字体的同时保持原始字符的底层全局结构。它已被应用于字体库创建、个性化签名等场景。现有的FFG方法显式地将通用或组件方式的引用字形的内容和样式分开。然而，它们忽略了不同样式中的字形之间的差异以及相同样式中的字形之间的相似性，这导致了诸如局部失真和样式不一致之类的伪像。为了解决这个问题，我们提出了一种新的字体生成方法，通过学习不同风格之间的差异和相同风格的相似性（DS-Font）。我们引入对比学习来考虑风格之间的积极和消极关系。具体来说，我们提出了一个多层风格投影仪的风格编码，并实现了独特的风格表示通过我们提出的多层对比风格（CCS）的损失。此外，我们设计了一个多任务的补丁识别器，它综合考虑了图像的不同区域，并确保每种风格可以独立区分。我们全面进行定性和定量评估，以证明我们的方法比最先进的方法取得了更好的结果。
2023-01-24 cs.CV
GAS-NeXt: Few-Shot Cross-Lingual Font Generator
Carnegie Mellon University（卡内基梅隆大学）
生成新字体是一项耗时且劳动密集型的任务，特别是在具有大量字符的语言中，如中文。各种深度学习模型已经证明了使用该风格的一些参考字符有效生成新字体的能力，但很少有模型支持跨语言字体生成。本文提出了一种基于AGIS-Net和字体翻译器GAN的跨语言Few-Shot字体生成器GAS-NeXt，并改进了Fréchet起始距离（FID）、结构相似性指数度量（SSIM）和像素级精度（pix-acc）等性能指标。我们的方法包括用字体翻译器GAN的层注意力和上下文感知注意力的思想替换原始的编码器和解码器，同时利用AGIS-Net的形状，纹理和局部判别器。在我们的实验中，英文到中文的字体翻译，我们观察到更好的结果，字体具有明显的本地功能比传统的中文字体相比，从字体翻译器GAN获得的结果。我们还在多种语言和数据集上验证了我们的方法。
2022-12-15 cs.AI cs.CV cs.LG
DGFont++: Robust Deformable Generative Networks for Unsupervised Font Generation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）
在没有人工专家的情况下自动生成字体是一个实际而重要的问题，特别是对于一些由大量字符组成的语言。现有的字体生成方法通常是在监督学习中。它们需要大量的成对数据，这是劳动密集型和昂贵的收集。相比之下，常见的无监督图像到图像转换方法不适用于字体生成，因为它们通常将样式定义为纹理和颜色的集合。在这项工作中，我们提出了一个强大的可变形生成网络的无监督字体生成（简称DGFont++）。我们引入了一个特征变形跳过连接（FDSC）来学习局部模式和字体之间的几何变换。FDSC预测位移图对，并采用预测的图将可变形卷积应用于低级内容特征图。FDSC的输出被馈送到混频器中以生成最终结果。此外，我们引入对比自监督学习，通过理解字体的相似性和不同性来学习字体的鲁棒风格表示。为了区分不同的风格，我们用多任务训练器训练我们的模型，这确保了每种风格都可以独立地区分。除了对抗损失，另外两个重建损失被用来约束生成图像和内容图像之间的域不变特性。利用FDSC和所采用的损失函数，我们的模型能够保持空间信息，并在一个无监督的方式产生高质量的字符图像。实验表明，我们的模型是能够生成更高质量的字符图像比国家的最先进的方法。
2022-12-30 cs.AI cs.CV
Deformation Robust Text Spotting with Geometric Prior
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The University of Hong Kong（香港大学）
针对场景文本中字符形状与字体多样性导致的识别难题，提出含33,000张艺术图像的ARText数据集及DR TextSpotter方法，利用几何先验与图卷积网络增强特征，实验验证其有效性。
2023-08-31 cs.CV
Coconditional Autoencoding Adversarial Networks for Chinese Font Feature Learning
在这项工作中，我们提出了一个新的框架名为共条件自动编码对抗网络（CocoAAN）的中文字体学习，它联合学习生成网络和两个编码网络的不同特征域使用对抗过程。编码网络通过两两替代优化策略分别将图像映射为风格和内容特征，生成网络将这两种特征映射到图像样本上。再加上一个判别网络的条件下提取的特征，我们的框架成功地产生逼真的中国电子邮件图像灵活。与以前依赖于复杂的中文部件或笔画分割的模型不同，我们的模型可以以无监督的方式“解析”结构，通过这种方式捕获每个字符的内容特征表示。实验表明，我们的框架有一个强大的泛化能力，其他看不见的字体和字符。
2018-12-12 cs.CV cs.LG
An Efficient Language-Independent Multi-Font OCR for Arabic Script
Cairo University（开罗大学）
光学字符识别（OCR）是从扫描文档的图像中提取数字化文本的过程。虽然OCR系统已经在许多语言中成熟，但它们在具有重叠字母的草书语言（例如阿拉伯语）中仍然存在缺点。本文提出了一个完整的阿拉伯文OCR系统，以阿拉伯文纳斯赫脚本的扫描图像作为输入，并生成相应的数字文档。我们的阿拉伯语OCR系统包括以下模块：预处理，单词级特征提取，字符分割，字符识别和后处理。本文还提出了一种改进的字体无关的字符分割算法，优于国家的最先进的分割算法。最后，本文提出了一种用于字符识别任务的神经网络模型。该系统在几个开放的阿拉伯语语料库数据集上进行了实验，平均字符分割准确率为98.06%，字符识别准确率为99.89%，整体系统准确率为97.94%，与最先进的阿拉伯语OCR系统相比，取得了出色的成绩。
2020-09-18 cs.CV cs.LG
A Multi-Implicit Neural Representation for Fonts
University College London（伦敦大学学院）；Adobe Research（Adobe 研究院）
字体在文档中无处不在，并且有各种样式。它们要么以原生矢量格式表示，要么光栅化以生成固定分辨率的图像。在第一种情况下，非标准表示阻止受益于神经表示的最新网络架构;而在后一种情况下，当通过网络编码时，光栅化表示导致数据保真度损失，因为像边缘和角这样的字体特定的不连续性难以使用神经网络表示。基于复杂字体可以由一组更简单的占用函数的叠加来表示的观察，我们引入\textit{multi-implicits}来将字体表示为学习的隐式函数的置换不变集合，而不会丢失特征（例如，边和角）。然而，虽然多隐式在本地保留字体特征，但以地面实况多通道信号的形式获得监督本身就是一个问题。相反，我们提出了如何训练这样一个表示，只有当地的监督，而建议的神经架构直接找到全球一致的多implantation字体家族。我们广泛评估了各种任务，包括重建，插值和合成，以证明现有的替代品的明显优势，提出的表示。此外，该表示自然地实现了字体补全，其中单个特征字体用于合成目标样式中的整个字体族。
2022-01-09 cs.CV cs.GR
Pyramid Embedded Generative Adversarial Network for Automated Font Generation
Alibaba（阿里巴巴）
在本文中，我们研究了中文字体合成问题，并提出了一个金字塔嵌入式生成对抗网络（PEGAN）自动生成汉字图像。PEGAN由一个发电机和一个整流器组成。该生成器使用一个编码器-解码器结构，具有级联细化连接和镜像跳过连接。级联细化连接将下采样原始输入的多尺度金字塔嵌入到不同层的编码器特征图中，并且来自编码器的多尺度特征图连接到解码器中的对应特征图以进行镜像跳过连接。通过结合生成对抗损失、像素损失、类别损失和感知损失，生成器和训练器可以交替训练以合成字符图像。为了验证我们提出的PEGAN的有效性，我们首先建立一个评估集，其中的字符是根据其笔画数和使用频率选择，然后使用定性和定量指标来衡量我们的模型的性能与基线方法相比。实验结果证明了该模型的有效性，它显示了自动扩展小字体银行到完整的潜力。
2018-11-20 cs.CV cs.LG
License Plate Detection and Character Recognition Using Deep Learning and Font Evaluation
Concordia University（康考迪亚大学）
本文提出结合Faster R-CNN与CNN-RNN（CTC损失、MobileNet V3）的双深度学习策略进行车牌检测与识别，在CENPARMI和UFPR-ALPR数据集上分别取得92%和90%召回率，并分析字体特征对识别性能的影响。
2024-12-17 cs.AI cs.CV cs.LG
StrokeGAN: Reducing Mode Collapse in Chinese Font Generation via Stroke Encoding
Jiangxi Normal University（江西师范大学）；Hong Kong University of Science and Technology（香港科技大学）
中文字体的生成是许多应用中涉及到的一个重要问题。现有的生成方法大多基于深度生成模型，特别是基于生成对抗网络（GAN）的模型。然而，这些深度生成模型可能遭受模式坍塌问题，这显著降低了生成结果的多样性和质量。在本文中，我们引入了一位笔画编码来捕获汉字的键模式信息，然后将其纳入CycleGAN，一个流行的深度生成模型，用于中文字体生成。因此，我们提出了一个有效的方法称为StrokeGAN，主要是出于观察，笔划编码包含大量的模式信息的汉字。为了重建相关生成字符的一位笔画编码，我们引入了强加在字符串上的笔画编码重建损失。配备了这样的一位笔画编码和笔画编码重建损失，CycleGAN的模式坍塌问题可以得到显著缓解，具有改进的笔画保留和生成字符的多样性。StrokeGAN的有效性证明了一系列的生成任务超过九个数据集与不同的字体。数值结果表明，StrokeGAN在内容和识别精度以及某些笔画错误方面通常优于最先进的方法，并且还生成更逼真的字符。
2021-01-11 cs.AI cs.CV cs.LG
Hangul Fonts Dataset: a Hierarchical and Compositional Dataset for Investigating Learned Representations
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）；University of California, Irvine（加州大学欧文分校）
层次性和组合性是许多自然和科学数据集的共同潜在属性。确定深度网络的隐藏激活何时表示层次结构和组合性对于理解深度表示学习和在可解释性至关重要的领域中应用深度网络都很重要。然而，当前的基准机器学习数据集要么几乎没有层次结构或组合结构，要么结构未知。这个差距阻碍了对网络表示的精确分析，从而阻碍了可以学习这些属性的新方法的开发。为了解决这一差距，我们开发了一个新的基准数据集，具有已知的层次和组成结构。韩文字体数据集（HFD）由35种来自韩文书写系统（Hangul）的字体组成，每种字体都有11，172个块（音节），这些块由初始辅音、中间元音和最终辅音字形的乘积组成。所有的块可以被分组为几个几何类型，这引起了跨块的层次结构。此外，每个块都由单独的字形组成，具有旋转，平移，缩放和跨字体的自然风格变化。我们发现，与有监督的深度网络相比，浅层和深层无监督方法在HFD的表示中只显示出适度的层次和组合性证据。受监督的深度网络表示包含与字符的几何层次结构相关的结构，但数据的组成结构并不明显。因此，HFD能够识别现有方法中的缺点，这是开发新的机器学习算法以在自然变化的背景下提取分层和组成结构的关键的第一步。
2021-06-09 cs.CV cs.LG cs.NE
Persis: A Persian Font Recognition Pipeline Using Convolutional Neural Networks
Islamic Azad University, Mashhad Branch（伊斯兰阿扎德大学马什哈德分校）；Linnaeus University（林奈大学）
本文提出基于CNN的波斯字体识别流水线Persis，引入公开数据集，在多个数据集上取得高准确率，并显著提升识别速度。
2023-10-10 cs.AI cs.CV
STEFANN: Scene Text Editor using Font Adaptive Neural Network
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology（印度理工学院）
针对图像场景文本难以直接修改的问题，提出字符级两阶段编辑方法，通过 FANnet 与 Colornet 生成字体和颜色一致的字符，并在 COCO-Text、ICDAR 上验证有效性。
2025-02-18 cs.CV cs.MM
Structure-Level Disentangled Diffusion for Few-Shot Chinese Font Generation
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University, China（人工智能学院）；Department of Computer Science and Technology, Nanjing University, China（计算机科学与技术系）；School of Electronic Science and Engineering, Nanjing University, China（电子科学与工程学院）
SLD-Font通过结构层面解耦和参数高效微调，实现少样本中文字体生成中更高的风格保真度和内容准确性。
2026-02-21 cs.AI cs.CV
A Hybrid Deep Learning Model for Arabic Text Recognition
Princess Sumayah School for Technology（苏玛雅公主技术学院）
阿拉伯语文本识别是一项具有挑战性的任务，因为阿拉伯语书写系统的草书性质，其联合书写方案，大量的连字和许多其他挑战。深度学习DL模型在包括计算机视觉和序列建模在内的众多领域取得了重大进展。本文提出了一个模型，可以识别阿拉伯语文本，使用多种字体类型，包括字体，模仿阿拉伯手写体。该模型采用混合DL网络，可以识别阿拉伯语印刷文本，而不需要字符分割。该模型在一个自定义数据集上进行了测试，该数据集由使用18种不同阿拉伯字体类型生成的200多万个单词样本组成。测试过程的目的是评估该模型识别代表各种草书风格的各种阿拉伯字体的能力。该模型在识别字符和单词时取得了较好的效果，在未知数据上的字符识别也取得了较好的效果。准备好的模型、自定义数据集和用于生成类似数据集的工具包是公开可用的，这些工具可以用于准备识别其他字体类型的模型，以及进一步扩展和增强所提出的模型的性能。
2020-09-04 cs.CL cs.CV cs.LG
French Word Recognition through a Quick Survey on Recurrent Neural Networks Using Long-Short Term Memory RNN-LSTM
McMaster University（麦克马斯特大学）
光学字符识别（OCR）是计算机视觉中的一个基本问题。研究表明，使用基于深度学习的方法和拓扑对印刷字符进行分类取得了重大进展。在当前的算法中，具有长短期记忆块的循环神经网络（称为RNN-LSTM）在准确率方面提供了最高的性能。使用从互联网上收集的前5,000个法语单词，包括所有的符号和口音，RNN-LSTM模型进行了训练和测试。使用六种字体来生成OCR样本，并准备包括来自这六种字体的所有样本的附加数据集用于训练和测试目的。对训练好的RNN-LSTM模型进行了测试，编辑距离和序列错误的准确率分别为99.98798%和99.91889%。精确的预处理和高度归一化（深度学习中的标准化方法）使RNN-LSTM模型能够以最有效的方式进行训练。这项机器学习工作还揭示了RNN-LSTM拓扑结构识别印刷字符的鲁棒性。
2018-04-10 cs.CV
OmniPrint: A Configurable Printed Character Synthesizer
LISN (CNRS/INRIA) Université Paris-Saclay（巴黎-萨克雷大学 LISN（法国国家科学研究中心/法国国家信息与自动化研究所））；Paradigm Inc（第四范式公司）；ChaLearn
我们介绍OmniPrint，一个孤立的印刷字符的合成数据生成器，面向机器学习研究。它从MNIST、SVHN和Omniglot等著名数据集中汲取灵感，但提供了从各种语言、字体和样式生成各种印刷字符的能力，并具有自定义扭曲。我们包括来自27个脚本和许多类型的扭曲935字体。作为概念验证，我们展示了各种用例，包括为即将到来的MetaDL NeurIPS 2021竞赛设计的元学习数据集示例。OmniPrint可在https://github.com/SunHaozhe/OmniPrint上获得。
2022-01-17 cs.CV cs.LG
CoreMark: Toward Robust and Universal Text Watermarking Technique
School of Aeronautics and Astronautics, Zhejiang University（浙江大学航空宇航学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）
本文提出CoreMark文本水印框架，基于CORE嵌入范式，通过动态提取和修改字符中连续黑色像素段的粗细来嵌入数据，并引入即插即用的强度调制器，实现了跨语言字体的鲁棒性和不可感知性，显著提升了抗截图、打印扫描及打印相机攻击的能力。
2025-09-08 cs.CR cs.CV cs.MM
Variational Grid Setting Network
National Chengchi University（国立政治大学）；National Taiwan University（国立台湾大学）
提出了一种新的神经网络结构，用于中文字体集的缺字自动生成。我们称之为变分网格设置网络的神经网络架构，它是基于变分自编码器（VAE）的一些调整。神经网络模型能够生成尺寸相对较大的缺失字符（$256 \times 256$像素）。此外，我们还证明了对于训练数据集，可以使用很少的样本，并且得到了令人满意的结果。
2017-10-26 cs.CV
DreamText: High Fidelity Scene Text Synthesis
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Zhejiang University of Technology（浙江工业大学）
针对现有场景文本合成方法字符级引导不足、字体适应性差导致的字符失真等问题，提出DreamText方法，通过重构扩散训练、启发式交替优化及联合训练文本编码器与生成器，实现高保真场景文本合成，性能优于现有最优方法。
2025-03-24 cs.AI cs.CV
Cross-Domain Image Conversion by CycleDM
Kyushu University（九州大学）
本研究提出融合CycleGAN理念与扩散模型的无配对跨域转换方法CycleDM，无需域间显式对应即可高效训练，实现印刷体与手写体字符图像的相互转换，性能优于同类方法。
2024-03-05 cs.CV
End-to-End Rubbing Restoration Using Generative Adversarial Networks
Beijing National Day School（北京十一学校）；Peking University（北京大学）
拓印文物对保存世界文化历史具有重要意义。在本文中，我们提出了RubbingGAN模型恢复不完整的摩擦字符。具体来说，我们收集了张梦龙碑上的文字，建立了第一个拓片复原数据集。我们设计了第一个用于拓印修复的生成对抗网络。基于我们收集的数据集，我们应用RubbingGAN学习张梦龙碑字体风格并恢复字符。实验结果表明，RubbingGAN能够快速有效地修复轻微和严重的残缺字符。
2022-10-30 cs.AI cs.CV
