Texture-Shape Bias Balancing for Robust Synthetic-to-Real Semantic Segmentation in Automotive NIR Imagery
University of Wuppertal（伍珀塔尔大学）；Aptiv（Aptiv公司）；Heinrich Heine University Düsseldorf（海因里希·海涅大学杜塞尔多夫）；Osnabrück University（奥斯纳布吕克大学）
提出生成式增强框架，通过目标风格适配和Voronoi风格多样化策略平衡纹理-形状偏差，实现近红外图像合成到真实域适应，将域差距减少高达63.6%。
2026-06-16 cs.CV
nnOOD: A Framework for Benchmarking Self-supervised Anomaly Localisation Methods
Imperial College London（帝国理工学院）；Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
医学成像中分布内和分布外的数据种类繁多，使得通用异常检测成为一项具有挑战性的任务。最近，已经开发了许多自我监督的方法，这些方法在用合成异常增强的健康数据上训练端到端模型。然而，很难比较这些方法，因为不清楚性能的提高是来自任务本身还是围绕它的训练管道，也很难评估任务是否适用于通用异常检测，因为它们通常只在有限的异常范围内进行测试。为了帮助实现这一点，我们开发了nnOOD，这是一个适应nnU-Net的框架，可以比较自监督异常定位方法。通过将合成的自我监督任务与训练过程的其余部分隔离开来，我们可以对任务进行更忠实的比较，同时也可以快速简单地对给定数据集进行评估。使用此方法，我们实现了当前最先进的任务，并在具有挑战性的X射线数据集上对其进行了评估。
2022-09-02 cs.CV
Adversarial Training for Adverse Conditions: Robust Metric Localisation using Appearance Transfer
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种方法，提高视觉位置识别和度量定位下非常强烈的外观变化。我们学习了一个可逆的生成器，可以trans-form图像的条件，例如，从白天到晚上，夏天到冬天等。这个图像变换过滤器是明确设计的，以帮助和教唆特征匹配使用一个新的损失的基础上SURF检测器和密集的描述符地图。一个网络被训练成输出针对仅给定输入RGB图像的特征匹配而优化的合成图像，并且这些生成的图像被用于使用传统的稀疏匹配方法针对先前构建的地图来定位机器人。我们使用牛津RobotCar数据集在一年多的时间内进行多次遍历，使用一次遍历作为地图，另一次进行本地化，从而对结果进行基准测试。我们表明，这种方法显着提高了位置识别和定位在不断变化的和不利的条件下，同时减少了成功实现可靠的定位所需的映射运行的数量。
2018-03-09 cs.CV
Inductive Visual Localisation: Factorised Training for Superior Generalisation
University of Oxford（牛津大学）
端到端训练的递归神经网络（RNN）已成功应用于需要处理序列的许多问题，如图像描述，机器翻译和文本识别。然而，RNN通常很难泛化到比训练过程中遇到的序列更长的序列。在这项工作中，我们建议优化神经网络明确归纳。其思想是首先将问题分解为一系列归纳步骤，然后显式地训练RNN来重现这些步骤。泛化是因为RNN不允许学习任意的内部状态;相反，它的任务是模仿有效状态的演变。特别地，该状态被限制为跟踪在先前步骤中已经被考虑的输入图像的部分的空间存储器映射。RNN是针对单个归纳步骤进行训练的，除了所需的输出之外，它还对内存进行更新。我们评估我们的方法在两个不同的视觉识别问题，涉及视觉序列：（1）文本定位，即联合本地化和阅读的文本在图像中包含多行（或一块）的文本，和（2）顺序计数的对象在空中图像。我们表明，递归模型的归纳训练增强了它们在具有挑战性的图像数据集上的泛化能力。
2018-07-21 cs.CV
Open Annotations and Synthetic Data for Field Localisation in Indian Bank Cheques
IDRBT
针对印度银行支票数据集缺乏字段标注和许可证问题，发布112张真实支票的六字段边界框标注和295张可再分发合成支票图像，并通过实验发现对于固定布局文档，仅外观增强无显著提升。
2026-06-23 cs.CV cs.LG
PIN: Positional Insert Unlocks Object Localisation Abilities in VLMs
University of Amsterdam（阿姆斯特丹大学）
本文提出 PIN 方法，通过在冻结的描述型 VLM 中引入可学习的空间提示，无需监督检测数据即可解锁目标定位能力，在多种图像上实现了强大的零样本定位性能。
2024-02-13 cs.CV
QuerYD: A video dataset with high-quality text and audio narrations
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
我们介绍了QuerYD，一个新的大规模数据集的检索和事件定位的视频。我们的数据集的一个独特功能是每个视频都有两个音轨：原始音频和视觉内容的高质量口头描述。该数据集基于YouDescribe，这是一个志愿者项目，通过将语音叙述附加到现有的YouTube视频来帮助视障人士。这个不断增长的视频集合包含高度详细的，时间对齐的音频和文本注释。内容描述比对话更相关，并且比先前的描述尝试更详细，可以观察到包含许多肤浅或无信息的描述。为了证明实用的QuerYD数据集，我们表明，它可以用来训练和基准强大的模型检索和事件本地化。数据、代码和模型都是公开的，我们希望QuerYD能激发人们对使用书面和口头自然语言理解视频理解的进一步研究。
2021-02-17 cs.CV
Confidence-Aware and Self-Supervised Image Anomaly Localisation
Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Imperial College London（帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
针对通用图像异常检测难题，提出一种带置信度感知的改进自监督单类训练策略，通过放宽特征约束、梯度放大提升性能，在多个基准数据集上优于现有最优方法。
2023-10-02 cs.CV eess.IV
SynthTIGER: Synthetic Text Image GEneratoR Towards Better Text Recognition Models
CLOVA AI Research, NAVER Corporation（NAVER公司CLOVA人工智能研究院）；Upstage AI Research（Upstage人工智能研究院）
对于成功的场景文本识别（STR）模型，合成文本图像生成器已经缓解了现实世界中注释文本图像的缺乏。具体来说，它们生成具有不同背景、字体样式和文本形状的多个文本图像，并使STR模型能够学习可能无法从手动注释的数据中访问的视觉模式。本文通过对文本图像合成技术的分析，并在一个算法下集成了有效的文本图像合成技术，提出了一种新的合成文本图像生成器SynthTIGER。此外，我们提出了两种技术，减轻长尾问题的长度和字符分布的训练数据。在我们的实验中，SynthTIGER比合成数据集MJSynth（MJ）和SynthText（ST）的组合实现了更好的STR性能。我们的消融研究证明了使用SynthTIGER的子组件和为STR模型生成合成文本图像的指南的好处。我们的实现可以在https://github.com/clovaai/synthtiger上公开获得。
2021-07-20 cs.CV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（高雄师范大学）
场景文本识别（STR）在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据，但数据标记可能很困难，昂贵或耗时，特别是对于繁体中文文本识别。据我们所知，缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架，旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据，并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明，文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Generating Synthetic Data for Text Recognition
CVIT, IIIT Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）
生成合成图像是一种以最接近的可能方式模拟图像生成的自然过程的艺术。在这项工作中，我们利用这样一个框架，在手写领域的数据生成。我们使用开源字体渲染合成数据，并结合数据增强方案。作为这项工作的一部分，我们发布了9M合成手写单词图像语料库，这可能有助于训练深度网络架构，并提高手写单词识别和识别任务的性能。
2016-08-15 cs.CV
A CNN Based Scene Chinese Text Recognition Algorithm With Synthetic Data Engine
Shanghai Jiao Tong University（上海交通大学）
场景文本识别在计算机视觉的许多应用中起着重要的作用。可用的公共可用场景文本数据集的小尺寸是训练文本识别CNN模型时的主要挑战。本文提出了一种基于CNN的中文文本识别算法。为了扩大训练CNN模型所需的数据集，我们设计了一个用于中文场景字符生成的合成数据引擎，该引擎根据中文文本的字体使用频率生成具有代表性的字符图像。由于中文文本更加复杂，英文文本识别CNN架构被修改为中文文本。为了保证小尺寸自然字符数据集和大尺寸人工字符数据集在训练中的可比性，CNN模型是渐进训练的。用两个中文文本数据集对所提出的中文文本识别算法进行了评估。与基线方法相比，该算法具有更高的识别精度。
2016-04-07 cs.CV
CNN-Based Camera Pose Estimation and Localisation of Scan Images for Aircraft Visual Inspection
Pillar of Engineering Product Development（工程产品发展中心）；Singapore University of Technology and Design（新加坡科技设计大学）；ST Engineering Aerospace Ltd.（ST工程航空航天有限公司）
本文提出基于CNN的无基础设施方法，用于飞机视觉检测中扫描图像的相机姿态估计与定位，通过领域随机化和几何优化提升精度。
2025-11-24 cs.CV cs.RO
Zero-Shot Synthetic-to-Real Handwritten Text Recognition via Task Analogies
University of Alicante（阿利坎特大学）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出通过学习模型参数在合成到真实手写转换中的变化，实现零样本跨语言真实文本识别，实验显示在五种语言和六种架构上均优于合成-only基线。
2026-04-08 cs.CV
Learning Texture Invariant Representation for Domain Adaptation of Semantic Segmentation
Yonsei University（延世大学）
由于为语义分割注释像素级标签是费力的，因此利用合成数据是一种有吸引力的解决方案。然而，由于合成域和真实域之间的域间隙，用合成数据训练的模型推广到真实数据具有挑战性。本文考虑到两个域的根本区别在于纹理，提出了一种自适应目标域纹理的方法。首先，我们多样性的合成图像的纹理风格转移算法。生成的图像的各种纹理防止分割模型过度拟合到一个特定的（合成）纹理。然后，我们通过自训练对模型进行微调，以直接监督目标纹理。我们的结果达到了最先进的性能，我们通过大量的实验分析了在风格化数据集上训练的模型的属性。
2020-03-30 cs.CV
Stroke-Based Scene Text Erasing Using Synthetic Data for Training
Tohoku University（东北大学）
场景文本擦除是将自然图像中的文本区域替换为合理的内容，近年来在计算机视觉界引起了极大的关注。在场景文本擦除中有两个潜在的子任务：文本检测和图像修补。这两个子任务都需要大量的数据来实现更好的性能;然而，缺乏大规模的真实世界场景文本删除数据集并不允许现有的方法实现其潜力。为了弥补成对真实世界数据的不足，我们在额外增强后大量使用了合成文本，随后仅在改进的合成文本引擎生成的数据集上训练我们的模型。我们提出的网络包含一个笔划掩码预测模块和背景修复模块，可以从裁剪的文本图像中提取文本笔划作为一个相对较小的洞，以保持更多的背景内容，以获得更好的修复效果。该模型可以部分地擦除场景图像中的文本实例与限界框或与现有的场景文本检测器自动场景文本擦除。对SCUT-Syn、ICDAR 2013和SCUT-EnsText数据集进行定性和定量评估的实验结果表明，即使在真实数据上进行训练，我们的方法也明显优于现有的最先进方法。
2021-12-03 cs.CV
What Is Wrong with Synthetic Data for Scene Text Recognition? A Strong Synthetic Engine with Diverse Simulations and Self-Evolution
Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所）；Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室）；WeChat Vision, Tencent Inc.（腾讯公司微信视觉团队）
本文提出UnionST合成引擎，通过多样化的模拟和自我进化框架，提升合成数据的现实性和有效性，实验表明其在复杂场景中优于现有合成数据。
2026-03-19 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford（牛津大学）
在这项工作中，我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据，并在整个图像上进行文字识别，从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实，足以取代真实数据，为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性，在这里我们考虑三种模型，每种模型都以不同的方式“阅读”单词：通过90 k路字典编码，字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中，我们大大提高了标准数据集的最先进性能，使用我们快速，简单的机器，并要求零数据采集成本。
2014-12-09 cs.CV
StableRep: Synthetic Images from Text-to-Image Models Make Strong Visual Representation Learners
Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 StableRep 方法，将同一文本提示生成的多张合成图像作为互为正样本进行多正样本对比学习，仅用合成图像即可超越基于真实图像训练的 SimCLR 和 CLIP，并证明加入语言监督后可用更少数据取得更高准确率。
2023-10-26 cs.CV
Why You Should Try the Real Data for the Scene Text Recognition
Intel Corporation（英特尔公司）
近年来文本识别领域的研究工作将识别结果推向了新的高度。但长期以来，由于缺乏大型的人类标记的自然文本识别数据集，迫使研究人员使用合成数据来训练文本识别模型。尽管合成数据集非常大（MJSynth和SynthTest，两个最著名的合成数据集，每个都有数百万张图像），但与ICDAR等自然数据集相比，它们的多样性可能不足。幸运的是，最近发布的OpenImages V5数据集的文本识别注释具有与合成数据集相当的实例数量和更多样化的示例。我们已经使用了这个注释与来自Yet Another Mask Text Spotter的文本识别头部架构，并获得了与SOTA结果相当的结果。在某些数据集上，我们甚至超过了以前的SOTA模型。在本文中，我们还介绍了一个文本识别模型。该模型的代码可用。
2021-07-29 cs.CV
Bridging Synthetic and Real Worlds for Pre-training Scene Text Detectors
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对场景文本检测预训练中合成域与真实域存在间隙的问题，提出基于GlyphMix字形混合机制的FreeReal预训练范式，结合合成与无标注真实数据优势，在多个基准模型和数据集上实现显著性能提升。
2024-07-10 cs.CV
TextureCrop: Enhancing Synthetic Image Detection through Texture-based Cropping
CERTH - ITI
针对现有合成图像检测方法因图像预处理方式限制高分辨率伪影检测效果的问题，提出可即插即用的TextureCrop纹理裁剪预处理组件，聚焦高频伪影区域，在多个数据集上显著提升各类检测器的AUC表现。
2025-01-16 cs.CV
An Empirical Study of Validating Synthetic Data for Text-Based Person Retrieval
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Frontis；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artifcial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research, Wuhan, China（武汉人工智能研究所，武汉，中国）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文首次系统研究文本基于人检索中合成数据的有效性，提出统一合成 pipeline 并通过实验揭示其作为替代或补充的真实数据的实用性。
2026-04-17 cs.CV
VITAL: A Visual Interpretation on Text with Adversarial Learning for Image Labeling
School of Computer Science, Wuhan University, Wuhan, Hubei, China（中国湖北省武汉市武汉大学计算机学院）；School of Information Engineering, Hubei University for Nationalities, Enshi, Hubei, China（中国湖北省恩施市湖北民族学院信息工程学院）
在本文中，我们提出了一种新的方法来解释文本信息提取视觉特征表示从多个高分辨率和照片般逼真的合成图像生成的文本到生成对抗网络（GAN），以提高图像标记的性能。首先，我们设计了一个堆叠的生成多对抗网络（GMAN），StackGMAN++，它是当前最先进的文本到图像GAN，StackGAN++的修改版本，以生成具有各种先验噪声的文本条件下的多个合成图像。然后我们从生成的合成图像中提取深层视觉特征，以探索文本的潜在视觉概念。最后，我们将图像级视觉特征、文本级特征和基于合成图像的视觉特征结合起来，对图像进行标签预测。我们在两个基准数据集上进行了实验，实验结果清楚地表明了我们所提出的方法的有效性。
2019-08-01 cs.CV
Improving Text Generation on Images with Synthetic Captions
Yonsei University（延世大学）；ONOMA AI
本文提出一种基于SDXL的低成本微调方法，通过数据精化和合成标注提升图像中文本生成的准确性，无需大规模训练或多模态编码器。
2024-10-23 cs.CV
Zero-shot video highlight detection based on text descriptions and synthetic images
Samsung AI Center（三星人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
提出一种结合CLIP、大语言模型和扩散模型的零样本框架，利用视频元数据生成文本描述和合成图像，实现无需标注的帧级高光检测，在TVSum和SumMe上表现优异。
2026-09-15 cs.CV
Synthetic data generation for Indic handwritten text recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Institute of Engineering & Management（工程与管理学院）；Indian Statistical Institute（印度统计研究所）
本文提出了一种新的方法来产生手写体字识别系统的合成数据集。对于不容易获得足够的训练数据的手写体，识别手写体是困难的，或者收集这种数据可能是昂贵的。因此，由于缺乏合适的数据集，训练识别系统变得困难。为了克服这些问题，可以使用合成数据来创建或扩展现有的训练数据集，以提高识别性能。来自在线报纸和此类来源的任何可用数字数据可用于生成合成数据。在本文中，我们建议添加失真/变形的数字数据，以这样一种方式，基本的模式被保留，使这样产生的图像承担一个密切的相似性，实际的手写样本。由此产生的图像可以独立地用于训练系统，或者与自然手写数据相结合以增强原始数据集并改进识别系统。我们尝试使用合成数据来提高孤立字符和单词的识别准确率。该框架是测试2印度脚本-梵文（印地语）和孟加拉语（孟加拉语），数字，字符和单词识别。我们从实验中获得了令人鼓舞的结果。最后，通过对拉丁文文本的实验验证了该方法的实用性.
2018-04-17 cs.CV
Text-guided Synthetic Geometric Augmentation for Zero-shot 3D Understanding
Keio University（庆应义塾大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所）；University of Tsukuba（筑波大学）；University of Technology Nuremberg（纽伦堡工业大学）；University of Oxford（牛津大学）
针对零样本3D分类中3D数据收集成本高、数据量有限的问题，提出文本引导几何增强方法TeGA，通过文本生成3D模型合成数据并经一致性过滤扩充数据集，在多个基准上提升了零样本3D分类性能。
2025-01-17 cs.CV
Towards Document Image Quality Assessment: A Text Line Based Framework and A Synthetic Text Line Image Dataset
Tongdun Technology（同盾科技）；ZhongAn Technology（众安科技）
由于低质量的文档图像将极大地降低自动文本识别和分析的成功机会，因此有必要评估在线业务流程中上传的文档图像的质量，以便拒绝那些低质量的图像。在本文中，我们试图实现文档图像质量评估和我们的贡献是双重的。首先，由于文档图像质量评估更感兴趣的是文本，我们提出了一个基于文本行的框架来估计文档图像质量，它由三个阶段组成：文本行检测，文本行质量预测，和整体质量评估。文本行检测旨在通过检测器发现潜在的文本行。在文本行质量预测阶段，使用基于CNN的预测模型为每个文本行计算质量分数。最后通过所有文本行质量的集合来评估文档图像的整体质量。其次，为了训练预测模型，合成了包含52，094个文本行图像的具有不同属性的大规模数据集。对于每个文本行图像，使用分段函数计算质量标签。为了证明所提出的框架的有效性，全面的实验进行了评估两个流行的文档图像质量评估基准。我们的框架在大型复杂数据集上的表现明显优于最先进的方法。
2019-06-05 cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University（上海科技大学）
本文提出LoGoPrompt，将合成文本图像用作视觉语言模型的视觉提示，通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题，在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
Can Text-to-Image Generative Models Accurately Depict Age? A Comparative Study on Synthetic Portrait Generation and Age Estimation
本文系统评估了文本到图像模型在合成肖像中描绘年龄、国籍和性别的准确性，发现其虽能生成多样身份面孔，但对特定年龄的刻画精度高度不稳定，难以满足高精度年龄相关任务需求。
2025-02-05 cs.CV
FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach
Aalborg University（奥尔堡大学）
针对真菌零样本分类，提出FungalZSL方法，利用LLM生成文本和合成图像增强CLIP，通过共享表示空间对齐并研究知识迁移以细化分类。
2025-02-26 cs.CV
CRD-CGAN: Category-Consistent and Relativistic Constraints for Diverse Text-to-Image Generation
Hubei Minzu University（湖北民族大学）；JD Finance America Corporation（京东金融美国公司）；Wuhan University（武汉大学）
从文本描述生成真实感图像是计算机视觉中的一个具有挑战性的问题。以前的工作已经显示出有前途的性能，生成对抗网络（GANs）的文本生成条件的合成图像。在本文中，我们专注于类别一致性和相对多样性约束，以优化合成图像的多样性。基于这些约束条件，提出了一种类别一致性和相对论多样性的条件GAN（CRD-CGAN），用于同时合成$K$照片级真实感图像。我们使用注意损失和多样性损失来提高GAN对单词注意和噪声的敏感性。然后，我们使用相对论条件损失估计合成图像的相对真实或虚假的概率，这可以改善基本条件损失的性能。最后，我们引入了类别一致性损失来缓解K个合成图像之间的过类别问题。我们使用Birds-200-2011，Oxford-102 flower和MSCOCO 2014数据集来评估我们的方法，并且广泛的实验证明了所提出的方法在生成的合成图像的真实感和多样性方面与最先进的方法相比的优越性。
2021-07-28 cs.CV
Video Text Preservation with Synthetic Text-Rich Videos
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出利用T2I生成富文本图像、I2V动画化后微调Wan2.1的轻量级合成监督方法，在不改架构的情况下提升视频中短文本可读性与时间一致性。
2025-11-04 cs.AI cs.CV
Loop closure detection using local 3D deep descriptors
Shandong University（山东大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
我们提出了一种简单而有效的方法来解决同时定位和映射使用本地3D深度描述符（L3 D）的循环闭合检测。L3 D是从点云中提取的补丁的紧凑表示，这些点云使用深度学习算法从数据中学习。我们提出了一种新的重叠测量循环检测计算的度量误差之间的点，对应于相互最近的邻居描述符后，登记的循环候选点云估计的相对姿态。这种新的方法使我们能够准确地检测循环和估计六个自由度的情况下，小重叠。我们将我们基于L3 D的环路闭合方法与最近的LiDAR数据方法进行了比较，并实现了最先进的环路闭合检测精度。此外，我们将我们的循环闭合方法嵌入到最近的基于边缘的SLAM系统RESLAM中，并对真实世界的RGBD-TUM和合成ICL数据集进行评估。我们的方法使RESLAM实现更好的定位精度相比，其原始的环路闭合策略。我们的项目页面可以在github.com/yiming107/l3d_loop_closure上找到。
2022-02-27 cs.CV cs.RO
Synthetic-to-Real Unsupervised Domain Adaptation for Scene Text Detection in the Wild
Zhejiang University（浙江大学）；Tencent（腾讯）；University of Hong Kong（香港大学）
基于深度学习的场景文本检测在有足够的标记训练数据的情况下可以取得较好的性能。然而，手动标记是耗时且费力的。在极端情况下，相应的注释数据不可用。利用合成数据是一个非常有前途的解决方案，除了合成数据集和真实数据集之间的域分布失配。为了解决严重的域分布不匹配问题，提出了一种基于领域自适应的场景文本检测方法，将合成数据（源域）的知识转移到真实数据（目标域）。本文介绍了一种文本自训练（TST）方法和对抗性文本实例对齐（ATA）的领域自适应场景文本检测。ATA通过以对抗方式训练域分类器来帮助网络学习域不变特征。TST减少了由不准确的伪标记引起的假阳性~（FP）和假阴性~（FN）的不利影响。这两个组成部分对提高场景文本检测器从合成场景到真实场景的适应性能有积极的影响。我们通过从SynthText，VISD转移到ICDAR 2015，ICDAR 2013来评估所提出的方法。实验结果表明，该方法的有效性达到了10%以上，对领域自适应场景文本检测具有重要的探索意义。代码可在https://github.com/weijiawu/SyntoReal_STD上获得
2020-09-03 cs.AI cs.CV
Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence（人工智能研究所）
针对富文本视觉语言数据稀缺导致VLM表现不佳的问题，提出CoSyn框架利用纯文本LLM生成代码及对应指令微调数据，训练的模型性能超越多款开源及专有模型，还可支撑多模态智能体开发。
2025-05-21 cs.CL cs.CV
Synthetica: Large Scale Synthetic Data for Robot Perception
NVIDIA（英伟达）；University of Toronto（多伦多大学）
本文提出Synthetica大规模合成数据生成方法，利用照片级光线追踪渲染270万张图像及随机化、增强技术训练实时检测transformer，在目标检测上达到SOTA且速度提升9倍。
2024-10-28 cs.CV cs.RO
Text-to-Events: Synthetic Event Camera Streams from Conditional Text Input
Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出文本到事件模型，结合自编码器与扩散模型，从文本提示直接生成合成事件相机流，并在DVS手势数据集上验证了生成序列的可用性。
2024-06-05 cs.AI cs.CV
Synthetic Map Generation to Provide Unlimited Training Data for Historical Map Text Detection
University of Minnesota（明尼苏达大学）；University of Southern California（南加州大学）
许多历史地图页是公开的，可用于需要长期历史地理数据的研究。这些地图的制图设计包括地图符号和文本标签的组合。从地图图像中自动读取文本标签可以大大加快地图解释速度，并有助于生成描述地图内容的丰富元数据。已经提出了许多文本检测算法来自动定位地图图像中的文本区域，但是大多数算法都是在域外数据集上训练的（例如，风景图片）。训练数据决定了机器学习模型的质量，而手动标注地图图像中的文本区域既耗费人力又耗时。另一方面，现有的地理数据源，如开放街道地图（OSM），包含机器可读的地图层，这使我们能够分离出文本层，并获得文本标签注释容易。然而，OSM地图瓦片和历史地图之间的制图风格是显着不同的。本文提出了一种自动生成无限量标注历史地图图像的方法，用于训练文本检测模型。我们使用一个风格转换模型，将当代地图图像转换为历史风格，并在其上放置文本标签。我们表明，最先进的文本检测模型（例如，PSENet）可以从合成历史地图中受益，并实现历史地图文本检测的显著改进。
2021-12-12 cs.AI cs.CV
Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning
Guangxi University（广西大学）；Guangxi Key Laboratory of Multimedia Communications and Network Technology（广西多媒体通信与网络技术重点实验室）
针对纯文本图像字幕生成中模态鸿沟与训练推理不一致的问题，提出结合合成图文对、优化伪特征、引入显著物体辅助的方法，实现了基准数据集上的SOTA性能。
2023-12-14 cs.CL cs.CV
Self-Supervised Text Erasing with Controllable Image Synthesis
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；City University of Hong Kong（香港城市大学）
最近的努力场景文本擦除显示出可喜的成果。然而，现有的方法需要丰富而昂贵的标签注释，以获得强大的模型，这限制了实际应用的使用。为此，我们通过提出一种新的自监督文本擦除（STE）框架来研究无监督场景，该框架联合学习合成具有擦除地面实况的训练图像，并准确地擦除现实世界中的文本。我们首先设计了一个风格感知的图像合成函数，基于两种合成机制生成具有不同风格文本的合成图像。为了弥合合成数据和真实数据之间的文本风格差距，构建了一个策略网络，通过在两个专门设计的奖励的指导下选择风格参数来控制合成机制。然后将具有擦除地面实况的合成训练图像馈送到训练粗到细擦除网络。为了产生更好的擦除输出，设计了三重擦除损失来执行细化阶段以恢复背景纹理。此外，我们还提供了一个新的数据集（称为Posterlog），它包含60 K高分辨率的带有文本的海报，对于文本擦除任务来说更具挑战性。所提出的方法已被广泛评估与Posterplant和广泛使用的SCUT-Enstext数据集。值得注意的是，在Posterior上，我们的无监督方法在FID方面达到了5.07，相对于现有的监督基线的相对性能为20.9%。
2022-04-27 cs.AI cs.CV
Synthetic Perception: Can Generated Images Unlock Latent Visual Prior for Text-Centric Reasoning?
本文探讨生成图像能否解锁潜在视觉先验以提升文本中心推理，通过多模态融合架构和提示工程策略实现性能提升。
2026-03-03 cs.CV cs.MM
Detection and Pose Estimation of flat, Texture-less Industry Objects on HoloLens using synthetic Training
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Interactive Graphics Research Group, TU Darmstadt（达姆施塔特工业大学交互图形学研究组）
针对边缘设备上AR应用计算资源受限的问题，提出一种基于合成训练的客户端-服务器方法，实现在HoloLens 2等设备上对无纹理工业物体的高精度6D姿态估计，并通过定性及定量实验验证其实际适用性。
2024-02-07 cs.AI cs.CV
Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning
Guangxi University（广西大学）；School of Computer, Electronics and Information（计算机与电子信息学院）
针对零样本图像描述中合成监督的实体级错位问题，提出即插即用框架ReCap，通过实体级重对齐与自适应加权策略优化合成数据，在两类基准上实现最优性能。
2026-08-04 cs.CL cs.CV
Synthetic Lung X-ray Generation through Cross-Attention and Affinity Transformation
University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于稳定扩散模型和文本-图像交叉注意力的合成肺部X射线语义掩码自动生成方法，显著降低数据标注成本，实验证明其训练的分割模型性能可比甚至优于真实数据训练的模型。
2025-03-10 cs.CV cs.LG
Precision or Recall? An Analysis of Image Captions for Training Text-to-Image Generation Model
Arizona State University（亚利桑那州立大学）
本文分析标题精度与召回率对文本到图像模型训练的影响，发现精度更重要，并利用大型视觉语言模型生成合成标题进行训练，效果与人工标注相当。
2024-11-07 cs.CL cs.CV
SLVMEval: Synthetic Meta Evaluation Benchmark for Text-to-Long Video Generation
Tohoku University（东北大学）；LY Corporation
本文提出SLVMEval基准，用于元评估文本到视频系统，通过合成降质视频对评估系统在长视频质量评估中的可靠性，实验显示人类评估准确率高于现有系统。
2026-03-31 cs.AI cs.CV
How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions
Adobe Applied Research（Adobe应用研究）；TU Darmstadt（图林大学达姆施塔特分校）；DFKI（德意志联邦防务研究院）
本研究系统评估合成训练标题的设计选择，发现密集高质量标题增强文本对齐但牺牲美学多样性，随机长度标题均衡提升且不损多样性，强调标题设计对文生图模型性能的关键作用。
2025-06-20 cs.AI cs.CV cs.LG
Region of Interest focused MRI to Synthetic CT Translation using Regression and Classification Multi-task Network
GE Healthcare（通用电气医疗集团）；Umeå University（于默奥大学）；Erasmus MC Cancer Institute（伊拉斯谟医学中心癌症研究所）；Newcastle University（纽卡斯尔大学）；Newcastle upon Tyne Hospitals NHS Foundation Trust（泰恩河畔纽卡斯尔NHS基金会信托）；Technical University of Munich（慕尼黑工业大学）；Sree Chitra Tirunal Institute of Medical Sciences and Technology（斯里奇特拉蒂鲁纳尔医学科学与技术研究所）；University of Zurich（苏黎世大学）
在这项工作中，我们提出了一种从零回波时间（ZTE）MRI生成合成CT（sCT）的方法，旨在提高图像的结构和定量精度，特别关注准确的骨密度值预测。我们提出了一个损失函数，有利于图像中的空间稀疏区域。我们利用多任务网络产生相关输出的能力作为框架，通过分类实现感兴趣区域（RoI）的本地化，强调RoI内值的回归，并通过全局回归保持整体准确性。该网络通过组合每个任务的专用损失的复合损失函数进行优化。我们演示了如何与ROI集中损失的多任务网络提供了一个优势，比其他配置的网络，以实现更高的性能精度。这与sCT相关，其中无法准确估计骨的高亨氏单位值可能导致临床应用中的准确性受损。我们比较了放射疗法治疗计划设置中来自建议的sCT和真实CT的剂量计算图。
2022-10-25 cs.AI cs.CV eess.IV
Image-Text Out-Of-Context Detection Using Synthetic Multimodal Misinformation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（情报学研究所）；The University of Tokyo（东京大学）
针对多模态虚假信息，提出基于合成数据生成的图像-文本上下文外检测方法，创建专用数据集并开发高效检测器，实验验证其有效性。
2024-01-29 cs.AI cs.CL cs.CV
Robust Disaster Assessment from Aerial Imagery Using Text-to-Image Synthetic Data
UC San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
提出利用文本到图像生成模型合成灾后图像，结合两阶段训练，提升跨地理区域航空影像灾害评估的鲁棒性，在xBD和SKAI数据集上显著优于仅源数据基线。
2024-05-22 cs.AI cs.CV cs.LG
Generating Multi-Image Synthetic Data for Text-to-Image Customization
Carnegie Mellon University（卡内基梅隆大学）；Meta
针对文本到图像定制中测试时优化成本高或单图像监督限制质量的问题，提出利用文本到图像模型和3D数据集构建多图像合成数据集SynCD，训练基于编码器的模型通过共享注意力机制融合参考图像细节，并提出归一化引导向量的推理技术缓解过曝，在标准基准上优于现有方法。
2025-10-13 cs.CV cs.GR cs.LG
Navigating the Synthetic Realm: Harnessing Diffusion-based Models for Laparoscopic Text-to-Image Generation
University of Bayreuth（拜罗伊特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）
本文利用基于扩散的文本到图像模型生成逼真腹腔镜手术图像，并通过人工评估和动作识别实验验证其真实性与数据增强价值。
2023-12-05 cs.AI cs.CV eess.IV
