SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking
Carnegie Mellon University（卡内基梅隆大学）；Apple Inc.（苹果公司）
SynthDST利用LLMs仅凭对话模式和少量模板合成带标注对话数据，实现少样本DST，在MultiWOZ上相比零样本提升4-5%联合目标准确率，并恢复近98%的人工数据性能。
2024-02-03 cs.AI cs.CL cs.LG
ExPT: Synthetic Pretraining for Few-Shot Experimental Design
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 ExPT 基础模型，通过合成预训练与上下文学习解决少样本实验设计问题，仅需少量带标签示例即可生成最优设计，并在多个挑战性领域中展现出优于现有方法的通用性与性能。
2023-10-30 cs.AI cs.LG
Towards Foundation Models for Zero-Shot Time Series Anomaly Detection: Leveraging Synthetic Data and Relative Context Discrepancy
Department of Industrial Engineering, Tsinghua University, Beijing, China（清华大学工业工程系）；Datadog AI Research, Paris, France. This work was completed prior to joining Datadog（Datadog AI 研究院）；Lab, Huawei Technologies, ShenZhen, China（华为技术2012实验室）
提出基于相对上下文差异（RCD）的预训练范式，通过合成数据训练Transformer模型比较查询模式与上下文，实现零样本时间序列异常检测，在多个基准上超越现有基础模型。
2026-11-09 cs.AI cs.LG
One-shot World Models Using a Transformer Trained on a Synthetic Prior
University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出 OSWM，一种仅用随机神经网络先验生成的合成数据、以情境学习方式训练的 Transformer 世界模型，可凭借 1k 步转移适应多个简单环境并训练有效策略。
2024-10-24 cs.AI cs.LG
Synthetic Forgetting without Access: A Few-shot Zero-glance Framework for Machine Unlearning
针对机器遗忘需访问原始训练数据的局限，提出少样本零样本设定下的GFOES框架，通过生成最优擦除样本和两阶段微调，仅用5%原始数据即可实现有效遗忘并保留模型性能。
2025-11-17 cs.AI cs.LG
TimePFN: Effective Multivariate Time Series Forecasting with Synthetic Data
University of Michigan（密歇根大学）
TimePFN提出一种基于先验数据拟合网络的新颖训练方案和Transformer架构，利用合成多元时间序列数据，在零样本和少样本预测中超越现有最先进模型，并展现出强大泛化能力。
2025-02-22 cs.AI cs.LG
Closing the Reality Gap with Unsupervised Sim-to-Real Image Translation
University of Cambridge（剑桥大学）；Universität Bremen（不来梅大学）
深度学习方法已经成为计算机视觉和机器人技术中许多问题的标准解决方案，但获得足够高质量的训练数据是具有挑战性的，因为人工容易出错，耗时且昂贵。近年来，基于仿真的解决方案越来越受欢迎，但仿真与现实之间的差距仍然是一个主要问题。在本文中，我们介绍了一种新的方法，用于增强合成图像数据，通过无监督的图像到图像的翻译，通过应用真实世界的图像的风格与开源框架的模拟图像。所生成的数据集与传统的增强方法相结合，然后应用到一个神经网络模型在自动足球机器人上实时运行。我们的评估显示，与完全在模拟中生成的图像上训练的模型相比，有了显着的改进。
2021-06-15 cs.CV cs.LG cs.RO
Bridging the Synthetic-to-Real Gap for Few-Shot Cryo-ET Classification
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；National Institute of Technology Karnataka（卡纳塔克邦国立理工学院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
针对冷冻电子断层扫描少样本分类中合成与真实数据的域差距，提出带可学习变换模块的自适应框架，在输入和特征层面弥合差距，实验优于迁移学习基线。
2026-09-15 cs.CV cs.LG
Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data
Google Research（谷歌研究院）
虽然在单一语言上微调的多语言预训练语言模型（LM）已经显示出大量的跨语言任务传输能力，但当目标语言监督可用时，在语义解析任务中仍然存在很大的性能差距。在本文中，我们提出了一种新的翻译和填充（TaF）方法产生银训练数据的多语言语义分析器。该方法简化了流行的翻译对齐项目（TAP）管道，并由一个序列到序列的填充模型，构建一个完整的解析条件的话语和相同的解析视图。我们的填充器仅在英语数据上进行训练，但可以准确地完成其他语言的实例（即，英语训练话语的翻译）。在三个多语种语义解析数据集上的实验结果表明，与传统对齐技术相比，TaF的数据增强具有竞争力的准确率。
2021-09-09 cs.AI cs.CL cs.LG
ForecastPFN: Synthetically-Trained Zero-Shot Forecasting
Caltech（加州理工学院）
针对时间序列初始观测极少的问题，本文提出完全在新型合成数据分布上训练的先验数据拟合网络ForecastPFN，可一次前向传播完成零样本预测，并在准确性和速度上超越允许使用额外同分布数据训练的SOTA方法。
2023-11-03 cs.LG
SIDA: Synthetic Image Driven Zero-shot Domain Adaptation
Hanyang University（汉阳大学）
提出SIDA方法，利用合成图像生成目标域风格特征，通过域混合和补丁风格转移模块实现高效零样本域适应，在多个场景中达到最优性能。
2026-06-29 cs.AI cs.CV cs.LG
Provably Improving Generalization of Few-Shot Models with Synthetic Data
FPT Software AI Center（FPT软件人工智能中心）；Hanoi University of Science（河内科学大学）；VinUniversity（文大学）；University of Warwick（沃里克大学）
针对少样本分类中合成数据导致的性能下降问题，提出一种集成原型学习的理论框架算法，优化数据划分与模型训练，有效弥合真实与合成数据分布差距并显著提升泛化性能。
2025-06-25 cs.CV cs.LG
BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation
UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）；Foundry；Princeton University（普林斯顿大学）
针对少样本下指令调优模型生成合成数据多样性不足的问题，提出结合基础模型多样性与指令调优模型质量的两阶段BARE方法，仅用3个种子示例即可生成高质量数据，显著提升多类下游任务性能。
2025-05-21 cs.AI cs.CL cs.LG
When to Stop Federated Learning: Zero-Shot Generation of Synthetic Validation Data with Generative AI for Early Stopping
Institute of Information & Communications Technology Planning & Evaluation (IITP)-ITRC (Information Technology Research Center)（信息与通信技术规划与评估机构（IITP）-ITRC（信息技术研究中心））；Institute of Science Tokyo（东京科学研究所）
针对联邦学习固定训练轮次导致的计算浪费问题，提出基于生成式AI的零样本合成验证早停框架，可在近最优轮次自适应停训，多标签胸片分类实验显示其最多减74%轮次且精度损失不超1%。
2025-11-14 cs.LG
Embedding Synthetic Off-Policy Experience for Autonomous Driving via Zero-Shot Curricula
Waymo, LLC（威莫有限责任公司）
基于ML的运动规划是一种很有前途的方法，产生代理，表现出复杂的行为，并自动适应新的环境。在自动驾驶的背景下，通常平等地对待所有可用的训练数据。然而，这种方法产生的代理在安全关键的设置中不能稳健地执行，这是一个无法通过简单地向训练集添加更多数据来解决的问题-我们表明，仅使用10%的数据子集训练的代理与在整个数据集上训练的代理一样好。我们提出了一种方法，根据从部署在公共道路上的自动驾驶汽车车队收集的数据来预测驾驶情况的固有难度。然后，我们证明，这个难度分数可以用在一个zero-shot转移生成课程的模仿学习为基础的规划代理。与在整个无偏训练数据集上进行训练相比，我们发现，在闭环评估中，优先考虑困难的驾驶场景既减少了15%的碰撞，又增加了14%的路线遵守，而所有这些都只使用了10%的训练数据。
2022-12-02 cs.AI cs.LG cs.RO
Synthetic Data is Sufficient for Zero-Shot Visual Generalization from Offline Data
University College London AI Centre（伦敦大学学院人工智能中心）
本文提出一种两步合成数据生成方法，先增强原始离线数据再在潜在空间用扩散模型生成额外数据，在不改动现有离线RL算法的前提下显著提升视觉策略的零样本泛化能力。
2025-08-17 cs.AI cs.CV cs.LG
Prediction and Causality of functional MRI and synthetic signal using a Zero-Shot Time-Series Foundation Model
AGH University of Krakow, Poland（克拉科夫AGH大学）；Institut de Neurosciences de la Timone UMR 7289, Aix Marseille Université, CNRS, 13005, Marseille, France（里莫内神经科学研究所）
本研究评估了时间序列基础模型在零样本和微调设置下对功能磁共振成像和合成信号的预测与因果分析能力，发现其具有强大的零样本性能并能更精确地检测因果相互作用。
2025-09-17 cs.LG
SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning
Hanyang University（翰阳大学）
针对 T2I 合成数据中图像与描述语义错位的问题，本文提出 SynC 框架，通过一对多候选检索与循环一致性对齐评分重配描述，显著提升多种 ZIC 模型性能。
2025-07-24 cs.AI cs.CL cs.CV
Zero-shot and Few-shot Generation Strategies for Artificial Clinical Records
University of Glasgow（格拉斯哥大学）
本研究评估Llama 2在零样本和少样本提示下生成合成医疗记录的能力，提出思维链提示技术，使零样本模型在Rouge指标上达到与微调模型相当的性能。
2024-03-14 cs.CL cs.LG
FSPO: Few-Shot Optimization of Synthetic Preferences Personalizes to Real Users
Stanford University（斯坦福大学）；OpenAI；Google DeepMind（谷歌DeepMind）
FSPO通过少样本优化合成偏好实现LLM个性化，利用用户描述理性化提升奖励建模和指令遵循，生成100万合成偏好数据，在三个领域实现87%的Alpaca Eval胜率。
2026-04-16 cs.AI cs.CL cs.HC
VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration
Microsoft AI（微软人工智能）
VisTIRA通过结构化工具集成框架，解决图像形式数学问题的推理难题，改进视觉数学推理能力，实验表明工具监督和OCR定位能有效缩小模态差距。
2026-03-17 cs.AI cs.CL cs.LG
Cabrita: closing the gap for foreign languages
针对外语场景下从头训练大模型成本高、现有预训练模型分词低效的问题，提出Cabrita方法论，基于OpenLLaMA用葡语持续预训练出带新分词器的openCabrita 3B，少样本任务性能媲美传统方法及7B英文预训练模型。
2023-08-23 cs.AI cs.CL cs.LG
Zero-Shot Robot Manipulation from Passive Human Videos
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
我们是否可以仅仅通过观看人类在不同的非结构化环境中执行任意任务的视频来学习机器人操作的日常任务？与广泛采用的学习特定任务的行为或直接模仿人类视频的策略不同，我们开发了一个框架，用于从人类视频中提取与代理无关的动作表示，然后将其映射到代理的实施例中。我们的框架是基于预测合理的人手轨迹给定的初始图像的场景。在对来自互联网的不同人类视频集训练此预测模型后，在对机器人的实施例进行适当变换后，我们将训练模型zero-shot部署为物理机器人操作任务。这个简单的策略使我们能够解决粗略的操作任务，如打开和关闭抽屉，推动和工具使用，而无需访问任何域内机器人操作轨迹。我们的实际部署结果为动作预测信息建立了一个强大的基线，这些信息可以从人类活动的各种任意视频中获取，并可用于在看不见的场景中进行zero-shot机器人操作。
2023-02-03 cs.LG cs.RO
One-shot Federated Learning via Synthetic Distiller-Distillate Communication
National University of Singapore（新加坡国立大学）；Beihang University（北京航空航天大学）
针对单轮联邦学习存在的模型性能低、数据异质性应对难及复杂数据集可扩展性差等问题，提出FedSD2C框架，通过蒸馏器合成本地数据蒸馏物并共享以减少信息损失，在复杂真实数据集上性能达最佳基线的2.6倍。
2024-12-06 cs.CV cs.LG
The Kalman Evolve: Closing the Gap in Kalman Filtering via Interpretable Algorithm Discovery
KTH Royal Institute of Technology（皇家理工学院）
针对非线性传感场景下卡尔曼滤波性能下降的问题，提出Kalman Evolve框架，联合优化噪声参数与更新结构，利用大语言模型生成可解释的非仿射修改，在多个基准上实现高达12%的RMSE降低。
2026-05-26 cs.AI cs.CV cs.LG
Few-Shot Inspired Generative Zero-Shot Learning
Department of Electrical and Computer Engineering University of Windsor（电气与计算机工程系 温莎大学）；Department of Electrical and Computer Engineering Queen’s University（电气与计算机工程系 女王大学）
本文提出FSIGenZ框架，通过模型特定属性评分和双重目的语义正则化，以极少量合成特征实现具有竞争力的生成式零样本学习性能。
2025-06-18 cs.LG
Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
Amazon（亚马逊）
针对每类仅4个示例的低资源文本分类，提出结合合成数据生成、过滤与PEFT的单LLM流程，在保持零样本效率的同时达到媲美ICL的准确率。
2024-04-03 cs.CL cs.LG
No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data
PAO Severstal / Moscow, Russia（莫斯科俄罗斯塞维尔塔尔公司）
本文通过合成与原创数据构建多突厥语翻译系统，展示了不同方法在各语言上的翻译效果，并发布相关数据集和模型权重。
2026-02-04 cs.AI cs.CL cs.LG
Transcoda: End-to-End Zero-Shot Optical Music Recognition via Data-Centric Synthetic Training
Heinrich Heine University Düsseldorf（海因里希-海涅大学杜伊斯堡）
Transcoda通过先进的合成数据生成、kern编码标准化和基于语法的解码，实现端到端零样本光学音乐识别，在新基准测试中取得最佳成绩，同时降低历史波兰扫描的错误率。
2026-05-11 cs.CV cs.LG
Knowledge-Guided Retrieval-Augmented Generation for Zero-Shot Psychiatric Data: Privacy Preserving Synthetic Data Generation
SimulaMet；Oslo Metropolitan University（奥斯陆城市大学）；Uppsala University（乌普萨拉大学）
本文提出一种零样本知识引导框架，利用检索增强生成技术生成隐私保护的合成心理数据，通过对比CTGAN和TVAE模型，证明临床知识增强LLM在生成高质量、隐私保护的合成数据方面具有优势。
2026-03-26 cs.LG
LoopTool: Closing the Data-Training Loop for Robust LLM Tool Calls
Shanghai Jiao Tong University（上海交通大学）；Xiaohongshu Inc.（小红书公司）
针对静态工具学习数据管线割裂、效率低的问题，提出闭环框架LoopTool，通过三个协同模块迭代优化数据与模型，训练的8B模型性能超越32B生成器，在相关基准取得同规模最优结果。
2025-11-18 cs.AI cs.CL cs.LG
EmbodiSwap for Zero-Shot Robot Imitation Learning
department of Computer Science, University of Maryland, College Park, MD, 20742（计算机科学系，马里兰大学， College Park, MD）
本研究提出EmbodiSwap方法生成合成机器人叠加视频，创新性将V-JEPA作为视觉骨干用于零样本机器人模仿学习，真实测试成功率达82%，并开源相关代码、数据集与模型权重。
2025-10-04 cs.AI cs.CV cs.LG
One-Shot Collaborative Data Distillation
CSIRO Data61（联邦科学与工业研究组织数据61部）
针对分布式环境中本地数据异构导致蒸馏合成集质量下降的问题，提出仅需单轮通信的协作数据蒸馏方法 CollabDM，以捕捉全局分布，并在偏斜数据和 5G 攻击检测中验证优势。
2024-08-12 cs.LG
Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering
Microsoft（微软）
本文提出PGT框架，通过合成数据生成、监督微调与强化学习对齐，在少样本下高效适配RAG模型，实现低成本且与GPT-4媲美的开放书问答。
2023-07-26 cs.LG
Sharpness-Aware Data Generation for Zero-shot Quantization
Department of Data Science and AI, Monash University, Melbourne, Australia（数据科学与人工智能系，墨尔本大学，澳大利亚）
本文提出一种锐度感知的合成数据生成方法，通过梯度匹配近似实现锐度最小化，用于零样本量化，在CIFAR-100和ImageNet上优于现有技术。
2025-10-08 cs.CV cs.LG
Zero-shot generation of synthetic neurosurgical data with large language models
Cumming School of Medicine University of Calgary（卡莱尔大学Cumming医学院）；The Abigail Wexner Research Institute Nationwide Children’s Hospital Department of Pediatrics The Ohio State University College of Medicine（阿比盖尔·韦克斯纳研究所全国儿童医院儿科部俄亥俄州立大学医学院）
该研究评估GPT-4o在零样本条件下生成合成神经外科表格数据的能力，并通过保真度、效用和隐私指标证明其可达到或超过CTGAN。
2025-02-17 cs.CL cs.LG
From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data
Independent, Israel（以色列独立机构）；OriginAI, Israel（以色列OriginAI公司）
提出利用WavLM表示的K近邻检索对齐非平行语音，构建合成训练对，结合说话人损失实现零样本语音转换，在仅用英语数据训练下跨语言表现优异。
2026-06-28 cs.LG cs.SD
Hybrid Synthetic Data Generation with Domain Randomization Enables Zero-Shot Vision-Based Part Inspection Under Extreme Class Imbalance
Department of Mechanical Engineering, University of Michigan, Ann Arbor, MI 48109, USA；Materials \& Manufacturing Systems Research Lab, General Motors, Warren, MI 48092, USA
提出一种结合仿真渲染、域随机化和真实背景合成的混合合成数据生成框架，仅用合成数据训练YOLOv8n和MobileNetV3-small模型，在极端类别不平衡下实现零样本工业零件检测，检测mAP@0.5达0.995，分类准确率96%，平衡准确率90.1%。
2025-11-28 cs.CV cs.LG
Two-shot Spatially-varying BRDF and Shape Estimation
NVIDIA（英伟达）；University of Tübingen（图宾根大学）
从图像中捕获物体的形状和空间变化外观（SVBRDF）是一项具有挑战性的任务，在计算机视觉和图形学中都有应用。传统的基于优化的方法通常需要在受控环境中从多个视图拍摄大量图像。较新的基于深度学习的方法只需要几张输入图像，但重建质量不能与优化技术相提并论。我们提出了一种新的深度学习架构，具有对形状和SVBRDF的逐阶段估计。先前的预测指导每个估计，联合细化网络稍后细化SVBRDF和形状。我们遵循实用的移动图像捕获设置，并使用未对齐的双镜头闪光灯和无闪光灯图像作为输入。我们的双镜头图像捕获和网络推理都可以在移动硬件上运行。我们还创建了一个大规模的合成训练数据集与域随机几何和现实的材料。在合成数据集和真实世界数据集上进行的大量实验表明，我们在合成数据集上训练的网络可以很好地推广到真实世界的图像。与最近的方法的比较表明，所提出的方法的优越性能。
2020-04-01 cs.CV cs.GR cs.LG
Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images
Purdue University（普渡大学）
提出一种基于GAN隐藏特征和自监督对比聚类的单样本分割框架，在五个基准上性能优于半监督基线且推理速度提升4.5倍，并成功应用于BagGAN行李X射线威胁检测。
2023-10-23 cs.CV cs.LG
Accelerating New Product Introduction for Visual Quality Inspection via Few-Shot Diffusion-Based Defect Synthesis
Relimetrics, Inc.（Relimetrics公司）
本文提出一种端到端生成框架，通过少样本扩散基缺陷合成提升视觉检测性能，实现在领域内增强和跨领域迁移，显著提升NPI阶段的检测精度。
2026-11-03 cs.CV cs.LG
Generating Synthetic Audio Data for Attention-Based Speech Recognition Systems
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
文语转换（TTS）的最新进展导致了灵活的多说话人端到端TTS系统的发展。我们扩展了最先进的注意力为基础的自动语音识别（ASR）系统与合成音频生成的TTS系统只训练ASR语料库本身。ASR和TTS系统分别构建，以表明纯文本数据可用于增强现有的端到端ASR系统，而无需更改参数或架构。我们将我们的方法与相同文本数据的语言模型集成以及SpecAugment等简单的数据增强方法进行比较，并表明性能改进大多是独立的。我们在低资源环境（LibriSpeech-100 h）中通过数据增强实现了高达33%的相对字错误率（WER）的改进，与可比的Oracle实验相比，差距缩小了50%以上。我们还显示，在LibriSpeech-960 h上，相对于我们最近的ASR基线，WER提高了5%。
2020-02-17 cs.CL cs.LG eess.AS
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于深度神经网络中的脆弱泛化，使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术，但在目标数据可用性有限的情况下，它们通常依赖于合成数据增强。在本文中，我们考虑了单次自适应的挑战性设置，并探索了增强策略的设计。我们认为，现有的方法所利用的增强是不足以处理大的分布偏移，因此提出了一种新的方法SiSTA（单次目标增强），首先微调生成模型从源域使用单次目标，然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验，我们发现，SiSTA产生高达20\%的改进超过现有的基线下，具有挑战性的变化，在面部属性检测，它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Unleashing Text-to-Image Diffusion Prior for Zero-Shot Image Captioning
Sun Yat-sen University（中山大学）；HiDream.ai Inc.（HiDream.ai公司）
本文提出PCM-Net，通过逐块跨模态特征混合机制和CLIP加权交叉熵损失缓解合成图像-文本语义错位，在零样本图像描述生成中取得域内与跨域领先性能。
2024-12-31 cs.CL cs.CV cs.LG
