SLURG: Investigating the Feasibility of Generating Synthetic Online Fallacious Discourse
University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对社交媒体操纵自动检测的需求,本文提出SLURG方法,探究用LLMs(如DeepHermes-3-Mistral-24B)生成合成谬误性论坛评论的可行性,发现其可复制真实数据句法模式,少样本提示能提升词汇多样性模仿能力。
2025-04-16 cs.CL
On the Zero-Shot Generalization of Machine-Generated Text Detectors
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学)
本研究聚焦机器生成文本检测器对未训练过的新型生成器的零样本泛化问题,通过多LLM数据实验发现中等规模LLM训练的检测器可泛化到更大模型,据此提出基于中等模型数据集成的鲁棒检测器构建方案。
2023-10-08 cs.CL
JAPAGEN: Efficient Few/Zero-shot Learning via Japanese Training Dataset Generation with LLM
Yokohama National University(横滨国立大学);Retrieva, Inc.(Retrieva公司);Nomura Research Institute, Ltd.(野村综合研究所)
针对现有LLM生成训练数据研究多聚焦英语的问题,提出JAPAGEN方法,用LLM合成日语多任务少/零样本监督数据训练紧凑模型,在日语正式文本分类任务上性能媲美传统LLM提示策略。
2024-12-09 cs.CL
Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出FewGen方法,通过调优自回归语言模型生成合成训练数据来增强少样本学习,在GLUE基准上显著优于现有方法。
2023-05-12 cs.CL cs.LG
MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data
National University of Kyiv-Mohyla Academy(基辅-莫希拉学院国家大学)
针对科学错误信息识别难题,提出MisSynth流水线,利用RAG生成合成谬误数据微调LLM,使LLaMA 3.1 8B模型F1分数提升超35%。
2025-10-30 cs.AI cs.CL cs.LG
Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);University of Washington(华盛顿大学);The First Affiliated Hospital of Nanchang University(南昌大学第一附属医院)
该研究构建按发表日期划分的生物医学背景-假设数据集,结合多智能体、工具使用及新指标综合评估LLM的假设生成能力,发现LLM可生成有效新假设,同时指出外部知识引入需谨慎。
2024-07-15 cs.CL
StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
提出StrategyLLM框架,利用四个LLM智能体进行归纳与演绎推理以生成可泛化且一致的少样本提示策略,在4项任务的13个数据集上无需人工干预即超越需人工标注的CoT-SC基线。
2024-11-09 cs.CL
Do LLMs Overcome Shortcut Learning? An Evaluation of Shortcut Challenges in Large Language Models
University of Science and Technology of China(中国科学技术大学);State Key Lab of Cognitive Intelligence(认知智能国家重点实验室);School of Computer Science and Technology(计算机科学与技术学院)
本文提出Shortcut Suite测试套件,系统评估大语言模型对六类捷径的依赖,发现更大模型更易利用捷径、思维链提示可显著减少捷径依赖,为提升LLM鲁棒性提供新方向。
2024-10-17 cs.CL cs.LG
MAFALDA: A Benchmark and Comprehensive Study of Fallacy Detection and Classification
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA Saclay(萨克雷国家信息与自动化研究所);Amundi(东方汇理集团);INRIA Paris(巴黎国家信息与自动化研究所)
本文构建统一谬误分类基准 MAFALDA,提出适配主观 NLP 的标注方案与评估方法,并通过零样本语言模型和人类表现评估谬误检测分类能力。
2024-04-09 cs.AI cs.CL cs.LG
From Search to Synthesis: Training LLMs as Zero-Shot Workflow Generators
School of Mathematics Science, Peking University(北京大学数学科学学院)
提出MetaFlow,将工作流生成视为元学习问题,通过两阶段训练(监督微调+强化学习)使模型能生成可泛化的任务级工作流,在问答、代码生成和数学推理任务上实现零样本泛化。
2026-07-01 cs.AI cs.CL cs.LG
Promptagator: Few-shot Dense Retrieval From 8 Examples
Google Research(谷歌研究院)
最近关于信息检索的许多研究都集中在如何从一个任务(通常具有丰富的监督数据)转移到监督有限的各种其他任务上,隐含的假设是可以从一个任务推广到所有其他任务。然而,这忽略了一个事实,即有许多不同的和独特的检索任务,每一个目标是不同的搜索意图,查询和搜索域。在本文中,我们建议在Few-Shot稠密检索上工作,在这种设置中,每个任务都有一个简短的描述和一些例子。为了放大几个例子的力量,我们提出了检索器(检索器),它利用大语言模型(LLM)作为一个Few-Shot查询生成器,并根据生成的数据创建特定于任务的检索器。在LLM的泛化能力的支持下,Aptagator可以仅基于几个示例创建特定于任务的端到端检索器,而不使用Natural Questions或MS MARCO来训练%问题生成器或双编码器。令人惊讶的是,不超过8个示例的LLM提示允许双编码器在11个检索集上平均超过1.2 nDCG,超过在MS MARCO(如ColBERT v2)上训练的经过大量工程设计的模型。使用相同的生成数据进一步训练标准尺寸的重新排序器产生另一个5.0点nDCG改善。我们的研究确定,查询生成可以比以前观察到的更有效,特别是当少量的特定于任务的知识。
2022-09-23 cs.CL cs.IR
Language Models as Zero-Shot Trajectory Generators
Imperial College London(伦敦帝国学院)
本文研究GPT-4能否零样本直接生成机器人低层操作轨迹,提出任务无关提示并在30项真实任务上验证其具备低层控制、失败检测与重规划能力。
2024-06-17 cs.AI cs.CL cs.HC
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University(南洋理工大学)
针对少样本提示微调依赖大量标注数据的问题,利用LLM合成任务特定数据,并提出DawGen方法与梯度手术策略训练软提示,显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
UniGen: Universal Domain Generalization for Sentiment Classification via Zero-shot Dataset Generation
Chung-Ang University(中央大学)
本文提出UniGen方法,通过零样本数据集生成实现情感分类的通用领域泛化,使微型任务模型能泛化到任意共享标签空间的领域,在参数规模远小于PLMs的同时实现高效跨领域推理。
2024-09-22 cs.AI cs.CL
Addressing the Ecological Fallacy in Larger LMs with Human Context
Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学);College of Connected Computing, Vanderbilt University, USA(连接计算学院,范德比大学,美国)
通过HuLM任务建模作者语言上下文,提升大模型在多个下游任务上的性能。
2026-03-06 cs.AI cs.CL cs.HC
Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
Shanghai Jiao Tong University(上海交通大学)
神经表格到文本生成方法是数据饥饿的,限制了它们对低资源现实世界应用的适应。以往的工作大多采用预训练的语言模型(PLM)来生成流畅的表格摘要。然而,由于PLM的不受控制的性质,它们通常包含幻觉内容。此外,表和序列之间的拓扑差异很少被研究。最后但并非最不重要的一点是,在PLM上使用少量实例进行微调可能会导致过度拟合和灾难性遗忘。为了缓解这些问题,我们提出了一种基于前缀的方法,前缀控制生成器(即,PCG),用于Few-Shot表格到文本生成。我们为PLM预先添加了一个特定于任务的前缀,以使表结构更好地适应预先训练的输入。此外,我们生成一个特定于输入的前缀来控制生成的文本的实际内容和词序。对Wikibio数据集的不同领域(人类,书籍和歌曲)的自动和人工评估都显示出比基线方法有实质性的改进。
2022-08-23 cs.CL
Composed Variational Natural Language Generation for Few-shot Intents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
在本文中,我们专注于在现实的不平衡场景中生成训练样本的Few-Shot意图。为了在现有的多镜头意图和Few-Shot意图之间建立联系,我们将意图视为域和动作的组合,并提出了一种组合变分自然语言生成器(CLANG),一种基于变换的条件变分自编码器。CLANG利用两个隐变量来表示意图中两个不同的独立部分(域和动作)对应的话语,并将隐变量组合在一起生成自然的例子。此外,为了改进生成器学习,我们采用了对比正则化损失,该损失将类内与类外话语生成进行对比。为了评估生成的话语的质量,实验进行了广义的Few-Shot意图检测任务。实证结果表明,我们提出的模型在两个真实世界的意图检测数据集上实现了最先进的性能。
2020-09-21 cs.CL
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学);Salesforce Research(赛富时研究院)
对领域本体的过度依赖和跨领域知识共享的缺乏是对话状态跟踪的两个实际问题,但研究较少。现有的方法通常在推理期间跟踪未知时隙值方面存在不足,并且通常难以适应新的域。在本文中,我们提出了一个可转移的对话状态生成器(TRADE),它使用复制机制从话语中生成对话状态,在预测(域,槽,值)三元组时促进知识转移。我们的模型是由一个话语编码器,一个槽门,和一个状态发生器,这是跨域共享。实证结果表明,TRADE在MultiWOZ(一个人与人之间的对话数据集)的五个领域中实现了48.62%的最先进的联合目标准确率。此外,我们通过模拟zero-shot和Few-Shot的对话状态跟踪看不见的领域,它的传输能力。TRADE在其中一个zero-shot域中实现了60.58%的联合目标准确度,并且能够适应Few-Shot情况而不会忘记已经训练过的域。
2019-05-26 cs.AI cs.CL
Leveraging QA Datasets to Improve Generative Data Augmentation
University of California San Diego(加州大学圣地亚哥分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Meta AI Research(Meta人工智能研究院);Halıcıoğlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利哲奥卢数据科学研究所)
生成语言模型(GLM)生成文本的能力在过去几年中有了很大的提高,使其能够用于生成数据增强。在这项工作中,我们提出了CONDA,一种方法,以进一步提高GLM的能力,生成合成数据,通过重新制定数据生成为上下文生成一个给定的问答(QA)对和利用QA数据集训练上下文生成器。然后,我们将下游任务转换为相同的问答格式,并使微调的上下文生成器适应目标任务域。最后,我们使用微调的GLM生成相关的上下文,这反过来又被用作合成训练数据,其相应的任务。我们在多个分类数据集上进行了大量的实验,并证明了在几次和zero-shot设置下性能的显著改善。我们的分析表明,需要高水平推理能力的QA数据集(例如,抽象的和常识的QA数据集)倾向于在Few-Shot和zero-shot设置中给出性能的最佳提升。
2022-10-25 cs.CL
Know What You Don't Know: Modeling a Pragmatic Speaker that Refers to Objects of Unknown Categories
Bielefeld University(比勒费尔德大学);University of Potsdam(波茨坦大学)
语言与视觉中的零样本学习是正确标记(或命名)新类别的对象的任务。L&V中的另一个工作链旨在提供实用信息,而不是“正确”的对象描述,例如在参考游戏中。我们结合这些线的研究和模型zero-shot参考游戏,扬声器需要成功地指一个新的对象在图像中。受“理性言语行为”模型的启发,我们扩展了一个神经发生器,使其成为一个实用的说话人对不确定对象类别的推理。作为这种推理的结果,与字面说话者相比,生成器产生更少的名词和分心物类别的名称。我们表明,这种会话策略处理新的对象往往提高沟通的成功,在自动监听器的分辨率精度。
2019-06-13 cs.CL
A Single Example Can Improve Zero-Shot Data Generation
Kazan Federal University(喀山联邦大学);HSE University(高等经济大学)
意图分类的子任务,例如对分布偏移的鲁棒性、对特定用户组和个性化的适应、域外检测,需要大量且灵活的数据集来进行实验和评估。由于收集这些数据集是费时费力的,我们建议使用文本生成方法来收集数据集。生成器应该被训练成生成属于给定意图的话语。我们探讨了两种方法来生成面向任务的话语。在zero-shot方法中,模型被训练为从看到的意图生成话语,并且还被用于生成在训练期间未看到的意图的话语。在单次方法中,模型用来自测试意图的单个话语呈现。我们执行一个彻底的自动化,并利用两种方法生成的数据集的人的评价。我们的研究结果表明,所生成的数据的属性接近原始测试集,通过众包收集。
2021-08-16 cs.CL
Prefill-Guided Thinking for zero-shot detection of AI-generated images
Observatory on Social Media(社会媒体观察所);Indiana University(印第安纳大学)
本文提出预填充引导思考方法,通过引导视觉-语言模型推理提升AI生成图像的零样本检测性能。
2026-01-25 cs.AI cs.CL cs.LG
Italian Crossword Generator: Enhancing Education through Interactive Word Puzzles
Università degli Studi di Siena(锡耶纳大学)
本文利用GPT3和BERT等语言模型,通过监督微调与Zero/Few-shot learning技术,开发了一个能从关键词或文本生成并验证线索的意大利语填字游戏系统,有效提升了教育填字游戏的质量与学习体验。
2023-11-27 cs.AI cs.CL
Unsupervised Meta Learning for One Shot Title Compression in Voice Commerce
Stanford University(斯坦福大学)
语音和移动商务中的产品标题压缩是一个很好的研究问题,目前提出了几种监督模型。然而,这些模型有两个主要的局限性;它们不是设计来在推理时基于线索动态地生成压缩,并且它们在测试时不能很好地转换到不同的类别。为了解决这些缺点,我们将标题压缩建模为一个元学习问题,在这个问题中,我们问,在只给出一个压缩示例的情况下,我们是否可以学习一个标题压缩模型?我们通过提出一种自动任务生成算法,将观察到的标签生成过程建模为4个未观察过程的结果,采用无监督的方法进行Meta训练。我们对这4个潜在过程中的每一个都创建了参数化近似,以获得生成随机压缩规则的原则性方法,这些规则被视为不同的任务。对于我们的主Meta学习器,我们使用两个模型:M1和M2。M1是任务不可知的嵌入生成器,其输出馈送到M2,M2是任务特定的标签生成器。我们在一个新的无监督段排名预测任务上对M1进行预训练,该任务允许我们将M1视为一个段生成器,该生成器还可以在元训练过程中学习对段进行排名。我们对16000个人群生成的元测试示例的实验表明,我们的无监督Meta训练机制能够在每个任务只看到1个示例后获得不同任务的学习算法。此外,我们还证明了我们的模型作为黑盒Meta学习者进行端到端训练,优于非参数方法。我们最好的模型获得了0.8412的F1分数,以25个F1分数的大幅度击败了基线。
2021-02-22 cs.AI cs.CL cs.LG
ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification
Amazon Alexa(亚马逊Alexa)
自然语言处理中的实际序列分类任务经常遭受目标类的低训练数据可用性。最近针对缓解这一问题的工作集中在迁移学习上,使用在通常不相关的任务(例如语言建模)上预先训练的嵌入。我们采用另一种方法,迁移学习的相关任务的集成使用原型网络下的元学习范式。使用意图分类作为案例研究,我们证明了增加训练任务的可变性可以显着提高分类性能。此外,我们将数据增强与元学习相结合,以减少采样偏差。我们使用一个条件生成器进行数据增强,该生成器直接使用元学习目标进行训练,同时使用原型网络,从而确保数据增强是根据任务定制的。我们探讨了句子嵌入空间以及原型嵌入空间中的增广。将元学习与增强相结合,在5次和10次学习中,相对于性能最好的系统,F1分数分别提高了6.49%和8.53%。
2021-01-28 cs.CL cs.LG
ZYN: Zero-Shot Reward Models with Yes-No Questions for RLAIF
Komorebi AI(Komorebi人工智能公司)
针对语言模型文本生成与人类偏好对齐问题,提出基于是非问题提示的零样本奖励模型ZYN,可用于RLAIF微调及多场景文本生成优化,在多领域验证了有效性并开源代码。
2023-12-14 cs.AI cs.CL
Knowledge Guided Metric Learning for Few-Shot Text Classification
University of Chinese Academy of Sciences(中国科学院大学);Beijing Unisound Information Technology Co., Ltd(北京云知声信息技术有限公司)
基于深度学习的文本分类模型的训练严重依赖于大量的标注数据,而这些标注数据很难获得。当标记数据稀缺时,模型往往难以达到令人满意的性能。然而,人类可以非常有效地区分新的类别,只需很少的例子。这主要是因为人类可以利用从相关任务中获得的知识。受人类智能的启发,我们提出在少样本学习中引入外部知识来模仿人类知识。为此,研究了一种新的参数生成器网络,它能够利用外部知识生成关系网络参数。当配备有这些生成的参数时,可以在任务之间转移度量,使得类似的任务使用类似的度量,而不同的任务使用不同的度量。通过实验,我们证明了我们的方法优于最先进的Few-Shot文本分类模型。
2020-04-04 cs.CL cs.IR cs.LG
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
我们提出了接地适应Zero-shot可执行语义解析(GAZP),以适应现有的语义解析器新的环境(例如,新的数据库模式)。GAZP将前向语义解析器与后向话语生成器相结合,在新的环境中合成数据(如话语和SQL查询),然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同,GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上,GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明,GAZP在训练环境中优于数据增强,性能随着GAZP合成数据量的增加而增加,并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
End-to-end Spoken Language Understanding with Tree-constrained Pointer Generator
University of Cambridge(剑桥大学)
端到端口语语言理解(SLU)面临长尾词问题。本文利用上下文偏置,一种技术,以提高语音识别的罕见的话,在端到端SLU系统。具体而言,树约束指针生成器(TCPGen),一个强大而有效的偏置模型组件,研究,利用槽入围与相应的实体提取偏置列表。同时,为了偏置SLU模型输出时隙分布,提出了时隙概率偏置(SPB)机制来从TCPGen计算时隙分布。在SLURP数据集上的实验表明,使用TCPGen和SPB,特别是在看不见的实体上,SLU-F1得到了一致的改进。在一个新的分裂,通过举行了5个插槽类型的测试,TCPGen与SPB实现了零样本学习与SLU-F1得分超过50%相比,基线不能处理它。除了插槽填充,意图分类精度也得到了提高。
2023-03-14 cs.CL cs.SD eess.AS