Debunking with Dialogue? Exploring AI-Generated Counterspeech to Challenge Conspiracy Theories
University of Applied Sciences (HTW) Berlin, Germany(柏林应用科学大学(HTW))
针对阴谋论反言论数据集缺失、专家主导的反言论工作难规模化的问题,研究评估了GPT-4o等大模型运用心理学研究衍生的反言论策略的能力,发现模型生成内容质量不佳且存在幻觉,实际应用存疑。
2025-08-01 cs.AI cs.CL cs.SI
Northeastern Uni at Multilingual Counterspeech Generation: Enhancing Counter Speech Generation with LLM Alignment through Direct Preference Optimization
Capital One(第一资本);Northeastern University(东北大学);Apple Inc.(苹果公司)
本文提出通过SFT和DPO对齐LLM并结合知识基础,显著提升了多语言环境下的反制言论生成质量,DPO模型在CS基准上超越基线并有效扩展至多语言。
2024-12-19 cs.AI cs.CL
CATCH-ME if you RAG: a dataset of Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Università Cattolica del Sacro Cuore(圣心天主教大学)
提出首个大规模、专家策划的多语言对话数据集,覆盖仇恨与虚假信息重叠问题,包含事实核查锚定和跨度标注,支持RAG系统训练更可信的对抗言论模型。
2026-06-19 cs.CL
Assisted Counterspeech Writing at the Crossroads of Hate Speech and Misinformation
Fondazione Bruno Kessler(布鲁诺·克塞勒基金会);Università Cattolica del Sacro Cuore(天主教圣心大学)
本文研究了在仇恨言论和虚假信息共存的背景下,利用大型语言模型辅助专家反诽谤写作的方法,通过三种知识驱动的生成策略,结合事实核查和非政府组织的指南,提高了反诽谤文本的质量和有效性。
2026-05-21 cs.CL
Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study
Tencent Hunyuan(腾讯混元)
本文针对大语言模型作为评估者时存在的潜在偏见问题,提出并比较了带参考和不带参考的两种多示例上下文学习提示模板,实验证明GPT-4o在多示例设置下评估一致性和质量更优,且带参考模板效果更好。
2025-02-05 cs.CL
Task Contamination: Language Models May Not Be Few-Shot Anymore
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文研究了LLMs的零样本和少样本性能随时间的变化,发现训练数据创建日期前发布的数据集上存在任务污染,且在无污染的分类任务中LLMs极少显著优于简单多数基线。
2023-12-26 cs.CL
Large Language Models are few(1)-shot Table Reasoners
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
最近的文献表明,大语言模型(LLM)通常是优秀的Few-Shot推理机来解决文本推理任务。然而,LLM在表推理任务上的能力还有待探索。在本文中,我们的目的是了解如何以及LLM可以执行表相关的任务与Few-Shot上下文学习。具体来说,我们在流行的表格QA和事实验证数据集(如WikiTableQuestion,FetaQA,TabFact和FEVEROUS)上评估了LLM,发现LLM能够胜任表格结构的复杂推理,尽管这些模型没有在任何表格语料库上进行预训练。当与“思维链”提示相结合时,LLM只需一次演示就可以实现非常强大的性能,甚至可以与某些SoTA模型相提并论。我们表明,LLM在FetaQA上生成全面的长形式答案方面比调谐的T5-large更有能力。我们进一步人工研究了从LLM引出的推理链,发现这些推理链与底层语义形式高度一致。我们相信,LLM可以作为未来研究的一个简单而通用的基线。代码和数据发布在https://github.com/wenhuchen/TableCoT上。
2023-01-23 cs.CL
Are LLMs Good Zero-Shot Fallacy Classifiers?
Nanyang Technological University(南洋理工大学);Interdisciplinary Graduate Programme, Nanyang Technological University(南洋理工大学跨学科研究生项目);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文研究利用大型语言模型进行零样本谬误分类,提出单轮和多轮提示方案,实验表明LLMs在OOD场景和部分开放域任务中可超越全样本基线,多轮提示对小型LLMs改进尤为显著。
2024-10-19 cs.CL
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
LLMs Are Zero-Shot Context-Aware Simultaneous Translators
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nara Women’s University(奈良女子大学)
本文证明开源LLMs在零样本同声机器翻译任务中表现媲美最先进基线,注入背景信息可提升技术主题翻译性能,凸显其无需训练即可构建多语言上下文感知系统的潜力。
2024-06-25 cs.CL
Selecting Shots for Demographic Fairness in Few-Shot Learning with Large Language Models
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学)
本研究探讨少样本学习中大语言模型作为NLP分类系统的公平性,分析不同样本选择策略(含人口统计敏感方法)对三个标准数据集上模型公平性的影响,并提出未来公平性评估方向。
2023-11-14 cs.CL
Zero-Shot Belief: A Hard Problem for LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
针对FactBank的零样本源和目标信念预测任务,提出统一系统和混合方法两种基于LLM的方案,发现多种LLM表现不佳,混合方法在FactBank上获最先进结果并完成错误分析,还在ModaFact上测试。
2025-02-12 cs.CL
Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition
University of Michigan(密歇根大学)
提出对比蒸馏框架,从LLMs(如GPT-4)蒸馏情感知识至紧凑模型,实现零样本情感识别,性能接近GPT-4且规模小万倍以上。
2025-05-23 cs.CL
Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance
George Mason University(乔治梅森大学);University of Iowa(爱荷华大学)
本文提出PRomPTed方法,通过LLMs在环为每个任务实例重写提示,在13个数据集和10种任务类型上显著提升零样本性能,并证明较弱模型重写提示可监督更强模型。
2024-06-11 cs.CL
SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators
AIRI;Skoltech(斯克里普挑战学院);Sber AI;ISP RAS Research Center for Trusted AI(俄罗斯科学院可信人工智能研究中心)
本文提出SynthDetoxM多语言并行去毒化数据集,利用九个开源大语言模型在少样本设置下生成16,000个高质量句子对,实验证明其训练效果优于人工标注数据集和所有被评估的大语言模型。
2025-02-10 cs.CL
Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors
The Ohio State University(俄亥俄州立大学)
针对大型语言模型在关系抽取任务上表现不佳的问题,提出QA4RE框架,通过将关系抽取与问答任务对齐,显著提升了模型在零样本和少样本设置下的性能与鲁棒性。
2023-05-18 cs.CL
Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
Université Paris-Saclay(巴黎-萨克雷大学);Jožef Stefan Institute(约热夫·斯特凡研究所)
本研究系统评估了多种开源LLM在多语言可读性评估中的表现,发现思维链推理和少样本提示显著提升预测质量,验证了LLM作为跨语言可读性评估器的有效性。
2026-09-22 cs.CL
Is Safer Better? The Impact of Guardrails on the Argumentative Strength of LLMs in Hate Speech Countering
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);I3S(信息、信号与智能系统实验室)
本文研究 LLM 生成反制言论时安全护栏对论证质量的影响,发现护栏可能降低生成质量,而针对仇恨言论中隐含负面刻板印象和仇恨性部分进行攻击能产生更高质量的反制言论。
2024-10-04 cs.CL
Prompt Balance Matters: Understanding How Imbalanced Few-Shot Learning Affects Multilingual Sense Disambiguation in LLMs
Department of Computer Science, Swansea University(计算机科学系,萨斯奎汉大学)
本研究针对少样本提示中样本分布不平衡的问题,采用GLOSSGPT提示法在五种语言上测试,发现不平衡样本会引发多语言词义消歧偏差,强调需采用平衡的提示策略。
2025-10-04 cs.CL
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
Tel Aviv University(特拉维夫大学)
ClusterFewshot通过结合语义结构与效用感知评分来选取少样本演示,在DSPy流程中降低优化成本并提升准确率。
2026-09-23 cs.CL
Deciphering Political Entity Sentiment in News with Large Language Models: Zero-Shot and Few-Shot Strategies
IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文评估 LLM 用零样本、少样本及 COT 提示识别政治新闻中实体情感的效果,证明其优于微调 BERT,并分析上下文学习与自洽机制的作用。
2024-04-05 cs.CL
Using tournaments to calculate AUROC for zero-shot classification with LLMs
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
本文提出利用LLM进行零样本分类的AUROC计算,通过成对比较和Elo评分系统提升分类性能并提供更多信息。
2025-11-22 cs.CL
Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations
Google(谷歌)
Retcon是一种基于提示的LLM对话控制技术,通过少量示例实现轮次级控制,优于零样本和传统少量样本提示方法。
2026-02-09 cs.CL
Large Language Models Are Zero-Shot Text Classifiers
Florida Atlantic University(佛罗里达大西洋大学)
本文验证了GPT等大型语言模型作为零样本文本分类器的能力,通过思维链提示策略在多个数据集上取得优于传统机器学习、深度学习和零样本方法的性能,为缺乏文本分类专业知识的小型团队提供了有效方案。
2023-12-02 cs.CL
Can Open-Source LLMs Compete with Commercial Models? Exploring the Few-Shot Performance of Current GPT Models in Biomedical Tasks
BioASQ Lab at CLEF(CLEF的BioASQ实验室)
本研究通过BioASQ挑战探索了商业与开源LLM在生物医学RAG任务中的性能,发现性能差距主要在零样本场景,少样本示例可弥合差距。
2024-07-18 cs.CL
Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);National Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Key Laboratory of Machine Perceptron (MOE), Peking University(北京大学机器感知教育部重点实验室)
本文提出一种基于进化算法动态生成零样本思维链提示的方法,通过初始化、进化操作和选择重写,在十个数据集上优于现有方法,提升了大语言模型的推理能力。
2024-02-08 cs.CL
Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER
WitnessAI
本文提出JPT方法,通过两次输入拼接实现双向上下文的标记分类,提升零样本NER性能,比现有方法快20倍,F1得分提升7.9%。
2026-08-27 cs.CL
How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings
The Ohio State University(俄亥俄州立大学)
本文针对 text-to-SQL 任务中提示构建缺乏可比性的问题,全面调查了在 Zero-shot、Single-domain 和 Cross-domain 等多种设置下提示构建的影响,为未来研究提供了有效提示构建的见解。
2023-11-27 cs.CL
Large Language Models Enable Few-Shot Clustering
Carnegie Mellon University(卡内基梅隆大学);NEC Laboratories Europe(NEC欧洲实验室);Inspired Cognition(灵感认知公司)
探讨大型语言模型能否放大专家指导以实现少样本半监督文本聚类,发现将LLM融入聚类前和聚类中阶段能显著提升聚类质量,并允许用户在成本与准确性间权衡。
2023-07-02 cs.CL
LLMs on Drugs: Language Models Are Few-Shot Consumers
HFBK Hamburg(汉堡应用技术大学)
针对大语言模型推理时的人设敏感性问题,首次用ARC-Challenge对照测试精神活性物质提示对GPT-5-mini的影响,发现此类提示会破坏输出模板、大幅降低准确率,相关代码与结果已开源。
2025-12-21 cs.CL
The Few-shot Dilemma: Over-prompting Large Language Models
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑技术大学)
本文提出一个提示框架,使用随机采样、语义嵌入和TF-IDF三种少样本选择方法,在多个LLM上实验发现过多领域特定示例会降低性能,并通过TF-IDF与分层采样结合找到最优示例数量,在软件需求分类上超越现有方法1%。
2026-07-28 cs.CL
Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment
University of Cambridge(剑桥大学)
本文首次研究 LLM 评估器的对抗鲁棒性,提出通过代理模型生成可迁移的简短通用对抗短语,使未知评判模型在绝对评分中给出虚高分数,揭示了 LLM-as-a-judge 方法的可靠性风险。
2024-07-04 cs.CL
Zero-shot Conversational Summarization Evaluations with small Large Language Models
Intel labs(英特尔实验室);Intel(英特尔)
本文评估了约100亿参数的大语言模型在零样本对话摘要任务中的表现,发现提示指令会显著影响摘要质量和ROUGE分数,并通过人工评估揭示了模型的局限性。
2023-11-29 cs.CL
Leveraging Large Language Models for Zero-shot Lay Summarisation in Biomedicine and Beyond
University of Sheffield(谢菲尔德大学);University of Manchester(曼彻斯特大学)
提出一种基于现实流程的两阶段零样本 LLM 科普摘要框架,验证其摘要偏好随模型规模提升,并评估 LLM 评判能力及向 NLP 领域的泛化效果。
2025-01-09 cs.CL
DS$^2$-ABSA: Dual-Stream Data Synthesis with Label Refinement for Few-Shot Aspect-Based Sentiment Analysis
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
提出DS$^2$-ABSA双流数据合成框架,通过关键点驱动和实例驱动两视角结合标签精炼模块,少样本ABSA生成多样高质量数据,显著优于现有方法。
2024-12-19 cs.CL
Efficient Large Language Models with Zero-Shot Adjustable Acceleration
本文提出零样本可调加速方法,无需额外微调即可在推理时动态调整硬件利用率,在分类和文本生成任务上实现高达11倍加速。
2025-09-06 cs.CL
Leveraging LLMs for Title and Abstract Screening for Systematic Review: A Cost-Effective Dynamic Few-Shot Learning Approach
Duke University(杜克大学);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Duke University School of Medicine(杜克大学医学院);Duke Clinical Research Institute(杜克临床研究所)
本文提出一种动态少样本学习方法,利用低成本和高性能LLM进行系统综述的标题和摘要筛选,以提高效率并降低成本。
2025-12-12 cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego(加州大学圣迭戈分校);Microsoft Semantic Machines(微软语义机器公司)
我们探讨使用大语言模型(LLM)的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练,并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中,我们提出了ZEROTOP,一个zero-shot面向任务的分析方法,将语义解析问题分解成一组抽象和提取的问答(QA)问题,使我们能够利用LLM的能力,zero-shot回答阅读理解问题。对于每一个话语,我们提示LLM与问题相对应的顶级意图和一组插槽,并使用LLM代构建的目标意义表示。我们观察到,目前的LLM无法检测到无法回答的问题,因此,无法处理与缺失插槽对应的问题。为了解决这个问题,我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明,我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%,而不需要任何注释数据。
2022-12-21 cs.CL
JAPAGEN: Efficient Few/Zero-shot Learning via Japanese Training Dataset Generation with LLM
Yokohama National University(横滨国立大学);Retrieva, Inc.(Retrieva公司);Nomura Research Institute, Ltd.(野村综合研究所)
针对现有LLM生成训练数据研究多聚焦英语的问题,提出JAPAGEN方法,用LLM合成日语多任务少/零样本监督数据训练紧凑模型,在日语正式文本分类任务上性能媲美传统LLM提示策略。
2024-12-09 cs.CL
Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction
Nanjing University of Science and Technology(南京理工大学);Northeastern University(东北大学);Singapore Institute of Technology(新加坡理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对文档级关系三元组抽取标注稀缺问题,提出 GenRDK,用检索链提示生成数据并基于跨文档一致性去噪,微调 LLaMA2-13B-Chat,在两个数据集上超越强基线。
2024-01-24 cs.CL
Towards Zero-Shot, Controllable Dialog Planning with LLMs
University of Stuttgart(斯图加特大学)
本文提出一种基于LLM的零样本CTS代理可控对话规划方法,通过基于用户交互偏好搜索和修剪领域图节点引导对话,在仿真和用户评估中均显著优于基于RL的最先进代理。
2025-03-04 cs.CL
Large Language Models are Zero Shot Hypothesis Proposers
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);University of Washington(华盛顿大学);The First Affiliated Hospital of Nanchang University(南昌大学第一附属医院)
本文研究大型语言模型能否零样本提出科学假设,构建生物医学数据集并评估多种模型,提出多智能体框架和四个评估指标,发现LLMs能生成已验证假设且不确定性有助于生成,支持其作为科学发现催化剂。
2023-11-10 cs.CL
ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs
University of Pittsburgh(匹兹堡大学)
ARC通过评估摘要对关键论点的保留情况,揭示了LLM在长文档摘要中的覆盖不足问题,并为改进摘要策略提供指导。
2026-01-30 cs.CL
Low-Resource Cross-Lingual Summarization through Few-Shot Learning with Large Language Models
Chung-Ang University(中央大学)
本文研究大语言模型在低资源跨语言摘要中的少样本学习性能,发现少样本学习显著提升GPT-3.5和GPT-4的表现,而Mistral-7B-Instruct-v0.2适应能力有限,并指出需进一步研究专用架构与预训练目标。
2024-06-07 cs.CL
A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究针对大语言模型在金融情感分析中的应用缺口,对比了上下文学习与小参数量大语言模型微调两种方案,发现小模型微调及零/单样本学习均可达到SOTA水平,且增加少样本数量无性能增益。
2023-12-14 cs.CL cs.LG
What Really Matters in Many-Shot Attacks? An Empirical Study of Long-Context Vulnerabilities in LLMs
Coxwave;Seoul National University(首尔国立大学);Kyung Hee University(庆熙大学);KAIST(韩国科学技术院)
本研究通过多轮越狱攻击实验,发现上下文长度是决定LLM攻击有效性的关键因素,且无需精心构造恶意内容即可突破安全措施,揭示长上下文处理的安全漏洞。
2025-05-26 cs.CL cs.CR
Zero is Not Hero Yet: Benchmarking Zero-Shot Performance of LLMs for Financial Tasks
Georgia Institute of Technology(佐治亚理工学院)
本文基准评测了 ChatGPT 与开源生成式 LLM 在金融任务上的零样本性能,发现其表现良好但通常不及微调 RoBERTa,并指出生成式模型标注耗时。
2023-05-26 cs.CL q-fin.GN
Revisiting Large Language Models as Zero-shot Relation Extractors
Southeast University(东南大学)
本文研究ChatGPT等LLMs作为零样本关系抽取器,提出SumAsk提示将RE转为QA格式,实验表明其显著提升性能且优于全监督方法,在重叠和NoTA关系上表现优异。
2023-11-24 cs.AI cs.CL
Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking
Queen Mary University of London(伦敦玛丽女王大学)
本研究首次探索基于遵循指令的LLM的零样本和少样本学习方法,通过将其视为二分类任务并利用自然语言推理等成熟任务,解决自动事实核查中的声明匹配问题,同时发布了新数据集ClaimMatch及评估流程。
2025-02-28 cs.AI cs.CL
Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification
ETH Zürich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学);University of Science and Technology of China(中国科学技术大学);University of Amsterdam(阿姆斯特丹大学);East China Normal University(东华大学)
本文提出InsightTab洞察蒸馏框架,通过规则总结、策略性示例与反思机制,将表格数据转化为可执行洞察,从而提升LLM在9个少样本表格分类数据集上的性能与偏差控制能力。
2025-08-29 cs.CL cs.LG
Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
Amazon(亚马逊)
针对每类仅4个示例的低资源文本分类,提出结合合成数据生成、过滤与PEFT的单LLM流程,在保持零样本效率的同时达到媲美ICL的准确率。
2024-04-03 cs.CL cs.LG
Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Singapore Management University(新加坡管理大学)
该研究通过实验证明大语言模型少样本信息抽取性能弱于微调小模型,进而提出自适应过滤-重排范式,让小模型过滤、大模型重排难样本,以可接受成本提升抽取性能。
2023-10-21 cs.AI cs.CL
Zero-Shot Next-Item Recommendation using Large Pretrained Language Models
Singapore Management University(新加坡管理大学)
本研究提出零样本下一项推荐(NIR)提示策略,通过3步提示引导GPT-3生成候选项目并推荐排名列表,在MovieLens 100K上实现强零样本性能,超越部分全量训练的序列推荐模型。
2023-04-06 cs.CL cs.IR
Taxonomy-Guided Zero-Shot Recommendations with LLMs
Illinois Institute of Technology(伊利诺伊理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Emory University(埃默里大学)
针对LLM推荐中提示长度、非结构化物品信息和生成失控问题,本文提出TaxRec,利用分类法词典引导LLM实现无需微调的零样本推荐并显著提升质量。
2025-02-19 cs.CL cs.IR