Social Bias Evaluation for Large Language Models Requires Prompt Variations
Tokyo Institute of Technology(东京工业大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);National Institute of Informatics(情报信息学研究所)
本文研究大语言模型社会偏见评估对提示变体的敏感性,发现提示变化会导致模型排名波动并揭示性能与偏见之间的权衡,建议使用多样化提示进行评估。
2024-07-03 cs.CL
S2LPP: Small-to-Large Prompt Prediction across LLMs
University of Edinburgh(爱丁堡大学);Amazon Alexa AI(亚马逊Alexa人工智能);HKUST(香港科技大学)
本研究提出S2LPP方法,利用不同规模LLM的提示偏好一致性,通过小模型为大模型选择有效提示模板,降低成本并保持性能,在十四个LLM和多种NLP任务上验证了鲁棒性。
2025-05-26 cs.CL
Exploring the Sensitivity of LLMs' Decision-Making Capabilities: Insights from Prompt Variation and Hyperparameters
University of California, Irvine(加利福尼亚大学尔湾分校)
本研究通过改变提示和超参数,在Horizon任务上测试三个OpenAI模型,发现LLM决策能力对这些因素敏感,且简单调整提示后可呈现类似人类的探索-利用权衡。
2023-12-29 cs.CL
Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs
UC Santa Barbara(加州大学圣芭芭拉分校);UC Irvine(加州大学伊尔弗雷德分校);University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学)
本研究重新审视大语言模型的提示敏感性问题,通过多基准多模板实验发现该现象多源于启发式评估方法的局限,采用大语言模型评判可降低性能方差,证明现代大语言模型对提示的鲁棒性更强。
2025-09-01 cs.AI cs.CL cs.LG
Selective Prompting Tuning for Personalized Conversations with LLMs
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);ByteDance AI Lab(字节跳动AI实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森AI实验室)
针对LLMs个性化对话中文本提示效果不佳和直接微调易产生重复回复的问题,提出选择性提示调优(SPT),通过可训练密集检索器自适应选择软提示,结合对比和融合学习,在CONVAI2上使回复多样性提升高达90%。
2024-06-26 cs.AI cs.CL cs.LG
Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts
Georgia Institute of Technology(佐治亚理工学院);Visa Research(Visa研究)
Sysformer通过自适应系统提示提高大语言模型的安全性,显著提升对有害提示的拒绝率和对安全提示的合规性。
2026-03-06 cs.AI cs.CL cs.LG
Towards LLMs Robustness to Changes in Prompt Format Styles
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出格式混合(MOF)技术,通过多样化少样本提示风格来缓解大语言模型的提示脆弱性问题,实验证明其能降低风格引起的性能波动并提升整体表现。
2025-04-09 cs.CL
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文提出并分析直接、逆和混合三种判别提示,利用LLMs的判别能力减少生成不确定性,实现自我改进,并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
Breaking to Build: A Threat Model of Prompt-Based Attacks for Securing LLMs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对大语言模型面临的提示攻击安全问题,通过全面文献调研对基于提示的攻击方法分类并构建威胁模型,详述其机制与影响,为研发能抵御未授权蒸馏、微调、编辑的下一代安全大语言模型提供支撑。
2025-09-04 cs.CL cs.CR cs.LG
Towards Self-Robust LLMs: Intrinsic Prompt Noise Resistance via CoIPO
Zhejiang University(浙江大学);Tsinghua University(清华大学);Meituan LongCat Interaction Team(美团LongCat交互团队);ETH Zürich(苏黎世联邦理工学院)
本文提出CoIPO方法,通过对比学习提升大语言模型对提示噪声的内在鲁棒性,实验表明其在NoisyPromptBench上表现优于现有方法。
2026-02-09 cs.AI cs.CL cs.LG
Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations
Google(谷歌)
Retcon是一种基于提示的LLM对话控制技术,通过少量示例实现轮次级控制,优于零样本和传统少量样本提示方法。
2026-02-09 cs.CL
How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings
The Ohio State University(俄亥俄州立大学)
本文针对 text-to-SQL 任务中提示构建缺乏可比性的问题,全面调查了在 Zero-shot、Single-domain 和 Cross-domain 等多种设置下提示构建的影响,为未来研究提供了有效提示构建的见解。
2023-11-27 cs.CL
Forecasting Time Series with LLMs via Patch-Based Prompting and Decomposition
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe(Adobe公司);Dolby Labs(Dolby实验室);Intel(英特尔公司);University of Oregon(俄勒冈大学)
针对大语言模型时间序列预测需大量微调、易忽略序列相关性的问题,本研究提出PatchInstruct方法,结合时间序列分解、补丁分词与邻域增强的提示策略,在低预处理成本下提升预测精度。
2025-06-15 cs.AI cs.CL cs.LG
Attack Prompt Generation for Red Teaming and Defending Large Language Models
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Meta AI
提出结合手动与自动方法的攻击提示生成框架,利用上下文学习指导LLMs模仿人类生成提示,并通过迭代交互微调受害LLMs以增强防御,同时发布SAP数据集促进安全性评估。
2023-10-19 cs.CL cs.CR cs.LG
Prompted LLMs as Chatbot Modules for Long Open-domain Conversation
KRAFTON(KRAFTON公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出无需微调的 MPC 框架,将预训练 LLM 作为模块并结合少样本提示、CoT 与外部记忆,实现长时一致的开放域对话,人工评估显示其性能媲美微调聊天机器人。
2023-05-08 cs.AI cs.CL cs.LG
The Way We Prompt: Conceptual Blending, Neural Dynamics, and Prompt-Induced Transitions in LLMs
Kanazawa University(金泽大学)
本研究将概念整合理论操作化为实验框架,通过提示方法探究大语言模型的语义整合机制,对比人工与生物认知的异同,提出提示工程可作为探究意义深层结构的科学方法。
2025-05-16 cs.CL q-bio.NC
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见,发现基础LLMs偏见高于NMT模型,并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
State Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室)
针对大语言模型句子嵌入最后词元含过多非必要信息的问题,提出即插即用的对比提示推理调控方法,通过辅助提示对比引导编码核心语义,在多类任务和不同LLM上均提升了现有提示方法的性能。
2025-05-19 cs.CL
ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs
Shanghai AI Laboratory(上海人工智能实验室);Jilin University(吉林大学);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学)
本文提出 ProSA 框架,通过新指标 PromptSensiScore 和解码置信度评估并理解 LLMs 的提示敏感性,发现模型规模与少样本示例可提升鲁棒性,主观评估在复杂任务中更易受影响。
2024-10-16 cs.CL
Study on LLMs for Promptagator-Style Dense Retriever Training
Massachusetts Institute of Technology Lincoln Laboratory(麻省理工学院林肯实验室);University of Waterloo(滑铁卢大学)
针对原始Promptagator依赖专有大模型的问题,研究发现参数≤14B甚至3B的开源LLMs可作为有效的Promptagator风格查询生成器,为领域专用稠密检索模型微调的合成数据生成提供可靠替代方案。
2025-10-02 cs.CL cs.IR
A Survey on Prompting Techniques in LLMs
George Mason University(乔治梅森大学)
本文对大语言模型的各类提示技术展开综述,梳理现有研究的分类体系,同时指出该领域待解决的问题,为后续研究提供方向。
2024-04-16 cs.AI cs.CL
Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);NVIDIA(英伟达)
本研究对比大语言模型的4种训练策略在临床概念与关系抽取任务的表现,验证了软提示的优势及冻结大模型在跨机构迁移、小样本场景的应用潜力。
2023-10-10 cs.AI cs.CL
Self-Instructed Derived Prompt Generation Meets In-Context Learning: Unlocking New Potential of Black-Box LLMs
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hefei University of Technology(合肥工业大学)
本文提出自指令上下文学习框架,通过强化学习生成可靠派生提示并构建上下文演示,从而提升黑盒大语言模型如GPT-4的响应质量。
2024-09-03 cs.AI cs.CL
Thinking Inside the Mask: In-Place Prompting in Diffusion LLMs
针对扩散大语言模型双向特性,提出ICE框架,通过在掩码token位置集成原位提示并引入置信度感知早期退出机制,将前缀提示转为原位提示,显著提升准确率与推理速度。
2025-10-11 cs.CL
Efficient multi-prompt evaluation of LLMs
University of Michigan(密歇根大学);University Pompeu Fabra(庞培法布拉大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院)
针对主流LLM基准提示模板有限、评估不全面且可复现性差的问题,提出PromptEval方法,借助提示与样本关联在有限预算下估计多提示性能分布,经三大基准验证高效准确,可用于鲁棒指标构建、LLM评判及最优提示识别。
2024-10-31 cs.AI cs.CL cs.LG
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University(清华大学);Sudo Privacy(Sudo隐私公司)
针对大语言模型隐私推理框架开销过高的问题,本文提出用隐私计算友好的近似算子替换Transformer中密集型算子,相比Iron实现5倍计算加速与80%通信开销降低,且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
Alignment Drift in CEFR-prompted LLMs for Interactive Spanish Tutoring
Department of Linguistics, Cognitive Science, and Semiotics(语言学、认知科学与符号学系)
该研究通过7B至12B开源LLM模拟西班牙语师生对话,评估CEFR系统提示对A1、B1、C1文本难度的控制能力,发现长期交互中存在“对齐漂移”,并提出低成本可扩展评估方法。
2025-06-07 cs.CL
GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design
New York University (Shanghai)(纽约大学(上海));New York University(纽约大学);Case Western Reserve University(凯斯西储大学)
针对缺乏纯提示设计评估基准的问题,提出GraphICL基准,通过结构化提示模板使通用LLM在资源受限和域外图任务中超越专门的图LLM,证明了无需训练的提示工程的潜力。
2025-01-27 cs.LG
Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models
University of Tübingen(蒂宾根大学)
本研究评估6个大型语言模型(LLMs)对160条跨10个主题的提示的响应,发现LLMs会系统调整响应以匹配提示框架,甚至在事实类情境中也如此,明确了其可被操纵的程度与界限。
2026-08-10 cs.CL
Rethinking ChatGPT's Success: Usability and Cognitive Behaviors Enabled by Auto-regressive LLMs' Prompting
School of IT, Deakin University(迪肯大学信息技术学院)
本文分析自回归大语言模型提示范式的模态结构与用户可用性指标,探究其借助自由形式文本激发类人认知行为的机制,并指出该思路可用于优化自主及多智能体系统中的大语言模型部署。
2024-05-17 cs.CL
Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Technion – IIT(以色列理工学院);IIT Kharagpur(克勒格布尔印度理工学院)
本文提出代码提示方法,将自然语言问题转化为代码以激发文本+代码LLMs的条件推理能力,并在多个模型和数据集上验证了显著性能提升及其作用机制。
2024-09-28 cs.CL
P-CoT: A Pedagogically-motivated Participatory Chain-of-Thought Prompting for Phonological Reasoning in LLMs
本文提出以教学法为动机的参与式思维链提示P-CoT,通过支架式教学和发现式学习等结构化引导激活大语言模型的潜在音系推理能力,在PhonologyBench上最高提升52%,并在部分任务中超越人类基线。
2025-07-22 cs.CL
How Do Prompt Variations Affect Energy Consumption in On-Device LLMs?
Georgia State University(佐治亚州立大学);Toyota Motor North America(北美丰田汽车公司)
本文探究认知负荷、措辞模式等提示词属性对设备端LLM推理能耗的影响,通过实证研究发现两类属性的不同能耗作用机制,指出需采用感知模型的提示词设计以实现能效优化。
2026-09-03 cs.CL
PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation
University of Mannheim(曼海姆大学);University of Technology Nuremberg (UTN)(纽伦堡工业大学(UTN))
本文提出PrExMe,通过超720个提示模板和660万次评估,全面探索开源LLM在机器翻译与摘要评估中的表现,揭示了提示策略的稳定性与局限性。
2024-11-17 cs.CL
Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
New York University(纽约大学);Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
本研究针对开源大型语言模型在生物医学问答基准PubMedQA上的性能提升问题,通过对比标准指令提示、思维链提示及QLoRA参数高效指令调优策略,发现思维链提示可提升零样本推理,指令调优显著提高准确率,但思维链提示微调的收益具模型和规模依赖性。
2025-06-13 cs.CL
DecoPrompt : Decoding Prompts Reduces Hallucinations when Large Language Models Meet False Premises
University of Southern California(南加州大学)
针对大语言模型在错误前提下的幻觉问题,提出DecoPrompt提示算法,通过解码错误前提提示词而非直接生成来减少幻觉,并在两个数据集上验证了其有效性和跨模型可迁移性。
2025-01-21 cs.CL
Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance
George Mason University(乔治梅森大学);University of Iowa(爱荷华大学)
本文提出PRomPTed方法,通过LLMs在环为每个任务实例重写提示,在13个数据集和10种任务类型上显著提升零样本性能,并证明较弱模型重写提示可监督更强模型。
2024-06-11 cs.CL
Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts
Singapore Management University(新加坡管理大学);Harbin Institute of Technology(哈尔滨工业大学);University of South China(南华大学)
本研究借鉴认知理论,通过构建基准框架探究LLMs面对冲突提示时的依赖型、直觉型及理性/非理性行为风格,并发现角色扮演干预可改变风格,为优化模型与提示提供依据。
2024-02-20 cs.CL
Short-Path Prompting in LLMs: Analyzing Reasoning Instability and Solutions for Robust Performance
Wuhan University(武汉大学);Ant Group(蚂蚁集团)
本文针对用户短路径提示与LLMs的CoT推理需求冲突导致推理性能下降且不稳定的问题,提出指令引导和微调两种方法,有效提升了推理精度,为指令遵循与推理准确性的权衡提供了见解。
2025-04-13 cs.CL
Prompt-R1: Collaborative Automatic Prompting Framework via End-to-end Reinforcement Learning
Hainan University(海南大学);Nanyang Technological University(南洋理工大学);Hithink Research(慧思研究);HKUST (Guangzhou)(香港科技大学(广州));IDEA Research(IDEA研究院);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
本文提出Prompt-R1框架,通过小规模LLM与大规模LLM协作,利用强化学习提升复杂问题解决能力,实验表明其在多个数据集上表现优异。
2026-04-16 cs.CL
Discrete and Soft Prompting for Multilingual Models
LMU Munich(慕尼黑大学)
对于英语,已经表明离散和软提示在使用预训练的语言模型(PLM)的少样本学习中表现强劲。在本文中,我们表明,离散和软提示比微调在多语言的情况下:跨语言迁移和多语言自然语言推理的语言训练。例如,对于48个英语训练样本,微调在跨语言迁移中获得了33.74%的准确率,勉强超过了大多数基线(33.33%)。相比之下,离散和软提示优于微调,达到36.43%和38.79%。我们还展示了良好的性能,提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
Structured Chain-of-Thought Prompting for Code Generation
Peking University(北京大学)
针对CoT提示在代码生成中准确率低的问题,提出SCoT提示,利用顺序、分支和循环三种程序结构构建中间推理步骤,在三个基准上使ChatGPT和Codex的Pass@1提升达13.79%,且更受开发者偏好。
2023-09-07 cs.CL cs.SE
KDA: A Knowledge-Distilled Attacker for Generating Diverse Prompts to Jailbreak LLMs
University of Pennsylvania(宾夕法尼亚大学)
针对现有LLM突破方法成本高、不实用的问题,提出知识蒸馏攻击者(KDA),将多个SOTA攻击者知识蒸馏到单一开源模型,自动生成多样攻击提示,提升攻击成功率与效率,为大规模红队测试提供实用工具。
2025-02-05 cs.AI cs.CL cs.CR
Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
MediaTek Research(联发科研究院)
本研究通过探索提示格式、数据集成、决策标记、思维链推理及翻译流水线等策略,增强LLMs的函数调用能力,发现指令遵循数据可提升准确率与相关性检测,决策标记及翻译流水线也能带来显著改进。
2024-12-04 cs.CL
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs
Meta;FAIR at Meta(Meta FAIR)
本文提出 AdvPrompter,通过交替优化训练另一个大语言模型快速生成人类可读的对抗提示后缀,在保持指令原意的同时诱使目标模型产生有害响应,并证明该方法在多个基准上效果优异且可迁移至黑盒模型,同时可用于提升模型鲁棒性。
2025-06-02 cs.AI cs.CL cs.CR
Scaling Personality Control in LLMs with Big Five Scaler Prompts
Sungkyunkwan University(成均馆大学)
本文提出 Big5-Scaler 框架,通过将数值化特质嵌入自然语言提示词,无需额外训练即可对 LLMs 实现细粒度的 Big Five 人格控制,并验证了其构建人格感知对话智能体的有效性。
2026-10-15 cs.CL cs.MA
Exploring the Capabilities of Prompted Large Language Models in Educational and Assessment Applications
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文通过教材出题、多语言MCQ生成、孟加拉语语法纠错及HR面试评估等任务,系统比较受提示LLM与人类专家的能力,揭示其在教育评估中的潜力与局限。
2024-05-19 cs.CL
EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers
Tsinghua University(清华大学);Microsoft Research(微软研究院);Northeastern University(东北大学)
本文提出离散提示优化框架 EvoPrompt,通过将 LLMs 与进化算法结合,利用 LLMs 生成提示和进化算子迭代优化,在 31 个数据集上显著优于人工和现有自动提示生成方法。
2025-05-01 cs.AI cs.CL
PACE: Improving Prompt with Actor-Critic Editing for Large Language Model
Key Laboratory of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院)
针对人工提示词质量参差、优化成本高的问题,提出基于强化学习actor-critic思想的PACE方法,让LLM兼具演员和评论家角色自动优化提示,在多类任务上大幅提升中低质量提示性能,效果媲美高质量人工提示。
2024-05-16 cs.CL cs.SE
Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers
University of Southern California(南加州大学)
本文重新评估OPRO在小规模LLM(如LLaMa-2和Mistral 7B)上的优化效果,发现其因推理能力有限而表现不佳,建议考虑模型能力与成本,并推荐直接指令作为基线。
2024-07-19 cs.CL cs.HC
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
Text Is Not All You Need: Multimodal Prompting Helps LLMs Understand Humor
Northwestern University(西北大学)
针对大语言模型难以理解幽默的问题,研究提出结合文本与TTS生成的口语形式的多模态提示方法,在所有测试数据集上均提升了幽默解释效果。
2024-12-01 cs.CL cs.CY
Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding
Salesforce Research(赛富时研究院);Singapore University of Technology and Design(新加坡科技设计大学)
作为一种调节大规模预训练的语言模型以执行下游任务的参数高效方法,提示微调在很大程度上取得了成功。到目前为止,软提示微调学习任务特定的连续向量的固定集合,即,在任务样本中保持静态的软令牌。然而,固定的提示可能无法很好地推广到任务所包含的各种输入。为了解决这一问题,我们提出了矢量量化的输入上下文化调优器(VIP)作为软提示微调框架的扩展。VIP特别关注两个方面--上下文提示,其通过小规模句子编码器学习软提示令牌的输入特定上下文化,以及量化提示,其通过矢量量化网络将上下文化提示映射到一组可学习的码本矢量。在各种语言理解任务上,如SuperGLUE,QA,关系分类,NER和NLI,VIP的表现优于软提示微调(PT)基线的平均幅度为1.19%。此外,我们的泛化研究表明,VIP学习更强大的提示表示,在Out-of-domain QA和NLI任务上分别超过PT 0.6% - 5.3%,在跨12个域的4个任务的多任务设置上超过PT 0.75%。
2022-10-22 cs.CL
Large Language Models are Good Multi-lingual Learners : When LLMs Meet Cross-lingual Prompts
The University of Hong Kong(香港大学)
针对LLMs在长复杂上下文规则遵循中易遗漏规则的问题,提出多语言提示策略MLPrompt,通过翻译易错规则增强关注,实验优于现有提示方法,并扩展至结构化数据生成任务。
2025-04-18 cs.CL