Prompt Repetition Improves Non-Reasoning LLMs
Google Research（谷歌研究）
通过重复输入提示提升非推理LLMs性能，无需增加生成token数量或延迟。
2025-12-17 cs.AI cs.CL cs.LG
Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior
National University of Singapore（新加坡国立大学）
本文提出RePro框架，通过教师强制的似然特征与logit排名信号融合，实现对LLM细化训练提示的溯源推断，具有跨模型和训练设置的泛化能力。
2026-01-05 cs.AI cs.LG
Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出基于提示不确定性的主动指令微调框架，通过模型在扰动提示上的输出分歧识别信息量大的任务进行选择性训练，在NIV2和Self-Instruct数据集上以更少训练任务实现了更好的分布外泛化，并揭示了模糊任务有助于泛化而困难任务无益的规律。
2023-11-01 cs.AI cs.CL
Auto prompting without training labels: An LLM cascade for product quality assessment in e-commerce catalogs
Amazon Catalog AI（亚马逊目录人工智能）
本研究提出一种免训练的LLM自动提示级联系统，无需训练标签即可优化电商商品质量评估提示，相比思维链提示提升8-10%的精确率和召回率，大幅降低专家工作量，且能跨语言、跨任务泛化。
2025-10-27 cs.AI cs.CL
Prompt Curriculum Learning for Efficient LLM Post-Training
Meta Superintelligence Labs（Meta超智能实验室）；Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
针对大语言模型RL后训练对批处理和提示选择敏感的问题，提出基于价值模型的轻量级提示课程学习算法PCL，可高效识别中等难度提示，实现性能与效率的更优权衡。
2025-10-01 cs.CL cs.LG
PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning
Brown University（布朗大学）；Palona AI；Harvard University（哈佛大学）
本文提出PrAg-PO，通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力，增强鲁棒性和多样性，优于GRPO和DAPO。
2026-05-08 cs.AI cs.CL cs.LG
Supervisory Prompt Training
MIT（麻省理工学院）；Microsoft（微软公司）
针对LLM人工提示成本高且不可扩展的问题，提出Supervisory Prompt Training（SPT）双LLM系统，通过生成器与校正器协同持续优化提示并引入影响分数，在四个基准上显著提升性能并减少幻觉，将GPT-4在GSM8K上的准确率提升28.3%。
2024-03-26 cs.AI cs.CL
Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
研究提出使用多样化属性提示生成训练数据，以克服简单类条件提示导致的多样性受限和系统性偏差问题，在提升模型性能的同时显著降低查询成本。
2023-10-18 cs.AI cs.CL cs.LG
Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
Northeastern University, China（中国东北大学）
针对现有提示调优难平衡准确率与效率、跨任务性能不一致的问题，提出基于多空间投影与提示融合的EPT方法，通过软提示分解降本增效、多空间投影提升一致性，在13个NLP任务上效果优于11种对比方法。
2024-12-11 cs.AI cs.CL cs.LG
Learning To Retrieve Prompts for In-Context Learning
Tel Aviv University（特拉维夫大学）
上下文学习是自然语言理解中的一种新范式，其中大型预训练语言模型（LM）观察测试实例和一些训练样本作为其输入，并直接解码输出而不对其参数进行任何更新。然而，性能已被证明在很大程度上取决于所选择的训练样本（称为提示）。在这项工作中，我们提出了一个有效的方法检索提示上下文学习使用注释数据和LM。给定一个输入-输出对，我们估计输出的概率，给定输入和候选训练样本作为提示，并基于此概率将训练样本标记为正或负。然后，我们从这些数据中训练一个高效的密集检索器，该检索器用于在测试时根据提示检索训练样本。我们评估了我们的方法在三个序列到序列的任务，其中语言的话语映射到意义表示，并发现它大大优于以前的工作和多个基线全面。
2022-05-08 cs.CL cs.LG
Source Prompt: Coordinated Pre-training of Language Models on Diverse Corpora from Multiple Sources
Fudan University（复旦大学）；SuperSymmetry Technologies（超对称科技公司）
本文针对多源异构语料预训练语言模型的劣势，提出源提示（SP）方法，在预训练和微调阶段显式提示数据来源，实验证明其显著提升下游任务性能。
2023-11-16 cs.AI cs.CL
Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling
Microsoft Research（微软研究院）
Reprompting通过吉布斯采样自动推断思维链提示，无需人工干预，在20个推理任务上平均比人工提示高9.4个百分点，优于现有优化算法。
2024-05-23 cs.AI cs.CL cs.LG
Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution
Google DeepMind（谷歌DeepMind）
本文提出 Promptbreeder，一种由 LLM 驱动、同时进化任务提示与变异提示的自指式自我改进方法，在算术、常识推理及仇恨言论分类任务上优于现有提示策略。
2023-09-28 cs.AI cs.CL cs.LG
Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training
Cornell University（康奈尔大学）
提出 Pilot-Commit 框架，通过预算感知的展开分配策略，优先将计算资源分配给高信息量的提示，从而在组策略优化中减少采样成本并加速收敛。
2026-05-26 cs.AI cs.LG
Generative Prompt Internalization
KAIST AI（韩国科学技术院人工智能研究所）；Microsoft Research（微软研究院）
生成性提示内化通过联合训练方法实现复杂提示的内化，减少计算开销并提升模型性能。
2025-03-25 cs.AI cs.CL
LLMs Are Already Good Tutors: Training-Free Prompt Optimization for Pedagogical Math Tutoring
Korea University Sejong Campus（韩国大学世宗校区）；Gyeonggi Institute of Education（京畿教育学院）；Indiana University Bloomington（印第安纳大学布卢明顿分校）；Opentutorials；Chosun University（全州大学）；Korea University Korean Studies Center（韩国大学韩学研究中心）
本研究探索通过API调用优化系统提示的无训练方法，提出5种教育专用方法，在2个OOD基准上评估12种方法，发现所有方法均超越最强RL训练基线，ParetoGrad在事后解决率、泄漏控制和有用性上达到最佳帕累托平衡。
2026-05-26 cs.CL cs.LG
Automatic Prompt Selection for Large Language Models
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安理工教育大学）；Deakin University（迪肯大学）
本文提出一种自动提示选择方法，通过聚类生成候选提示、训练提示评估器并在测试时为输入选择最佳提示，在多个零样本问答数据集上取得有竞争力的性能。
2024-04-03 cs.CL cs.LG
Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科学理工大学）；Nanyang Technological University（南洋理工大学）；Rutgers University（罗格斯大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学理工大学（广州））
本文提出HIVE方法，通过历史奖励轨迹和实时提示熵实现高效RL训练，提升提示选择效率而不牺牲性能。
2026-10-30 cs.AI cs.LG
Agent-Centric Projection of Prompting Techniques and Implications for Synthetic Training Data for Large Language Models
University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）
该研究提出LLM系统的线性与非线性上下文概念，构建提示技术的智能体中心投影框架，提出三大关联猜想，为提示与多智能体领域交叉及LLM设计训练提供新方向。
2025-01-14 cs.AI cs.CL cs.MA
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST（韩国科学技术院）
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入，仅增加0.007%参数即提升T0在未见任务上的性能，并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
Training Prompt Matters: State-Adaptive Optimization for Robust Fine-Tuning
University of Science and Technology of China（中国科学技术大学）
本文提出状态自适应提示优化（SAPO）策略，通过将任务公式从静态输入转变为动态状态自适应变量，有效缓解灾难性遗忘并提升泛化能力，在多个基准上取得显著性能提升。
2026-06-01 cs.CL
Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
ByteDance Research（字节跳动研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对数学应用题求解中提示泛化难、训练数据缺CoT标注的问题，提出动态程序提示与程序蒸馏两种利用训练数据的少样本方法，在三个标准数据集上显著优于基线，提升了提示泛化性与小模型性能。
2023-06-09 cs.CL
"According to ...": Prompting Language Models Improves Quoting from Pre-Training Data
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 according-to prompting 和 QUIP-Score，引导并量化 LLM 对预训练语料的引用，实验证明该方法可提升生成依据与任务表现，且模型能按要求调节依据程度。
2024-02-26 cs.AI cs.CL
Ready2Blend: From Natural-Language Instructions to Composable Alignment Prompts
Korea Advanced Institute of Science Technology（韩国科学技术院）；Samsung SDS（三星SDS）
提出Ready2Blend，结合自然语言灵活性与学习对齐，通过AlignFormer和可组合性正则化实现冻结骨干下的持续对齐，匹配训练后调整方法性能，减少训练时间并支持个性化组合。
2026-10-14 cs.AI cs.CL
Prompt Pre-Training with Twenty-Thousand Classes for Open-Vocabulary Visual Recognition
Peking University（北京大学）；Amazon Web Services（亚马逊云科技）
该研究提出高效的视觉语言模型提示预训练方法POMP，可凝聚两万余类视觉语义，零样本迁移至多种视觉识别任务，在21个数据集上取得SOTA性能。
2023-10-06 cs.AI cs.CL cs.CV
Discrete and Soft Prompting for Multilingual Models
LMU Munich（慕尼黑大学）
对于英语，已经表明离散和软提示在使用预训练的语言模型（PLM）的少样本学习中表现强劲。在本文中，我们表明，离散和软提示比微调在多语言的情况下：跨语言迁移和多语言自然语言推理的语言训练。例如，对于48个英语训练样本，微调在跨语言迁移中获得了33.74%的准确率，勉强超过了大多数基线（33.33%）。相比之下，离散和软提示优于微调，达到36.43%和38.79%。我们还展示了良好的性能，提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Purple Mountain Laboratories（紫金山实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
PETR提出双提示架构与免训练统计路由，在保持已见类别性能的同时提升未见类别泛化，在11个基准上取得新最先进结果。
2026-09-22 cs.AI cs.CV
PromptFlow: Training Prompts Like Neural Networks
针对提示工程中静态更新、缺乏细粒度编辑和经验回收不足的问题，提出受TensorFlow启发的模块化框架PromptFlow，集成元提示、算子、优化器和评估器，利用梯度元学习与强化学习经验回收，在多种数据集上验证了有效性。
2025-10-14 cs.AI
What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
本文提出ROPE框架，通过评估和训练套件帮助用户生成清晰需求，提升LLM应用构建效果。
2025-04-28 cs.AI cs.HC
It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt
Alibaba（阿里巴巴）；seven AI labs（七家人工智能实验室）
研究发现大语言模型的地缘政治偏见主要源于后训练阶段而非预训练，且偏见方向与模型开发者所在国一致，提示语言会放大该偏见。
2026-05-22 cs.AI cs.LG
LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners
Purdue University（普渡大学）；Microsoft Research（微软研究院）
我们提出了一种新的方法LiST是精简自训练的缩写，用于少样本学习的大型预训练语言模型（PLM）的参数高效微调。LiST使用两种关键技术改进了最近采用基于FFT的微调（FN）的方法。第一个是使用自训练来利用大量未标记数据用于Few-Shot设置中的基于神经网络的FN。我们使用自我训练结合元学习来重新加权嘈杂的伪提示标签。自训练是昂贵的，因为它需要重复更新所有模型参数。因此，我们使用第二种技术进行轻量级微调，其中我们引入了少量特定于任务的参数，这些参数在自我训练期间进行微调，同时保持PLM编码器冻结。我们的实验表明，LiST可以有效地利用未标记的数据，以提高少样本学习的模型性能。此外，微调是高效的，因为它只更新一小部分参数，并且由于多个任务可以共享一个公共PLM编码器作为主干，因此减少了整体模型占用空间。对六个NLU任务的综合研究表明，LiST比经典微调提高了35%，比基于神经网络的FN提高了6%，当每个任务的标记示例不超过30个时，可训练参数的数量减少了96%。在只有14 M个可调参数的情况下，LiST在Few-Shot NLU任务上的性能比GPT-3在上下文中学习高出33%。
2022-05-18 cs.CL
Learning a Better Initialization for Soft Prompts via Meta-Learning
Columbia University（哥伦比亚大学）
提示微调（PT）是使预训练的语言模型适应下游任务的有效方法。如果没有良好的初始化，则在Few-Shot设置下无法很好地执行提示微调。因此，提出了预训练提示微调（PPT），通过利用预训练数据来初始化提示。我们提出MetaPT（元学习提示微调），以进一步改善PPT的初始化，考虑潜在的结构内的预训练数据。具体来说，我们引入的结构，首先聚类预训练数据到不同的辅助任务与无监督的方法。然后，我们使用这些任务来用Meta学习算法预训练提示。这样的过程可以通过发现这些辅助任务之间的共性来使提示学习更好的初始化。我们评估我们的方法在七个下游任务。我们的MetaPT实现了比最先进的方法更好，更稳定的性能。
2022-05-25 cs.CL
Task-specific Pre-training and Prompt Decomposition for Knowledge Graph Population with Language Models
University of Edinburgh（爱丁堡大学）；Huawei Edinburgh Research Centre（华为爱丁堡研究中心）
我们提出了一个用于知识图谱人口与语言模型的系统，在ISWC 2022的知识库构建预训练语言模型（LM-KBC）挑战中进行了评估。我们的系统涉及特定于任务的预训练，以改善被掩蔽对象标记的LM表示，提示分解以逐步生成候选对象，以及其他用于更高质量检索的方法。基于BERT LM，我们的系统是LM-KBC挑战赛第一轮的获胜者;它在挑战赛的隐藏测试集上获得了55.0%的F-1分数。
2022-08-31 cs.CL
Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play
Google DeepMind（谷歌DeepMind）；University of Chicago（芝加哥大学）
本文提出非对称自博弈方法 eva，将 LLM 后训练建模为创建者与求解器的无限博弈，使模型能自适应生成训练提示，在 Arena-Hard 上显著提升胜率并取得新 SOTA。
2025-04-09 cs.AI cs.CL physics.data-an
P^3 Ranker: Mitigating the Gaps between Pre-training and Ranking Fine-tuning with Prompt-based Learning and Pre-finetuning
Northeastern University（东北大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
与其他语言任务相比，将预训练的语言模型（PLM）应用于搜索排名通常需要更多的细微差别和训练信号。在本文中，我们确定和研究预训练和排名微调之间的两个不匹配：关于训练目标和模型架构的差异的训练模式差距，以及考虑排名所需的知识和预训练期间学到的知识之间的差异的任务知识差距。为了缩小这些差距，我们提出了预训练，非学习和预微调神经排名器（P^3排名器）。P^3 Ranker利用基于学习的学习将排名任务转换为预训练类模式，并使用预微调来初始化中间监督任务的模型。在MS MARCO和Robust04上的实验表明，P^3 Ranker在Few-Shot排序方面具有优越的性能。分析表明，P^3 Ranker能够更好地适应排名任务，通过基于任务的学习，并检索必要的排名导向的知识，在预微调，导致数据效率的PLM适应。我们的代码可在www.example.com上获得。
2022-05-05 cs.CL cs.IR
How Useful Is Cross-Domain Generalization for Training LLM Monitors?
Anthropic Fellows Program（Anthropic 后备计划）
研究通过多任务训练提升跨领域分类性能，发现部分泛化效果，但存在特定场景下的失败，混合训练能保持优势并缓解泛化问题。
2026-05-12 cs.AI
Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Simulation-Based Training
Centre of Excellence in Maritime Safety（海上安全卓越中心）；Singapore Polytechnic（新加坡理工学院）；Singapore（新加坡）
提出Prompt-and-Check方法，利用开源大语言模型通过上下文丰富的提示评估模拟训练中通信协议的合规性，并在海事领域案例中验证其有效性。
2025-08-12 cs.AI
GPS: General Per-Sample Prompter
Heinrich Heine Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
GPS提出了一种通用的每样本提示方法，无需任务特定调优，为每个输入生成定制提示，提升多样任务性能，无需大规模数据和优化循环。
2025-11-18 cs.AI cs.CL
PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Innovation Center of Tsinghua University（清华大学创新中心）；National University of Singapore（新加坡国立大学）
视觉语言预训练（VLP）在广泛的跨模态任务中表现出令人印象深刻的性能，其中不依赖于对象检测器的VLP模型由于其优越的计算效率和竞争力而成为主流。然而，对象检测器的去除也剥夺了显式对象建模的能力，这是必不可少的各种位置敏感的视觉语言（VL）的任务，如引用表达式理解和视觉常识推理的VLP模型。为了应对这一挑战，我们引入了PEVL，它通过显式对象位置建模增强了VLP模型的预训练和提示微调。具体而言，PEVL在统一的语言建模框架中重新制定离散化的对象位置和语言，这有助于在预训练期间进行显式VL对齐，并且还能够为各种下游任务进行灵活的提示微调。我们表明，PEVL使无检测器VLP模型在位置敏感任务（如参考表达理解和短语接地）上具有最先进的性能，并且还提高了接地输入的位置不敏感任务的性能。我们在https://github.com/thunlp/PEVL上公开了本文的数据和代码。
2022-11-22 cs.AI cs.CL cs.CV
Can AI Have a Personality? Prompt Engineering for AI Personality Simulation: A Chatbot Case Study in Gender-Affirming Voice Therapy Training
University of the District of Columbia（哥伦比亚特区大学）
本研究通过性别肯定语音治疗训练中的聊天机器人案例，验证了提示工程能使大型语言模型模拟出稳定且一致的人格特质。
2025-10-07 cs.CL cs.HC
AdaPrompt: Adaptive Model Training for Prompt-based NLP
Microsoft Research（微软研究院）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
基于机器学习的NLP方法以其能够处理zero-shot和Few-Shot的NLP任务而受到了广泛的关注。其主要思想是通过将NLP下游任务映射到自然语言提示中，然后由预训练的语言模型（PLM）填充，从而弥合NLP下游任务和语言建模（LM）之间的差距。然而，对于快速学习，NLP任务和预训练之间仍然存在两个明显的差距。首先，提示信息不一定充分存在于LM预训练期间。第二，特定于任务的数据在预训练期间不一定得到很好的表示。我们解决这两个问题，提出AdaPrompt，自适应地检索外部数据，利用任务和提示的特点，不断预训练的PLM。此外，我们利用自然语言推理模型中的知识来获得自适应的动词。在五个NLP基准测试上的实验结果表明，AdaPrompt在Few-Shot设置中可以比标准PLM有所改进。此外，在zero-shot设置，我们的方法优于标准的基于小波变换的方法高达26.35\%的相对误差减少。
2022-11-18 cs.CL
PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data
Heinrich Heine Universität Düsseldorf（海因里希·海涅大学杜塞尔多夫）
PIAST通过生成少量示例快速构建提示，利用蒙特卡洛沙普利估计优化示例效用，实现在有限计算资源下提升文本简化、GSM8K和分类任务的性能。
2026-04-07 cs.CL
Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers
Yokohama National University（横滨国立大学）
本文提出OPTS方法，通过显式选择提示设计策略提升EvoPrompt性能，采用Thompson采样机制在BIG-Bench Hard上验证效果，实现最优结果。
2025-07-11 cs.AI cs.CL cs.HC
Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models
University of Maryland, College Park（马里兰大学学院市分校）；ByteDance（字节跳动）；Duke University（杜克大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对RLVR训练中奖励方差为零的残差提示无法提供训练信号的问题，本文提出ERPO框架，通过历史追踪和自适应提高采样温度来鼓励探索残差提示，重新激活训练信号，在Qwen2.5系列多个数学推理基准上持续超越强基线。
2025-11-06 cs.CL
Study on LLMs for Promptagator-Style Dense Retriever Training
Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）；University of Waterloo（滑铁卢大学）
针对原始Promptagator依赖专有大模型的问题，研究发现参数≤14B甚至3B的开源LLMs可作为有效的Promptagator风格查询生成器，为领域专用稠密检索模型微调的合成数据生成提供可靠替代方案。
2025-10-02 cs.CL cs.IR
Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts
The Chinese University of Hong Kong（香港中文大学）；AWS AI Labs（AWS AI实验室）
提出Musketeer，一种多任务视觉语言模型，通过任务解释提示（TEP）减少任务干扰，实现参数共享，性能媲美或超越单任务基线。
2024-03-14 cs.AI cs.CL cs.CV
Embedding-based In-Context Prompt Training for Enhancing LLMs as Text Encoders
Institute of Science Tokyo（东京科学研究院）；Tencent（腾讯）
本文提出EPIC方法，通过上下文学习生成高质量嵌入，减少计算负担，实验表明在MTEB基准上取得新突破。
2026-05-02 cs.CL
GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs
University of California, Davis（加利福尼亚大学戴维斯分校）；IFM Lab（IFM实验室）
本研究提出GPTA框架，通过前缀提示和“对话梯度”协同训练下游模型与大语言模型，在六个NLP基准上提升性能并缓解低资源过拟合，提供了一种安全、低成本且自适应的训练方案。
2024-03-29 cs.CL
Prompting Large Language Models for Training-Free Non-Intrusive Load Monitoring
Southern University of Science；Technology \& Peng Cheng Laboratory；The Chinese University of Hong Kong, Shenzhen；The Hong Kong University of Science；Tsinghua University
本文提出首个基于提示的LLM非侵入式负荷监测框架，利用上下文学习实现无需训练的设备分解，在REDD和UK-DALE上验证了其泛化性与可解释性，但性能不及传统深度学习。
2025-08-02 cs.AI cs.LG eess.SP
Few-Shot and Training-Free Review Generation via Conversational Prompting
针对少样本和免训练场景下的个性化评论生成，提出对话式提示方法，通过将用户评论重构为多轮对话，显著提升生成评论与目标用户风格的一致性。
2025-09-25 cs.CL cs.IR
Black-Box Prompt Optimization: Aligning Large Language Models without Model Training
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
针对大语言模型对齐训练成本高、部分模型无法训练的问题，提出无需更新模型参数的黑盒提示优化BPO方法，利用人类偏好优化提示，性能优于PPO、DPO等对齐方法且可与之结合增益。
2024-06-21 cs.CL
Prompt-Robust Language Models: Which Training Strategies Work?
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；R&D Centre for Large Language Models, National Institute of Informatics, Japan（日本国立信息学研究所大语言模型研发中心）
该研究复现比较多种提升语言模型提示鲁棒性的训练策略，发现现有方法虽优于标准微调与上下文学习，但仍存在40%-57%的性能差距，且最新鲁棒性方法未优于每批次单模板训练的简单策略，揭示了参数梯度符号冲突等关键原因。
2026-09-02 cs.AI
Where Do CoT Training Gains Land in LLM based Agents?
ByteDance（字节跳动）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京市大模型与智能治理重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（教育部新一代智能搜索与推荐工程研究中心）
通过比较有无思维链的动作预测，发现CoT训练主要提升直接动作预测质量，而非CoT推理优势，后期检查点更依赖提示，选择性掩码动作监督可改善泛化。
2026-06-26 cs.AI
