Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；Universite Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；LIRIS（里昂信息科学与系统实验室）
本文评估了 GPT-4 等大语言模型在命名实体识别中的小样本提示性能，发现其虽与完全监督方法存在差距，但在极少数据下适应新实体类型和领域表现优异，并分析了提示工程等因素的影响。
2024-09-04 cs.AI cs.IR
Evaluating the Impact of LLM-guided Reflection on Learning Outcomes with Interactive AI-Generated Educational Podcasts
Drexel University（德雷塞尔大学）；Michigan State University（密歇根州立大学）
本研究通过36名本科生实验，发现LLM引导的反思提示虽未显著提升学习成果，但降低了感知吸引力，呼吁加强反思性交互设计研究。
2025-08-06 cs.AI cs.HC
Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA
University of Toronto（多伦多大学）；King Mongkut’s University of Technology Thonburi（泰国科技理工学院）
本文研究了提示压缩在扩散大型语言模型中的有效性，通过在LLDA上评估LLMLingua-2，发现提示压缩在数学推理任务中效果不佳，而摘要任务相对稳健，表明为扩散模型设计的提示压缩方法并不适用于所有场景。
2026-07-14 cs.AI cs.CL
Evaluating the Prompt Steerability of Large Language Models
IBM Research（IBM研究院）
本文提出基于形式化定义的 Prompt Steering 基准，通过可引导性指数衡量 LLM 人格随提示偏离基线的程度，发现现有模型存在基线偏斜与维度不对称问题。
2025-02-15 cs.AI cs.CL cs.HC
Bridging the Gap: Empowering Small Models in Reliable OpenACC-based Parallelization via GEPA-Optimized Prompting
School of Information and Computer Science（信息与计算机科学学院）；University of California, Irvine（加州大学伊文斯顿分校）
通过GEPA优化提示提升小型模型在OpenACC并行化中的性能与稳定性。
2026-01-12 cs.AI cs.DC cs.SE
Evaluating and Explaining Prompt Sensitivity of LLMs Using Interactions
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本文提出基于交互作用的IPS指标，分析50个开源LLMs的提示敏感性，发现监督微调等四个因素可通过降低低阶交互作用的敏感性减少提示波动。
2026-08-20 cs.AI cs.CL cs.LG
Evaluating 5W3H Structured Prompting for Intent Alignment in Human-AI Interaction
Huizhou Lateni AI Technology Co., Ltd.（惠州拉提尼人工智能科技有限公司）；Huizhou University（惠州大学）
本文通过对比三种提示条件，评估了基于5W3H的PPS框架在人机交互中提升意图对齐的效果，发现渲染化的PPS在高歧义任务中表现更优，且揭示了结构化提示在实际应用中的价值。
2026-03-19 cs.AI
Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs
UC Santa Barbara（加州大学圣芭芭拉分校）；UC Irvine（加州大学伊尔弗雷德分校）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究重新审视大语言模型的提示敏感性问题，通过多基准多模板实验发现该现象多源于启发式评估方法的局限，采用大语言模型评判可降低性能方差，证明现代大语言模型对提示的鲁棒性更强。
2025-09-01 cs.AI cs.CL cs.LG
Evaluating Advanced Prompting on Gemini Flash for Multi-Hop Biomedical QA
Saudi Med AI Lab (SMAIL)（沙特医学人工智能实验室（SMAIL））；Prince Sultan University（普森国王大学）；Al-Baha University（阿勒巴哈大学）
本研究通过设计多组件提示（角色扮演、多步思维链示例和格式规则），在 Gemini 2.0 Flash 上实现概念级得分0.720，显著优于基线0.565，并接近下一代模型性能，证明高级提示设计对释放LLM推理能力至关重要。
2026-05-05 cs.AI cs.CL cs.IR
Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
KAIST（韩国科学技术院）；Adobe Research（Adobe研究院）
本文通过眼动数据可视化方法提升多模态LLM处理高频传感器数据的效率，验证了视觉提示在人类活动识别中的有效性与扩展性。
2026-02-27 cs.AI cs.CV cs.HC
A Multi-faceted Analysis of Cognitive Abilities: Evaluating Prompt Methods with Large Language Models on the CONSORT Checklist
本研究通过比较通用和领域专用LLM在三种提示策略下的表现，揭示了其在评估临床试验报告时存在显著的校准错误和过度自信问题，强调了改进校准和提示工程的重要性。
2026-02-25 cs.AI cs.CL
When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models
SAIL Lab, University of New Haven（纽黑文大学SAIL实验室）
研究评估医疗语言模型在不同提示格式下的鲁棒性，发现链式思维提示降低准确性，少样本示例和答案选项洗牌显著影响性能，且领域特定模型的提示工程策略不适用于通用模型。
2026-03-26 cs.AI cs.CL
Evaluating Reliability Gaps in Large Language Model Safety via Repeated Prompt Sampling
Independent Researcher（独立研究员）
本文提出APST框架，通过重复采样相同提示在受控条件下揭示LLM潜在故障模式，量化不同模型和配置下的操作风险，展示浅层基准分数可能掩盖持续使用下的可靠性差异。
2026-03-10 cs.AI cs.SE
EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined Criteria
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER AI实验室）
EvalLM是一个交互式系统，让用户用自然语言定义标准并利用LLM评估器迭代优化提示，实验表明相比手动评估可检查两倍输出并以少59%的修改次数达到满意提示。
2024-02-27 cs.AI cs.CL cs.HC
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple（苹果公司）
本文考察提示适配场景下的性别偏见迁移，发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University（南洋理工大学）；Amazon Web Services（亚马逊云科技）
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括，从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理，已经提出了诸如提示微调的参数高效微调方法。然而，现有的提示微调方法可能缺乏通用性。我们提出了SPT，半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体，从该存储体中基于离散提示检索存储器提示。大量的实验，如（i）微调一个完整的语言模型与SPT的31个不同的任务，从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和（ii）预训练SPT的GLUE数据集和评估微调SuperGLUE数据集，证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Re-Evaluating Code LLM Benchmarks Under Semantic Mutation
Zhejiang University（浙江大学）
本研究通过提出语义保持的提示变异框架，在8个代码任务和10个开源LLM上实证发现提示敏感性显著影响模型性能及排名，强调未来基准设计需考虑此因素。
2025-06-20 cs.AI cs.SE
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification
School of Mathematical and Computational Sciences（数学与计算科学学院）
本研究评估六种LLM与五种提示策略在系统性文献综述筛选中的交互效果，发现CoT-少样本平衡最佳，并提出低成本模型初筛加边界案例升级的分阶段工作流。
2025-10-17 cs.AI cs.CL
Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting
通过故事提示框架评估大语言模型的理论自我意识和世界建模能力，发现模型在世界建模任务中表现优于理论自我意识任务，且对人物推理更准确。
2026-09-01 cs.AI cs.CL
TrustGLM: Evaluating the Robustness of GraphLLMs Against Prompt, Text, and Structure Attacks
New York University（纽约大学）；New York University Shanghai（纽约大学上海）
该研究提出TrustGLM框架，从文本、图结构、提示三个维度评估GraphLLMs的对抗鲁棒性，发现其易受各类攻击，同时验证了数据增强和对抗训练的防御效果，并开源工具库以推动相关研究。
2025-06-13 cs.AI cs.LG
V2P-Bench: Evaluating Video-Language Understanding with Visual Prompts for Better Human-Model Interaction
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Xi’an Jiaotong University（西安交通大学）
V2P-Bench通过视觉提示评估视频语言理解，提升人机交互效率与体验，揭示模型在时空理解上的不足及Hack现象。
2026-02-03 cs.AI cs.CL cs.CV
Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs
Northeastern University（东北大学）
研究视觉语言模型在反复提示下的稳定性，引入JKP多轮评估框架，用三种策略对模型提问，在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B，发现重复提示利弊兼具且因模型而异，揭示了模型压力反应概况。
2026-07-17 cs.AI cs.CL cs.CV
AutoDojo: A Generative Benchmark for Evaluating Prompt Injection Defenses in LLM Agents
University of Science and Technology of China（中国科学技术大学）
针对间接提示注入防御的静态基准不足，提出自适应攻击框架AutoDojo，通过迭代优化注入突破多数防御，并揭示动作开放任务的结构性限制。
2026-09-29 cs.AI cs.CR
Certainty robustness: Evaluating LLM stability under self-challenging prompts
TELUS Digital（TELUS数字公司）
本文提出确定性鲁棒性基准，评估LLM在自我挑战提示下的稳定性与适应性平衡，揭示模型在交互压力下的可靠性差异。
2026-02-10 cs.AI cs.CL
Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing
Independent Researcher（独立研究者）
本文提出APST框架，通过重复推理测试揭示模型在持续使用下的失败模式，展示单次评估无法反映实际可靠性差异。
2026-04-28 cs.AI cs.LG
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection
University of California Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）；Tencent AI Lab（腾讯人工智能实验室）
本文构建了一个基准来评估大型语言模型对提示注入攻击的指令遵循鲁棒性，通过大量实验揭示了模型在区分注入指令与原始指令方面的重大漏洞，并指出未来应重点提升模型对提示的整体理解与指令辨别能力。
2023-11-25 cs.AI cs.CL
Evaluating Prompting and Execution-Based Methods for Deterministic Computation in LLMs
Virginia Tech（弗吉尼亚理工学院）
本文评估了多种提示策略在需要精确输出的任务中的表现，发现PoT通过生成可执行代码实现完美准确率，而其他方法存在误差积累或计算开销大等问题。
2026-05-07 cs.AI
Combee: Scaling Prompt Learning for Self-Improving Language Model Agents
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Tensormesh；Gradient Network
Combee通过并行扫描和增强洗牌机制，提升提示学习效率，实现多代理并行训练，同时保持学习质量。
2026-09-28 cs.AI cs.CL cs.LG
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现，发现提示对评估结果影响有限，困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Evaluating Prompt Engineering Techniques for Accuracy and Confidence Elicitation in Medical LLMs
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；Ontario Tech University（安大略理工大学）；Iran University of Medical Sciences（伊朗医科大学）
本文评估了156种提示工程配置对5个医疗LLM的准确性与置信度获取的影响，发现Chain-of-Thought虽提升准确性但易致过度自信，表明高风险医疗任务需同时关注准确性与不确定性校准。
2025-05-29 cs.AI cs.CL cs.CY
APPL: A Prompt Programming Language for Harmonious Integration of Programs and Large Language Model Prompts
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；CentML（CentML公司）；Mila（米拉研究所）
针对大语言模型复杂工作流难实现维护的问题，提出提示编程语言APPL，实现提示与Python函数的无缝嵌入，具备并行运行时等特性，经多场景验证高效直观，并行加速效果接近估算值。
2024-06-19 cs.AI cs.CL cs.LG
AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics
University of Southern California（南加州大学）；Contextual AI（Contextual AI公司）；Capital One（第一资本金融公司）；Georgia Tech University（佐治亚理工大学）
研究针对现有用户-智能体协作基准无法捕捉偏好动态的问题，推出AcCoRD基准，评估前沿LLM处理偏好动态的能力，发现模型难应对交互中出现/演变的偏好，仅提示无法实现所需不确定性识别。
2026-08-31 cs.AI
Evaluating LLMs for Zeolite Synthesis Event Extraction (ZSEE): A Systematic Analysis of Prompting Strategies
Birla Institute of Technology and Science, Pilani, India（巴尔·印度技术科学学院，比兰利，印度）
本文评估了不同提示策略在沸石合成事件提取中的效果，发现零样本方法在事件分类上表现优异，但细粒度提取任务需领域适应模型。
2025-12-17 cs.AI cs.CL
Sarc7: Evaluating Sarcasm Detection and Generation with Seven Types and Emotion-Informed Techniques
Algoverse AI Research（Algoverse AI研究院）
提出Sarc7基准，将MUStARD数据集标注为七种讽刺类型，并通过零样本、少样本、思维链及新型情感提示技术进行分类评估，同时开发基于情感的生成方法，实验表明情感提示技术优于其他设置。
2026-06-23 cs.AI cs.CL
IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia
Oracle America Inc.（Oracle美洲公司）
本文提出IndicSafe基准，评估12种南亚语言中LLM的安全性，发现跨语言一致性仅12.8%，安全率波动超17%，揭示多语言LLM安全泛化缺口。
2026-05-15 cs.AI cs.CL
When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations
Department of Computer Science and Engineering, Doha, Qatar（计算机科学与工程系，多哈，卡塔尔）
本研究系统分析了通用和医学专用LLM对提示扰动的敏感性，发现即使是微小的措辞变化也可能改变临床建议，对抗性提示可能引发有害输出，表明这些模型在临床应用中不可靠。
2026-06-05 cs.AI cs.CL cs.LG
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS（亚马逊AWS）
本研究通过人物角色提示重写评估提示，发现写作风格显著影响LLM性能，并提出可扩展的基准增强方法以提升评估外部有效性。
2025-09-25 cs.AI cs.CL
Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, and LLaMA
Northwestern University（西北大学）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文通过MMMLU基准测试，评估了不同语调提示对GPT、Gemini和LLaMA模型在STEM和人文领域任务中的准确性影响，发现礼貌性提示在部分人文任务中显著提升性能，但整体上现代LLMs对语调变化具有鲁棒性。
2026-03-27 cs.AI cs.CL
Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；KU Leuven（鲁汶大学）；Infinigence-AI（无涯智算AI）
针对LLM顺序解码导致的高延迟，本文提出Skeleton-of-Thought，先生成答案骨架再并行补全各要点，在12个LLM上实现加速并可能改善答案质量。
2024-03-02 cs.AI cs.CL
Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts
Manchester Metropolitan University（曼彻斯特城市大学）
本文用 SALAD-Bench 的 1,200 条提示评估四款 LLM 对人工与算法对抗提示的抵抗，揭示鲁棒性、攻击可迁移性及危害类别差异，为防御提供依据。
2025-10-12 cs.AI cs.CR cs.CY
evalSmarT: An LLM-Based Framework for Evaluating Smart Contract Generated Comments
SnT – University of Luxembourg（卢森堡大学SnT学院）；Université Cheikh Anta Diop（谢赫·安塔·迪奥普大学）；Huawei（华为）
针对智能合约生成注释评估的现有指标缺陷与人工评估局限，提出基于大语言模型的模块化可扩展框架evalSmarT，支持超400种评估配置，验证了提示设计的重要性与该评估方案的可行性。
2025-07-28 cs.AI
Evaluating Steering Techniques using Human Similarity Judgments
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
本研究通过人类相似性判断任务评估LLM转向技术，发现基于提示的转向在准确性和人类对齐上最优，并揭示模型对种类相似性的偏向及大小对齐的困难。
2026-09-09 cs.AI
Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心（TIB））；Gottfried Wilhelm Leibniz Universität Hannover（汉诺威戈特弗里德·威廉·莱布尼茨大学）；L3S Research Center（L3S研究中心）；Leibniz University of Hannover（汉诺威莱布尼茨大学）
本研究首次将提示式训练的Transformer模型应用于学术知识图谱对象预测，在学术领域测试其泛化性，发现提示训练可带来最高40%的性能提升，同时凸显了学术领域知识捕获缺口，为该领域的Transformer研究投入提供了实证依据。
2023-06-11 cs.AI cs.CL cs.DL
GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts
Novelis Research and Innovation Lab（诺贝丽斯研究与创新实验室）
本文在11个数据集上评估GPT-3.5、GPT-4和BARD的零样本推理能力，发现GPT-4整体最优，但三者在归纳、数学和多跳推理上均有限，并提出提示工程方法提升性能。
2023-09-19 cs.AI cs.CL
LLM Prompt Evaluation for Educational Applications
Vanderbilt University（范德堡大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出了一种系统评估方法，通过测试六个提示模板，发现一个结合角色和上下文管理器模式的提示在教育应用中表现最佳，支持元认知学习策略。
2026-01-22 cs.AI cs.CL
Reasoning or Overthinking: Evaluating Large Language Models on Financial Sentiment Analysis
BlackRock, Inc.（黑石公司）
本文在金融情感分析任务上评估多种大语言模型，发现推理或思维链提示并未提升性能，反而可能引发过度思考，GPT-4o无思维链时表现最佳，表明系统1式直觉思维更契合人类判断。
2025-06-05 cs.AI cs.CL
Hack-Verifiable Terminal Bench: Evaluating Reward Hacking in Terminal Tasks
Tel Aviv University（特拉维夫大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
本研究提出可验证黑客终端基准（HVTB），将可验证黑客环境（HVE）适配至终端基准，用于测量前沿模型的奖励黑客率，并探究提示能否缓解该行为。
2026-08-25 cs.AI
Prompt Injection as an Emerging Threat: Evaluating the Resilience of Large Language Models
Astana IT University（阿斯塔纳信息技术大学）；Kazakh-British Technical University（哈萨克-英国技术大学）
本研究针对提示注入这一新兴威胁，提出统一评估框架（含RDI、SCC、IIM指标），测试GPT-4等4个LLM在5类任务中的抗性，发现GPT-4表现最优，对齐与安全调优比模型大小更影响抗性，为提升LLM安全提供实用框架。
2025-11-11 cs.AI cs.CR
Evaluating LLMs with Multiple Problems at once
Department of Linguistics & Institute for Advanced Computational Science（语言学系及高级计算科学研究所）
本文提出多问题评估（MPE）范式，构建ZeMPE基准（含53,100个零样本提示），在13个LLM上系统评估，发现LLM能处理多问题但存在条件限制，并发布语料与代码。
2025-06-21 cs.AI cs.CL
Automating Prompt Leakage Attacks on Large Language Models Using Agentic Approach
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算机学院）；SplxAI；Google DeepMind（谷歌DeepMind）
本文基于 AG2 构建协作式多智能体框架，自动探测并诱导目标 LLM 泄露系统提示词，同时借鉴密码学不可区分性提出提示词泄露安全定义与系统化对抗测试方法。
2025-02-18 cs.AI cs.CR
CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text
Université Paris-Saclay（巴黎-萨克雷大学）；CEA-List（法国原子能委员会-列表）
本文提出使用 LLMs 结合少样本提示进行多语言主观性检测，在 CheckThat! 2025 任务中表现优异，证明了其在数据稀缺或不一致时优于传统微调。
2025-07-10 cs.AI cs.CL
Evaluating Reward Model Generalization via Pairwise Maximum Discrepancy Competitions
ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC研究院）；School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院）；ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学Hangzhou全球科技创新中心）；City University of Hong Kong（香港城市大学）
本文提出PMDC方法，通过动态选择高争议测试案例评估奖励模型的泛化能力，并揭示了现有模型的系统性泛化失败问题。
2026-01-05 cs.AI cs.CL
A Critical Evaluation of Defenses against Prompt Injection Attacks
Duke University（杜克大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；UC Berkeley（伯克利大学）
本文批判性评估提示注入攻击防御，提出从有效性和通用实用性两个维度评估，发现现有防御措施在原则性方法下并不如先前报告成功，为未来防御评估提供基础。
2025-05-23 cs.AI cs.CR
Evaluating LLM-Based Goal Extraction in Requirements Engineering: Prompting Strategies and Their Limitations
Department of Control and Computer Engineering（控制与计算机工程系）
本文探讨了通过三个阶段自动提取功能目标以实现目标导向的需求工程，提出基于工程提示的LLM链，实验表明反馈循环机制在零样本学习中表现更优，但提示策略仍是性能限制因素。
2026-08-05 cs.AI cs.CL cs.SE
