Efficient but Vulnerable: Benchmarking and Defending LLM Batch Prompting Attack
George Mason University（乔治·马歇尔大学）
本研究揭示批量提示存在安全漏洞，构建BATCHSAFEBENCH基准，发现所有大模型易受攻击，并提出探测式防御方法，检测准确率达95%。
2025-06-20 cs.AI cs.CR cs.LG
Benchmarking GPT-4 against Human Translators: A Comprehensive Evaluation Across Languages, Domains, and Expertise Levels
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；LanBridge Group（兰桥集团）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）
本研究首次系统比较GPT-4与不同水平人类译者在多语言对和多领域中的翻译表现，发现GPT-4达到初级译者水平但落后于资深译者，且在不同语言方向上质量稳定，并揭示了其过度直译和词汇不一致等特征。
2024-11-21 cs.AI cs.CL
Empathetic Cascading Networks: A Multi-Stage Prompting Technique for Reducing Social Biases in Large Language Models
ECN通过多阶段提示技术减少大型语言模型的社会偏见，提升对话AI的共情与包容性。
2026-02-19 cs.AI cs.CL
Boosting Theory-of-Mind Performance in Large Language Models via Prompting
Johns Hopkins University（约翰斯·霍普金斯大学）
本文评估GPT-4与GPT-3.5变体的心智理论任务表现，发现上下文思维链提示可显著提升RLHF训练模型的准确率，GPT-4甚至达到100%。
2023-04-26 cs.AI cs.CL
Metacognitive Prompting Improves Understanding in Large Language Models
Stanford University（斯坦福大学）；Meta Platforms, Inc.（元平台公司）
本研究提出受人类内省推理启发的元认知提示（MP）策略，通过结构化自我认知评估提升大型语言模型理解能力，在十个NLU数据集上验证其优于现有提示方法。
2024-03-20 cs.AI cs.CL
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University（德雷塞尔大学）；United States Food and Drug Administration（美国食品药品监督管理局）
本研究提出一种三轮迭代提示方法，利用 GPT-4 从新药申请文件中生成食物效应摘要，实验表明其生成的摘要在事实一致性上表现优异，能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting
SRM Institute of Science and Technology（SRM科学技术学院）
本研究提出声纳图像合成框架Synth-SONAR，结合扩散模型与GPT提示，通过双文本条件模型和生成式AI风格注入技术，生成了高质量、高多样性的合成声纳数据集。
2024-10-11 cs.AI cs.CV cs.LG
Benchmarking Large Language Models on Multiple Tasks in Bioinformatics NLP with Prompting
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出基于提示的综合基准框架Bio-benchmark，在30项生物信息学任务上评估GPT-4o等六个主流LLM，并开发答案提取工具BioFinder将准确率提升约30%，揭示了模型能力并提出了优化策略。
2025-03-06 cs.AI cs.CL
Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors
MPI-SWS（马克斯·普朗克软件系统研究所）；Microsoft（微软公司）；TU Wien（维也纳技术大学）
该研究系统性评估了ChatGPT和GPT-4在多种Python编程教育场景中的表现，发现GPT-4大幅优于ChatGPT且接近人类导师水平，并指出了其仍需改进的方向。
2023-08-01 cs.AI cs.CL cs.CY
Enhancing Sentiment Classification and Irony Detection in Large Language Models through Advanced Prompt Engineering Techniques
IU International University of Applied Sciences（国际应用科学大学）
本文通过高级提示工程技术提升大型语言模型在情感分类和讽刺检测中的性能，发现不同提示策略对不同模型和任务效果显著。
2026-01-13 cs.AI cs.CL
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.；Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测，发现思维链提示显著提升清晰度和主题识别准确性，但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
Leveraging GPT-4o Efficiency for Detecting Rework Anomaly in Business Processes
University of Milan（米兰大学）
本文研究GPT-4o-2024-08-06检测业务流程返工异常的有效性，开发相关工具并在特定合成数据集上用三种提示技术测试不同异常分布，结果显示模型性能优异，且异常分布和提示策略影响性能。
2025-02-10 cs.AI cs.LG
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification
School of Mathematical and Computational Sciences（数学与计算科学学院）
本研究评估六种LLM与五种提示策略在系统性文献综述筛选中的交互效果，发现CoT-少样本平衡最佳，并提出低成本模型初筛加边界案例升级的分阶段工作流。
2025-10-17 cs.AI cs.CL
Benchmarking zero-shot stance detection with FlanT5-XXL: Insights from training data, prompting, and decoding strategies into its near-SoTA performance
Indiana University Bloomington（印第安纳大学伯明顿分校）；Center for Complex Networks and Systems（复杂网络与系统中心）
本文用 FlanT5-XXL 在多个推文立场数据集上评估零样本立场检测，分析提示、解码、困惑度及否定表述的影响，证明其可匹敌微调 SoTA，并发现正向偏差。
2024-03-01 cs.AI cs.CL cs.LG
Iterative Prompting with Persuasion Skills in Jailbreaking Large Language Models
National Central University（中央大学）
本研究提出迭代提示技术，结合说服策略逐步优化提示以越狱大语言模型，在GPT-4和ChatGLM上达到90%攻击成功率，优于PAIR和PAP，与GCG和ArtPrompt相当。
2025-03-26 cs.AI cs.CL cs.ET
EvoGPT-f: An Evolutionary GPT Framework for Benchmarking Formal Math Languages
本文提出进化框架EvoGPT-f，首次系统定量分析五种形式化数学语言在四种分词方法下的机器可学习性差异，为跨语言比较研究奠定基础。
2024-02-12 cs.AI cs.CL cs.LG
Beyond Specialization: Benchmarking LLMs for Transliteration of Indian Languages
Aligarh Muslim University（阿里格尔穆斯林大学）；Nanyang Technological University（南洋理工大学）；VIT Bhopal University（维特博帕尔大学）
该研究系统评估了GPT-4o等大语言模型与专门模型IndicXlit在十种印度语言音译任务上的表现，发现GPT系列模型普遍更优，微调可进一步提升特定语言性能，展示了基础模型在专业应用中的潜力。
2025-05-26 cs.AI cs.CL
Prompting Strategies for Language Model-Based Item Generation in K-12 Education: Bridging the Gap Between Small and Large Language Models
University of Florida（佛罗里达大学）
本研究比较微调中型模型Gemma与大型模型GPT-3.5在K-12形态学多选题自动生成中的表现，发现结合思维链与顺序设计的结构化提示策略能显著提升中型模型生成质量，为有限数据条件下的试题自动生成提供了实用可扩展的工作流程。
2025-08-27 cs.AI cs.CL
Enhancing LLM Problem Solving with REAP: Reflection, Explicit Problem Deconstruction, and Advanced Prompting
Honda Research Institute USA, Inc.（本田美国研究院有限公司）
针对大语言模型复杂推理任务求解能力不足的问题，提出包含反思、显式问题解构与高级提示的REAP方法，在多个前沿模型上实现显著性能提升，同时兼具成本效益与输出可解释性优势。
2024-09-14 cs.AI cs.CL cs.LG
Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy
Australian National University（澳大利亚国立大学）；European Space Agency（欧洲空间局）；Columbia University（哥伦比亚大学）
本研究利用GPT-4结合上下文提示与对抗性提示，从NASA ADS的1000篇论文中提取知识，显著提升天文学假设生成的稳健性与有效性。
2023-06-20 astro-ph.GA astro-ph.IM cs.AI
Toward Large Language Models as a Therapeutic Tool: Comparing Prompting Techniques to Improve GPT-Delivered Problem-Solving Therapy
University of Washington（华盛顿大学）；Dartmouth College（达特茅斯学院）
本研究比较多种提示工程技术对GPT提供问题解决疗法的影响，发现恰当的提示工程能提升模型在症状识别与目标设定阶段的治疗质量、一致性和共情能力，为AI辅助心理治疗提供了实证依据。
2024-08-27 cs.AI cs.CL cs.ET
Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval
National University of Defense Technology（国防科技大学）
提出基于LLM的文本到SQL框架，通过去语义化提取问题骨架检索相似示例，并建模问题与数据库模式关系，在三个跨领域基准上超越现有模型。
2023-08-31 cs.AI cs.CL
Evaluating the Performance of AI Text Detectors, Few-Shot and Chain-of-Thought Prompting Using DeepSeek Generated Text
The University of Missouri（密苏里大学）
本文评估六款AI检测器识别DeepSeek-v3文本及抵御改写、拟人化攻击的能力，并测试DeepSeek少样本与CoT分类，发现拟人化攻击最有效，五样本提示仅误判1例。
2025-07-23 cs.AI cs.CL
Benchmarking Llama2, Mistral, Gemma and GPT for Factuality, Toxicity, Bias and Propensity for Hallucinations
Innodata（英诺达公司）
该研究构建14个新数据集评估大模型企业任务安全性，对比多款开源模型与GPT的事实性、毒性等表现，发现多轮对话下开源模型安全性普遍下降，仅Mistral表现稳定。
2024-04-15 cs.CL
Can GPT Improve the State of Prior Authorization via Guideline Based Automated Question Answering?
inQbator AI at eviCore Healthcare, Evernorth Health Services（Evernorth Health Services旗下的inQbator AI）
该研究将保险预先授权中的资格标准验证建模为基于电子健康记录的问答，提出新型GPT提示方法，加权F1平均达0.61，优于标准提示。
2024-10-25 cs.AI cs.CL cs.LG
T2S-Bench & Structure-of-Thought: Benchmarking and Prompting Comprehensive Text-to-Structure Reasoning
duke（杜克大学）；meta
本文提出Structure-of-Thought和T2S-Bench，通过显式文本结构化提升模型文本处理性能，实验表明其在多个任务中显著提升准确率。
2026-03-04 cs.AI cs.CL
Compiler-Guided Inference-Time Adaptation: Improving GPT-5 Programming Performance in Idris
Ming Hsieh Department of Electrical and Computer Engineering（明希斯部门电子与计算机工程系）；Viterbi School of Engineering, University of Southern California（维特比工程学院，南加州大学）
本文研究GPT-5通过编译器反馈提升在低资源语言Idris中的编程性能，发现结合本地编译错误的改进策略显著提高了模型表现。
2026-02-12 cs.AI cs.PL
Dissecting In-Context Learning of Translations in GPTs
Microsoft Azure AI（微软 Azure AI）
通过扰动高质量示例，发现目标端文本分布是GPT翻译上下文学习的关键信号，据此提出Zero-Shot-Context方法，显著提升GPT-3零样本翻译性能至媲美少样本水平。
2023-10-24 cs.AI cs.CL
Can Separators Improve Chain-of-Thought Prompting?
Yonsei University（延世大学）；Linq
针对思维链提示示例密集易引发大语言模型认知过载的问题，提出在每个示例末尾添加分隔符的COT-SEP方法，显著提升复杂推理任务表现，并测试了分隔符类型、位置在多模型上的效果。
2024-10-09 cs.AI cs.CL
A Communication Theory Perspective on Prompting Engineering Methods for Large Language Models
AI Group, WeBank Co., Ltd（微众银行AI团队）
本文从通信理论视角系统梳理大语言模型提示工程方法，分析其在四类典型任务中的发展趋势，并为未来提示工程研究指明方向。
2023-10-24 cs.AI cs.CL
GPT-4 Doesn't Know It's Wrong: An Analysis of Iterative Prompting for Reasoning Problems
Arizona State University（亚利桑那州立大学）
本文研究了GPT-4在图着色问题上的迭代提示性能，发现其自我批评和验证能力不佳，性能提升仅因正确解碰巧出现在top-k补全中，质疑了LLMs的自我批评能力。
2023-10-19 cs.AI
GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes
Heriot-Watt University（赫瑞-沃德大学）；University of Edinburgh（爱丁堡大学）
提出GPTNT基准，基于合作游戏《保持通话，无人爆炸》测试多模态智能体在实时、信息不对称条件下的协作能力，发现当前最先进系统无法在实时中拆除任何炸弹。
2026-09-07 cs.AI cs.CL
Benchmarking LLMs in Political Content Text-Annotation: Proof-of-Concept with Toxicity and Incivility Data
Leiden University（莱顿大学）；Universidad Diego Portales（迭戈波塔利斯大学）
本研究针对政治内容文本标注任务构建基准，测试多款LLM与Perspective算法的表现，发现特定模型性能优异，小参数量开源模型性价比高，且仅开源模型可保障标注完全可复现。
2024-09-15 cs.AI cs.CL
ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
本文提出ImplicitBBQ基准测试，通过基于特征的提示评估大语言模型中的隐性偏见，发现隐性偏见在模糊情境中比显性偏见高六倍，现有方法难以有效缓解。
2026-07-24 cs.AI cs.CL
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking
Peking University（北京大学）；Microsoft（微软）；University of Technology Sydney（悉尼科技大学）；Xi’an Jiaotong University（西安交通大学）
本文通过10项结构与语义任务实证评估大语言模型理解图数据的能力，揭示其当前局限并提出需发展新方法以增强图处理能力。
2023-07-11 cs.AI cs.CL
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出26条指导原则来优化大语言模型的提示设计，并在 LLaMA-1/2 和 GPT-3.5/4 上通过大量实验验证其有效性。
2024-01-18 cs.AI cs.CL
Reasoning or Overthinking: Evaluating Large Language Models on Financial Sentiment Analysis
BlackRock, Inc.（黑石公司）
本文在金融情感分析任务上评估多种大语言模型，发现推理或思维链提示并未提升性能，反而可能引发过度思考，GPT-4o无思维链时表现最佳，表明系统1式直觉思维更契合人类判断。
2025-06-05 cs.AI cs.CL
Batch Prompting: Efficient Inference with Large Language Model APIs
Shanghai Jiao Tong University（上海交通大学）；University of Washington（华盛顿大学）；University of Hong Kong（香港大学）
提出 batch prompting 方法，通过批次推理显著降低 LLM 的 token 和时间成本，在十个数据集上验证了其有效性和广泛适用性。
2023-10-24 cs.AI cs.CL
Multimodal Large Language Models for End-to-End Affective Computing: Benchmarking and Boosting with Generative Knowledge Prompting
School of Computer Science, South China Normal University（华南师范大学计算机科学学院）；School of Information Technology in Education, South China Normal University（华南师范大学教育信息技术学院）
针对多模态情感计算任务，系统评估了开源多模态大语言模型，并提出生成式知识提示与监督微调相结合的混合策略，显著提升性能。
2025-08-04 cs.AI cs.LG
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Google Research（谷歌研究院）
我们将探讨如何生成一个思维链--一系列中间推理步骤--显著提高大语言模型执行复杂推理的能力。特别是，我们展示了如何自然地出现在足够大的大语言模型，通过一个简单的方法，称为思维链提示，其中一些思维链示范提供了作为范例，提示这样的推理能力。在三个大语言模型上的实验表明，思维链提示提高了一系列算术、常识和符号推理任务的性能。经验上的收获可能是惊人的。例如，仅用8个思维链示例就能提示540 B参数语言模型，在数学应用题的GSM 8 K基准测试中达到最先进的精度，甚至超过了使用验证器的微调GPT-3。
2023-01-10 cs.AI cs.CL
Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art
University of Moratuwa（莫拉图瓦大学）；The Law Office of George C. Lobb（乔治·C·洛布律师事务所）
本文针对法律领域的自动欺骗检测，对比了微调Transformer模型与大型语言模型在通用和法律数据集上的表现，发现领域敏感性显著，思维链提示效果逊于直接分类，强调需开发适配法律领域的可解释系统。
2026-08-03 cs.AI cs.CL
ZNO-Eval: Benchmarking reasoning capabilities of large language models in Ukrainian
本研究构建了基于乌克兰真实升学考试的多学科推理基准ZNO-Eval，测试多款主流大模型后发现其在纯文本常识任务表现优异，但乌语与数学科目仍有差距，为非英语语言模型评估提供了重要参考。
2025-01-12 cs.AI cs.CL
Retrieval augmented generation based dynamic prompting for few-shot biomedical named entity recognition using large language models
Department of Biomedical Informatics, School of Medicine, Emory University（生物医学信息学系，医学院，埃默里大学）；Department of Computer Science, Emory University（计算机科学系，埃默里大学）；National Library of Medicine, National Institutes of Health（国家医学图书馆，国立卫生研究院）；Department of Biomedical Engineering, Georgia Institute of Technology and Emory University（生物医学工程系，佐治亚理工学院和埃默里大学）
本文提出基于RAG的动态提示策略，通过根据输入文本相似度选择上下文学习示例并动态更新提示，有效提升了LLMs在少样本生物医学NER任务上的性能。
2025-07-25 cs.AI cs.CL
Benchmarking LLM for Code Smells Detection: OpenAI GPT-4.0 vs DeepSeek-V3
Honda Research Institute Europe（本田欧洲研究机构）
本研究通过结构化评估矩阵，在四种编程语言上对比GPT-4.0与DeepSeek-V3的代码异味检测性能，分析精确率、召回率、F1分数及成本，为选择高效自动化检测方案提供指导。
2025-04-22 cs.AI cs.LG cs.PL
Task as Context Prompting for Accurate Medical Symptom Coding Using Large Language Models
Stevens Institute of Technology（史蒂文斯理工学院）
提出TACO提示框架统一症状提取与链接任务，并引入SYMPCODER数据集与两阶段评估，验证了其在医学症状编码中提升准确性与灵活性的有效性。
2025-04-03 cs.AI cs.CL
Atari-GPT: Benchmarking Multimodal Large Language Models as Low-Level Policies in Atari Games
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；Army Educational Outreach Program（陆军教育拓展计划）
本文提出Atari-GPT基准，评估多模态大型语言模型作为Atari游戏底层策略的能力，发现其尚未能成为零样本底层策略，部分原因是视觉与空间推理不足，为相关研究提供测试基准。
2024-12-02 cs.AI
Benchmarking Large Language Models on CFLUE -- A Chinese Financial Language Understanding Evaluation Dataset
Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
该研究提出中文金融语言理解评测基准CFLUE，涵盖知识与应用两类评估维度，对代表性大语言模型进行测试后发现现有模型在金融领域仍有较大提升空间，相关资源已开源。
2024-05-17 cs.AI cs.CL
ChatGPT for GTFS: Benchmarking LLMs on GTFS Understanding and Retrieval
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文基准测试 GPT-3.5-Turbo 与 GPT-4 对 GTFS 的理解及自然语言检索能力，发现程序综合在信息抽取中显著优于零样本方法。
2023-11-03 cs.AI cs.CL cs.IR
A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2
Faculty of Computer Science, Faculty of Humanities（计算机科学系，人文科学系）；Institute of Mathematics Faculty of Humanities（人文科学学院数学研究所）；University of Silesia（斯蒂利亚大学）；AGH University of Krakow（克拉科夫AGH大学）
本文评估了GPT-5.2、Llama 4和DeepSeek等先进大语言模型在Args.me和UKP等论证分类数据集上的性能，通过高级提示策略提升分类准确率和鲁棒性，但揭示了模型在提示稳定性、隐含批评检测等方面存在的系统性缺陷。
2026-02-25 cs.AI cs.CL
Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain
National University of Defense Technology（国防科技大学）
本文提出一种检索增强的GPT-3.5文本到SQL框架，采用样本感知提示和动态修订链，在三个基准上优于强基线。
2023-09-04 cs.AI cs.DB cs.IR
Code-Mixer Ya Nahi: Novel Approaches to Measuring Multilingual LLMs' Code-Mixing Capabilities
South City International School（南城国际学校）；IISER Kolkata（加尔各答印度科学教育与研究学院）
本文提出Rule-Based Prompting提示技术，评估了GPT-3.5-turbo、GPT-4和Gemini Pro在五个语言对上的代码混合机器翻译能力，并构建了黄金标准数据集和代码混合聊天机器人。
2024-10-14 cs.AI cs.CL
PACE-LM: Prompting and Augmentation for Calibrated Confidence Estimation with GPT-4 in Cloud Incident Root Cause Analysis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
本文提出 PACE-LM，通过提示检索增强的 GPT-4 并结合事件判断与历史参考评分，为黑盒云事件根因预测生成校准置信度。
2023-09-29 cs.AI cs.CL cs.LG
Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs
Northeastern University（东北大学）
研究视觉语言模型在反复提示下的稳定性，引入JKP多轮评估框架，用三种策略对模型提问，在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B，发现重复提示利弊兼具且因模型而异，揭示了模型压力反应概况。
2026-07-17 cs.AI cs.CL cs.CV
Data Augmentation for Intent Classification with Off-the-shelf Large Language Models
University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）
数据增强是一种广泛使用的技术，以缓解数据稀缺的问题。在这项工作中，我们提出了一种基于标记的方法来生成标记的训练数据，用于使用现成的语言模型（LM）（如GPT-3）进行意图分类。该方法的优点是不需要用于数据生成的任务特定LM微调;因此该方法不需要超参数调整，并且即使在可用的训练数据非常稀缺时也是适用的。我们评估所提出的方法在Few-Shot设置四个不同的意图分类任务。我们发现，GPT生成的数据显着提高意图分类器的性能时，考虑的意图是足够的彼此不同。在语义接近意图的任务中，我们观察到生成的数据不太有用。我们的分析表明，这是因为GPT经常生成属于密切相关的意图，而不是所需的话语。我们提出的初步证据表明，一个基于过滤的GPT分类器可能有助于过滤生成的数据，以提高其质量。
2022-04-05 cs.AI cs.CL
