Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出26条指导原则来优化大语言模型的提示设计，并在 LLaMA-1/2 和 GPT-3.5/4 上通过大量实验验证其有效性。
2024-01-18 cs.AI cs.CL
Assessing the Quality of Multiple-Choice Questions Using GPT-4 and Rule-Based Methods
Carnegie Mellon University（卡内基梅隆大学）
针对学生生成多项选择题的19种题目编写缺陷，比较自研规则方法与 GPT-4，规则方法在200道四学科问题上以91%对79%的缺陷检出率优于 GPT-4。
2023-07-16 cs.AI cs.CL cs.HC
How is ChatGPT's behavior changing over time?
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
本文通过对比GPT-3.5和GPT-4在2023年3月与6月版本在七类任务上的表现，揭示同一LLM服务的行为会随时间显著漂移，并指出GPT-4遵循指令能力下降是共同因素，强调持续监控的必要性。
2023-10-31 cs.AI cs.CL cs.LG
Exploring the Effectiveness of GPT Models in Test-Taking: A Case Study of the Driver's License Knowledge Test
J. P. Morgan AI Research（摩根大通人工智能研究院）
本研究针对GPT模型知识受限于训练数据的问题，提出结合外部上下文嵌入构建提示的方法，在加州驾照知识测试中使GPT-3通过率从82%提升至96%，并分析了提示长度等因素的影响。
2023-08-22 cs.AI cs.CL cs.LG
GPT-3 Models are Few-Shot Financial Reasoners
Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
针对金融问答任务中预训练语言模型推理能力未知的问题，研究发现GPT-3在无需微调的情况下，通过改进提示工程可实现接近SOTA的准确率，但独立检索模型与逻辑引擎仍是达到最优性能的关键。
2023-07-26 cs.AI cs.CL
Comparative Analysis of ChatGPT, GPT-4, and Microsoft Bing Chatbots for GRE Test
Thornton Tomasetti, Inc.（Thornton Tomasetti 公司）；Yarmouk University（耶尔穆克大学）；Ministry of Municipal Affairs（市政事务部）；Jordan University of Science and Technology（约旦科技大学）
本文以GRE为案例，用137道定量推理题和157道语言题比较Bing、ChatGPT与GPT-4，发现GPT-4综合表现最佳，并讨论其备考价值与在线考试公平性。
2024-04-06 cs.AI cs.CL
Understanding AI Evaluation Patterns: How Different GPT Models Assess Vision-Language Descriptions
本文通过分析三种GPT模型对视觉-语言描述的评价行为，揭示其各自的评估个性与系统性偏差，并指出稳健AI评估需引入多样化架构视角。
2025-09-19 cs.AI cs.CL
Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds
SAP Machine Learning Research（SAP机器学习研究院）
自动问题生成的目的是从上下文中生成问题，相应的答案是给定段落的子跨度。然而，大多数方法主要依赖于启发式规则来生成问题，最近还提出了神经网络方法。在这项工作中，我们提出了一个变体的自我注意力Transformer网络架构模型，以产生有意义的和多样化的问题。为此，我们提出了一个易于使用的模型，该模型由Transformer解码器GPT-2模型与Transformer编码器BERT的结合组成，用于问答的下游任务。该模型以端到端的方式被训练，其中语言模型被训练以产生问题-答案感知的输入表示，该输入表示有助于生成答案集中的问题。我们从SQuAD 1.1数据集上的文本生成神经问题的结果表明，我们的方法可以生成语义正确和多样化的问题。此外，我们评估了我们所提出的方法的下游任务的问答的性能。分析表明，我们提出的生成和回答协作框架相对提高了这两个任务，特别是在半监督设置强大。研究结果进一步表明，一个强大的和简洁的管道，促进小数据制度的问题生成。
2019-11-06 cs.AI cs.CL cs.LG
Question-Answering Approach to Evaluating Legal Summaries
University of Pittsburgh（匹兹堡大学）
针对传统法律摘要评估指标忽略论证结构的问题，提出基于GPT-4的问答式评估框架，经检验其评分与人工评分相关，可有效衡量法律摘要质量。
2023-12-18 cs.CL
Evaluating the Potential of Leading Large Language Models in Reasoning Biology Questions
The University of Georgia（佐治亚大学）；Mayo Clinic（梅奥诊所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究评估了GPT-4等五种大语言模型在108道生物学选择题上的表现，发现GPT-4平均分最高（90分）且一致性最好，展示了其在逻辑推理和辅助生物学研究方面的潜力，但仍需进一步验证。
2023-11-05 cs.AI cs.CL
Can ChatGPT Replace Traditional KBQA Models? An In-depth Analysis of the Question Answering Performance of the GPT LLM Family
Southeast University（东南大学）
本文通过CheckList黑盒测试框架，在约19万个测试用例上系统评估GPT LLM家族在八个复杂知识问答数据集上的表现，并与FLAN-T5对比，分析其能否取代传统KBQA模型。
2023-09-20 cs.CL
Anchored Answers: Unravelling Positional Bias in GPT-2's Multiple-Choice Questions
Department of Computing Science, University of Aberdeen, UK（阿伯丁大学计算机科学系）；University of Colorado Anschutz Medical Campus, United States（科罗拉多大学安舒茨医学校区）
本研究利用机械可解释性方法识别GPT-2模型中导致多项选择题锚定偏差的MLP层和注意力头，通过更新值向量与重校准注意力模式实施最小干预，有效缓解了偏差并提升了整体预测准确率。
2025-05-30 cs.AI cs.CL cs.LG
Can GPT Improve the State of Prior Authorization via Guideline Based Automated Question Answering?
inQbator AI at eviCore Healthcare, Evernorth Health Services（Evernorth Health Services旗下的inQbator AI）
该研究将保险预先授权中的资格标准验证建模为基于电子健康记录的问答，提出新型GPT提示方法，加权F1平均达0.61，优于标准提示。
2024-10-25 cs.AI cs.CL cs.LG
Understanding BLOOM: An empirical study on diverse NLP tasks
Fidelity Investments（富达投资）
我们通过最近发布的BLOOM模型的镜头来查看大语言模型（LLM）的前景，以了解BLOOM和其他仅解码器LLM与BERT风格的仅编码器模型相比的性能。我们通过在几个NLP基准数据集和流行排行榜上评估较小的BLOOM模型变体（\textit{350m/560m}和\textit{1b3/1b7}）来实现这一点。我们做了以下观察：（1）与GPT和BERT等其他LLM不同，BLOOM性能不随参数大小而变化。对BLOOM模型进行微调的实验表明，560 m变体的性能与1b 7变体相似或更好，（2）Zero-shot跨语言和多语言微调实验表明，BLOOM与单语言GPT-2模型相当或更差，（3）使用RealToxicityProblems数据集对基于Problems的文本生成进行毒性分析，结果表明，由BLOOM生成的文本至少有17%毒性低于GPT-2和GPT-3模型。
2023-03-15 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam（胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh city, Vietnam（越南国立大学胡志明市分校）
本文针对越南语社区COVID-19问答研究不足的问题，提出GPT-2实现方案，并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Evaluation of GPT-3.5 and GPT-4 for supporting real-world information needs in healthcare delivery
Stanford School of Medicine（斯坦福医学院）；Clinical Excellence Research Center（临床卓越研究中心）；Stanford Health Care（斯坦福医疗保健系统）；Warren Alpert Medical School of Brown University（布朗大学沃伦·阿尔珀特医学院）；Atropos Health（阿特罗波斯健康公司）；University of Ottawa（渥太华大学）；University of California San Francisco（加利福尼亚大学旧金山分校）；Microsoft Corporation（微软公司）；Stanford Human-Centered AI（斯坦福以人为本人工智能中心）
本研究评估GPT-3.5与GPT-4对医疗信息学咨询问题的回复，发现二者无明显伤害但与专业报告一致性不足20%，需进一步优化以满足临床特定信息需求。
2023-05-01 cs.AI cs.CL cs.IR
Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
知识支撑推理。最近的研究表明，当相关的知识作为额外的背景下常识问答（QA），它可以大大提高性能，即使在最先进的。根本的挑战是在哪里以及如何找到这样的知识，是高质量的和点上的问题，从知识库检索的知识是不完整的和知识产生的语言模型是不一致的。我们提出雷尼尔，或强化知识内省，学习生成上下文相关的知识，以响应给定的问题。我们的方法从模仿GPT-3生成的知识开始，然后通过强化学习学习生成自己的知识，其中奖励是根据所产生的问答的性能提高而形成的。Rainier在9个不同的常识基准测试中表现出了实质性和一致的性能提升：包括在模型训练期间看到的5个数据集，以及4个未看到的数据集。我们的工作是第一个报告，由比GPT-3小几个数量级的模型生成的知识，即使没有对知识本身的直接监督，也可以超过GPT-3所产生的常识知识的质量。
2022-10-22 cs.AI cs.CL
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science；Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战，开发特定任务双代理架构，抢答代理用带置信度校准的模型及数值推理策略，加分代理用多种推理整合信息，强调仅托管环境下的高效推理与校准，系统取得高分，证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering
University of California San Francisco（加州大学旧金山分校）；Waymark
本研究引入推理步数（hop count）作为预测大型语言模型在电子健康记录问答中失败的理论驱动指标，发现准确率随步数增加单调下降，且扩展思考未能显著改善，提示组合推理深度是跨架构的失败预测因子。
2026-06-16 cs.AI cs.CL
Heroes, Villains, and Victims, and GPT-3: Automated Extraction of Character Roles Without Training Data
ETH Zurich（苏黎世联邦理工学院）；Cornell University（康奈尔大学）
本文展示了如何在没有训练数据的情况下使用大规模预训练语言模型从叙事文本中提取人物角色。在zero-shot问答提示下，GPT-3可以识别不同领域的英雄、恶棍和受害者：报纸文章、电影情节摘要和政治演讲。
2022-05-17 cs.CL
GPT-4's assessment of its performance in a USMLE-based case study
Youngstown State University（扬斯敦州立大学）；University of Nevada, Reno（内华达大学雷诺分校）；University of Georgia（佐治亚大学）
本研究使用USMLE问题评估GPT-4在医疗应用中的置信度，发现反馈会影响相对置信度但不呈单向增减，为优化AI辅助医疗决策提供了见解。
2024-03-26 cs.AI cs.CL cs.HC
FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs
Vectara, Inc.（Vectara公司）；Iowa State University（爱荷华州立大学）；University of Southern California（南加利福尼亚大学）；Entropy Technologies（熵技术公司）；University of Waterloo（滑铁卢大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文提出FaithBench基准，汇集10个现代LLM的挑战性摘要幻觉并由专家标注，发现GPT-4o和GPT-3.5-Turbo幻觉最少，但现有检测模型准确率仅约50%，揭示改进空间。
2024-10-17 cs.AI cs.CL
Generating Edit-Inducing Questions for AI Research Manuscripts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Adobe Research（Adobe研究院）
本研究比较GPT模型与人类审稿人生成的问题对论文改进的效用，发现GPT问题虽多且覆盖广，但引发编辑的比例较低，并揭示长上下文关注可能削弱推理模型的表现。
2026-10-12 cs.CL
Self-Evolving GPT: A Lifelong Autonomous Experiential Learner
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）
针对大语言模型依赖人工获取应用任务经验的问题，提出基于LLMs的终身自主经验学习框架，通过经验迁移归纳自主积累经验并分类调用，在6个NLP数据集上验证可提升GPT-3.5、GPT-4性能。
2024-07-12 cs.AI cs.CL
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
Is GPT-3 all you need for Visual Question Answering in Cultural Heritage?
University of Florence（佛罗伦萨大学）
本文提出一种基于GPT-3的视觉问答方法，通过运行时生成艺术品描述单，完全避免图像和专家标注过程，并评估了描述生成质量及视觉问答性能。
2023-05-19 cs.CL cs.CV
Automatic Generation of Question Hints for Mathematics Problems using Large Language Models in Educational Technology
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；EvidenceB；Inria Bordeaux（波尔多信息与自动化研究所）
本研究利用大型语言模型作为教师自动生成数学问题提示，发现针对特定错误和基于常见错误的提示最有效，且Llama-3-8B-Instruct作为教师整体优于GPT-4o，同时提示能显著提升模拟学生的自我纠正能力。
2024-11-05 cs.AI cs.CL
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.；Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测，发现思维链提示显著提升清晰度和主题识别准确性，但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
SPARQL Generation with Entity Pre-trained GPT for KG Question Answering
National Institute of Informatics (NII)（国立信息学研究所）
该研究面向知识图谱问答任务，以实体链接正确为前提，提出基于CWA下所有实体预训练GPT模型以生成SPARQL查询，找出了少/零样本下的难点，在3-shots测试中获62.703%的精确匹配准确率。
2024-02-01 cs.AI cs.CL cs.DB
Performance of GPT-5 Frontier Models in Ophthalmology Question Answering
Cleveland Clinic（克利夫兰诊所）；University of Montreal（蒙特利尔大学）；Centre Hospitalier de l'Universite de Montreal（蒙特利尔大学医学中心）；University of Toronto（多伦多大学）；Hopital Maisonneuve-Rosemont（梅松纳夫-罗斯蒙特医院）；Case Western Reserve University（凯斯西储大学）；University College London（伦敦大学学院）；Moorfields Eye Hospital NHS Foundation Trust（莫菲尔德眼科医院 NHS 基金会信托）；Yale University（耶鲁大学）；National University of Singapore（新加坡国立大学）；Singapore Eye Research Institute（新加坡眼科研究所）；Singapore National Eye Centre（新加坡国家眼科中心）；Duke NUS Medical School（杜克-新加坡国立大学医学院）
本研究评估了 GPT-5 系列模型在眼科 BCSC 数据集上的问答表现，发现 GPT-5-high 准确率最高且理由质量最佳，同时引入了可扩展的自动评分框架。
2025-08-14 cs.CL
Beyond Accuracy: Investigating Error Types in GPT-4 Responses to USMLE Questions
IIT Kharagpur（印度理工学院克勒格布尔分校）；University of Michigan（密歇根大学）；L3S Research Center（L3S研究中心）
本文通过构建G4UE数据集并招募医学专家进行细粒度标注，深入调查并分类了GPT-4在回答USMLE问题时约14%错误回答背后的原因，揭示了即使是专业人员也难以辨别导致错误选项的合理化解释。
2024-04-20 cs.CL
SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation
School of Information, Renmin University of China（中国人民大学信息学院）；Singapore Management University（新加坡管理大学）；Zhongguancun Laboratory（中关村实验室）
本文提出SGSH框架，通过自动构建骨架训练数据集并训练BART模型生成骨架启发式，将其编码到提示中刺激GPT-3.5，从而在知识库问题生成任务上取得最先进性能。
2024-04-02 cs.AI cs.CL
Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval
National University of Defense Technology（国防科技大学）
提出基于LLM的文本到SQL框架，通过去语义化提取问题骨架检索相似示例，并建模问题与数据库模式关系，在三个跨领域基准上超越现有模型。
2023-08-31 cs.AI cs.CL
Can Large Language Models Make the Grade? An Empirical Study Evaluating LLMs Ability to Mark Short Answer Questions in K-12 Education
Carousel Learning；Jacobs Foundation（雅各布斯基金会）；Legible Labs
本研究通过Carousel平台的新数据集实证评估了GPT系列模型在K-12教育中批改简答题的能力，发现GPT-4配合基础少样本提示的评分表现（Kappa 0.70）接近人类水平（0.75），表明LLMs可用于支持低风险形成性评估。
2024-05-05 cs.AI cs.CL
Prompting a Large Language Model to Generate Diverse Motivational Messages: A Comparison with Human-Written Messages
National University of Singapore（新加坡国立大学）
本研究验证了将众包任务指令用作LLM提示的效果，通过对比众包作者、采用众包流程的GPT-4及两种基线提示的GPT-4生成的激励信息多样性，发现众包流程提示能让GPT-4产出更多样化的内容。
2023-08-25 cs.CL cs.HC
Evaluating the capability of large language models to personalize science texts for diverse middle-school-age learners
University of Connecticut（康涅狄格大学）
本研究通过随机对照试验（n=23）评估GPT-4个性化中学科学文本的能力，发现与学习者偏好一致的文本显著受偏好（p=.059），证明LLM可有效定制教育内容，推动个性化学习技术发展。
2024-08-09 cs.CL cs.CY cs.HC
GPoeT-2: A GPT-2 Based Poem Generator
Carnegie Mellon University（卡内基梅隆大学）
该项目旨在制作下一卷机器生成的诗歌，这是一种复杂的艺术形式，可以是结构化和非结构化的，并在字里行间传达深度。GPoeT-2基于微调最先进的自然语言模型（即GPT-2）来生成打油诗，通常是由五行组成的幽默结构诗，具有AABBA押韵方案。GPoeT-2采用正向和反向语言建模的两阶段生成系统，能够自由生成不同主题的打油诗，同时遵循押韵结构，没有任何种子短语或后验约束。基于自动生成过程，我们探索了各种各样的评估指标来量化“好诗”，包括句法正确性，词汇多样性和主题连续性。最后，我们提出了一个收集94分类打油诗的高度探索“好诗”的指标，以激发人类的创造力。
2022-05-18 cs.AI cs.CL
API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
Alibaba Group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Shenzhen Intelligent Strong Technology Co., Ltd（深圳智能强科技有限公司）
本文提出API-Bank基准，通过可运行评估系统和训练集系统研究LLMs的工具利用能力，并训练Lynx模型，其性能超过Alpaca超过26个百分点，接近GPT-3.5。
2023-10-25 cs.AI cs.CL
Visconde: Multi-document QA with GPT-3 and Neural Reranking
NeuralMind；Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文提出了一个问答系统，可以回答的问题，其支持的证据是分散在多个（可能很长）的文件。该系统名为Visconde，使用三步管道来执行任务：分解，检索和聚合。第一步使用Few-Shot大语言模型（LLM）将问题分解为更简单的问题。然后，一个国家的最先进的搜索引擎被用来检索候选段落从一个大的集合为每个分解的问题。在最后一步中，我们在Few-Shot设置中使用LLM将段落的内容聚合到最终答案中。该系统在三个数据集上进行评估：IIRC，Qasper和StrategyQA。结果表明，目前的检索器是主要的瓶颈，读者已经在人类的水平，只要提供相关的段落。当模型在回答问题之前被诱导给出解释时，该系统也被证明更有效。代码可在\url{https://github.com/neuralmind-ai/visconde}上获得。
2022-12-19 cs.CL cs.IR
Evaluating GPT-4's Vision Capabilities on Brazilian University Admission Exams
Maritaca AI（Maritaca人工智能）
提出结合文本与视觉的综合框架评估语言模型在巴西大学入学考试ENEM上的表现，发现GPT-4处理复杂多学科问题能力突出，但视觉模型及数学问题仍存挑战。
2023-11-23 cs.AI cs.CL cs.LG
GPT-3-driven pedagogical agents for training children's curious question-asking skills
Inria（法国国家信息与自动化研究所）；EvidenceB；National Chung Hsing University（国立中兴大学）；Microsoft Research（微软研究院）；University of Bordeaux（波尔多大学）
本研究提出利用GPT-3等大型语言模型，通过自然语言提示方法自动生成教学内容，以训练儿童的好奇心提问技能。实验表明该方法具有可扩展性，且开放式提示内容能更有效地提升儿童的提问表现。
2023-05-30 cs.CL cs.HC
Effects of Different Prompts on the Quality of GPT-4 Responses to Dementia Care Questions
University of Pittsburgh（匹兹堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas Health Sciences Center at San Antonio（德克萨斯大学圣安东尼奥健康科学中心）；Dell Medical School, University of Texas at Austin（德克萨斯大学奥斯汀分校戴尔医学院）；School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院）；School of Nursing and School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校护理学院与信息学院）
本研究聚焦痴呆症护理领域，构建含3类组件共12种组合的创新提示词模板，结合3条真实照护问题社交媒体帖子测试GPT-4，通过字数对比和临床专家多维度评分探究提示词对回答质量的影响。
2024-04-05 cs.AI cs.CL cs.HC
Coal Mining Question Answering with LLMs
EDP University of Puerto Rico（波多黎各EDP大学）
针对现有煤矿问答系统难应对技术性动态查询的问题，提出多轮提示工程框架引导LLM作答，实验验证其在准确率和上下文相关性上均有显著提升，为高风险领域问答提供鲁棒方案。
2024-10-03 cs.CL
Elaboration-Generating Commonsense Question Answering at Scale
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Utah（犹他大学）
本文提出交替微调阐述生成器与答案预测器的框架，使不足 GPT-3 参数量0.5%的小模型在四个常识问答基准上优于同规模方法并接近 GPT-3。
2023-07-14 cs.CL
A Comprehensive Evaluation of GPT-4V on Knowledge-Intensive Visual Question Answering
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）
本文从常识知识、细粒度世界知识和具有决策依据的综合知识三个视角全面评估了GPT-4V等MLMs在知识密集型VQA任务上的能力，发现其在处理世界知识时存在严重幻觉，并验证了视觉知识增强训练与提示技术的改进潜力。
2024-08-24 cs.CL
A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ Generation using GPT
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
本文提出多阶段提示方法MSP，结合链式思维提示利用GPT模型生成语言无关的高质量多选题及干扰项，并在多语言自动与人工评估中优于单阶段基线。
2024-01-13 cs.CL
Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models
Monash University（莫纳什大学）
本文提出多轮越狱策略JSP，通过将有害问题拆分为无害片段并诱导模型重构回答，成功绕过安全防护，在5个高级LLMs上平均攻击成功率达93.76%，对GPT-4达92%且具强抗防御能力。
2024-10-15 cs.CL
GPT4GEO: How a Language Model Sees the World's Geography
University of Cambridge（剑桥大学）；University of Göttingen（哥廷根大学）；The University of Hong Kong（香港大学）
本文提出GPT4GEO，通过从事实地理估计到国家轮廓、路线规划和供应链分析的多类实验，系统评估无插件、无联网的GPT-4的地理知识与解释推理能力及局限。
2023-05-30 cs.AI cs.CL cs.LG
Evaluating Prompting Strategies for Chart Question Answering with Large Language Models
Georgia State University, Atlanta GA, USA（佐治亚州立大学）
本文系统评估了四种提示策略在图表问答任务中的表现，发现Few-Shot Chain-of-Thought策略在准确性和格式遵循上表现最佳，为结构化数据推理任务提供了选择提示策略的指导。
2026-03-03 cs.AI cs.CL cs.LG
Hey GPT, Can You be More Racist? Analysis from Crowdsourced Attempts to Elicit Biased Content from Generative AI
Penn State University（宾夕法尼亚州立大学）；IBM Research（IBM研究院）
通过大学竞赛众包收集非专家用户诱导GenAI偏见的提示，定量与定性分析揭示了多样的偏见类型和诱导策略，为理解非专家用户与生成式AI偏见互动提供了独特见解。
2024-10-20 cs.AI cs.CL cs.HC
Assessing Large Language Models in Mechanical Engineering Education: A Study on Mechanics-Focused Conceptual Understanding
University of Georgia（佐治亚大学）；Tongji University（同济大学）
该研究用126道力学多选题评估GPT-3.5、GPT-4和Claude-2.1，发现GPT-4总体优于其他模型及人类群体，解释型提示能显著提升表现。
2024-01-13 cs.AI cs.CL physics.ed-ph
QASiNa: Religious Domain Question Answering using Sirah Nabawiyah
Bandung Institute of Technology（万隆理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出QASiNa数据集，基于印尼语西拉·纳巴维耶文献，微调mBERT、XLM-R和IndoBERT，发现XLM-R最佳，且Chat GPT在宗教问答中表现不佳。
2023-10-12 cs.CL
Large Language Models' Understanding of Math: Source Criticism and Extrapolation
Huawei Hong Kong Research Center（华为香港研究中心）；The Chinese University of Hong Kong（香港中文大学）
本研究通过设计网上无现成证明的数学题，批判性评估GPT-4的数学理解，发现其仅能复现已知证明而非真正理解概念，且能力随时间扩展，质疑其用于定理证明的价值。
2023-11-12 cs.AI cs.CL cs.LG
Dubo-SQL: Diverse Retrieval-Augmented Generation and Fine Tuning for Text-to-SQL
Mercator Technologies（墨卡托科技）
Dubo-SQL通过低成本微调、多样化RAG及新输入输出格式，在BIRD-SQL上以GPT-3.5 Turbo超越GPT-4模型，并推出v2进一步提升性能。
2024-04-19 cs.CL cs.DB
