Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science；Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战，开发特定任务双代理架构，抢答代理用带置信度校准的模型及数值推理策略，加分代理用多种推理整合信息，强调仅托管环境下的高效推理与校准，系统取得高分，证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
Can GPT Improve the State of Prior Authorization via Guideline Based Automated Question Answering?
inQbator AI at eviCore Healthcare, Evernorth Health Services（Evernorth Health Services旗下的inQbator AI）
该研究将保险预先授权中的资格标准验证建模为基于电子健康记录的问答，提出新型GPT提示方法，加权F1平均达0.61，优于标准提示。
2024-10-25 cs.AI cs.CL cs.LG
Thrilled by Your Progress! Large Language Models (GPT-4) No Longer Struggle to Pass Assessments in Higher Education Programming Courses
Carnegie Mellon University（卡内基梅隆大学）
本研究对比多代GPT模型在三门高等教育Python课程共599道不同类型考核题中的表现，发现GPT-4已能无需人类参与稳妥通过考核，指出其仍有局限但提升迅速，为教育者调整考核设计、更新课程提供依据。
2023-06-15 cs.AI cs.CL cs.CY
Anchored Answers: Unravelling Positional Bias in GPT-2's Multiple-Choice Questions
Department of Computing Science, University of Aberdeen, UK（阿伯丁大学计算机科学系）；University of Colorado Anschutz Medical Campus, United States（科罗拉多大学安舒茨医学校区）
本研究利用机械可解释性方法识别GPT-2模型中导致多项选择题锚定偏差的MLP层和注意力头，通过更新值向量与重校准注意力模式实施最小干预，有效缓解了偏差并提升了整体预测准确率。
2025-05-30 cs.AI cs.CL cs.LG
Evaluating Students' Open-ended Written Responses with LLMs: Using the RAG Framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large
University of Turku（图尔库大学）；University of Tartu（塔尔图大学）
本文利用RAG框架比较GPT-3.5、GPT-4、Claude-3和Mistral-Large在两种温度下重复评分大学生开放式回答的表现，发现其一致性与评分结果存在明显差异。
2024-05-08 cs.AI cs.CL
Can Large Language Models Make the Grade? An Empirical Study Evaluating LLMs Ability to Mark Short Answer Questions in K-12 Education
Carousel Learning；Jacobs Foundation（雅各布斯基金会）；Legible Labs
本研究通过Carousel平台的新数据集实证评估了GPT系列模型在K-12教育中批改简答题的能力，发现GPT-4配合基础少样本提示的评分表现（Kappa 0.70）接近人类水平（0.75），表明LLMs可用于支持低风险形成性评估。
2024-05-05 cs.AI cs.CL
Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
知识支撑推理。最近的研究表明，当相关的知识作为额外的背景下常识问答（QA），它可以大大提高性能，即使在最先进的。根本的挑战是在哪里以及如何找到这样的知识，是高质量的和点上的问题，从知识库检索的知识是不完整的和知识产生的语言模型是不一致的。我们提出雷尼尔，或强化知识内省，学习生成上下文相关的知识，以响应给定的问题。我们的方法从模仿GPT-3生成的知识开始，然后通过强化学习学习生成自己的知识，其中奖励是根据所产生的问答的性能提高而形成的。Rainier在9个不同的常识基准测试中表现出了实质性和一致的性能提升：包括在模型训练期间看到的5个数据集，以及4个未看到的数据集。我们的工作是第一个报告，由比GPT-3小几个数量级的模型生成的知识，即使没有对知识本身的直接监督，也可以超过GPT-3所产生的常识知识的质量。
2022-10-22 cs.AI cs.CL
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology（伊斯兰理工大学）；University of California, Riverside（加州大学河滨分校）
本文通过UWMP数据集和GPT模型API实验，评估提示方法对GPT在不可解答数学应用题中有效弃权（不执行）的作用，揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering
University of California San Francisco（加州大学旧金山分校）；Waymark
本研究引入推理步数（hop count）作为预测大型语言模型在电子健康记录问答中失败的理论驱动指标，发现准确率随步数增加单调下降，且扩展思考未能显著改善，提示组合推理深度是跨架构的失败预测因子。
2026-06-16 cs.AI cs.CL
Capabilities of GPT-5 on Multimodal Medical Reasoning
Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine（放射肿瘤科、Winship癌症研究所、埃默里大学医学院）
本研究将GPT-5作为通用多模态推理器，在多个医学问答基准上评估其零样本思维链性能，发现其在多模态推理任务中显著超越GPT-4o及人类专家，达到最先进水平。
2025-08-13 cs.AI cs.CL
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.；Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测，发现思维链提示显著提升清晰度和主题识别准确性，但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
Comparative Analysis of Drug-GPT and ChatGPT LLMs for Healthcare Insights: Evaluating Accuracy and Relevance in Patient and HCP Contexts
本研究在医疗问答场景下比较了 Drug-GPT 3、Drug-GPT 4 和 ChatGPT，发现基于患者和 HCP 社交媒体精选数据集的 Drug-GPT 模型比特通用 ChatGPT 提供更具针对性和深度的见解。
2023-07-24 cs.AI cs.CL
Split and Merge: Aligning Position Biases in LLM-based Evaluators
Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
针对基于大语言模型的评估器存在的位置偏差问题，提出轻量对齐系统PORTIA，通过拆分、对齐、合并答案片段校准偏差，显著提升评估一致性与成本效益。
2024-12-09 cs.AI cs.CL
Assessing GPT4-V on Structured Reasoning Tasks
Microsoft（微软）
该研究针对结构化推理任务，对GPT-4V及五个基线模型开展提示词评估，验证视觉思维链可显著提升模型性能，并分类分析了多模态推理的优劣场景与现存挑战。
2023-12-13 cs.AI cs.CL cs.CV
The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）
提出CCoT提示方法，并在GPT-3.5、GPT-4的MCQA基准上验证其可显著缩短回答、降低每token成本且总体保持性能。
2024-10-19 cs.AI cs.CL
SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery
National University of Singapore（新加坡国立大学）；University College London（伦敦大学学院）；National Institute of Technology, Tiruchirappalli（蒂鲁吉拉伯利国立理工学院）；Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering, Chinese University of Hong Kong（香港中文大学信兴高等工程研究所）
本研究针对GPT无法原生处理视觉信息的问题，提出可端到端训练的LV-GPT模型，通过扩展GPT2加入视觉模块并优化令牌排序，在多个手术VQA数据集上性能超越现有最优模型，还补充了问题类型标注并分析了相关模块影响。
2023-07-22 cs.AI cs.CV eess.IV
Evaluating Large Language Models in Ophthalmology
Mayo Clinic（梅奥诊所）；the First Affiliated Hospital of Nanchang University（南昌大学第一附属医院）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；Eye Institute of Xiamen University（厦门大学眼科研究所）
本研究通过100道眼科学单选题测试对比三类LLM与不同水平医学从业者的表现，发现GPT-4表现达主治医师水平且稳定性和置信度更优，为LLM在眼科医学教育与临床决策的应用提供参考。
2023-11-07 cs.AI cs.CL
Axiomatic Preference Modeling for Longform Question Answering
Microsoft Research（微软研究院）
本文提出公理化偏好建模框架，通过原则驱动生成偏好信号训练约220M参数模型，使其在长文答案评分上与人类标签一致性超过 GPT-4。
2023-12-02 cs.AI cs.CL
Realizing Visual Question Answering for Education: GPT-4V as a Multimodal AI
AI4STEM Education Center（AI4STEM教育中心）；University of Georgia（佐治亚大学）
该立场论文提出GPT-4V可推动教育领域视觉问答（VQA）的落地，梳理VQA技术发展与教育领域图像分析应用，演示GPT-4V的教育研究用法并探讨未来启示，为教育研究方法提供新参考。
2024-05-12 cs.AI physics.ed-ph
Q-Pain: A Question Answering Dataset to Measure Social Bias in Pain Management
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
自然语言处理（NLP）的最新进展，特别是自动化问答（QA）系统，已经证明了令人印象深刻的语言流畅性和反映社会偏见的有害趋势。在这项研究中，我们介绍了Q-Pain，这是一个用于评估疼痛管理背景下医疗QA偏差的数据集，疼痛管理是临床决策中最具挑战性的形式之一。随着数据集，我们提出了一个新的，严格的框架，包括一个样本实验设计，以衡量潜在的偏见时，作出治疗决定。我们通过评估两个参考人工智能系统GPT-2和GPT-3来展示其使用，并发现交叉种族-性别亚组之间的治疗存在统计学显著差异，从而重申了人工智能在医疗环境中带来的风险，以及在部署医疗人工智能应用程序之前需要像我们这样的数据集来确保安全性。
2021-08-03 cs.AI cs.CL
ArabIcros: AI-Powered Arabic Crossword Puzzle Generation for Educational Applications
University of Siena（锡耶纳大学）
本研究推出首个AI驱动的阿拉伯语填字游戏生成系统ArabIcros，基于5万余条线索-答案对数据集，结合多类大模型与微调、少/零样本学习及质量校验生成高质量填字内容，可作为教育工具助力语言学习，推动AI与教育交叉领域发展。
2024-01-26 cs.AI cs.CL
Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, and LLaMA
Northwestern University（西北大学）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文通过MMMLU基准测试，评估了不同语调提示对GPT、Gemini和LLaMA模型在STEM和人文领域任务中的准确性影响，发现礼貌性提示在部分人文任务中显著提升性能，但整体上现代LLMs对语调变化具有鲁棒性。
2026-03-27 cs.AI cs.CL
Question Answering on Patient Medical Records with Private Fine-Tuned LLMs
Stanford University（斯坦福大学）；Genloop Labs, Inc.（Genloop实验室公司）
针对病历语义问答，提出先检索相关FHIR资源再回答的两阶段方法，私有微调LLM虽小250倍但在F1和Meteor上超越GPT-4，并探讨了顺序微调、自评估及数据规模影响。
2025-01-23 cs.AI cs.CL
SPARQL Generation with Entity Pre-trained GPT for KG Question Answering
National Institute of Informatics (NII)（国立信息学研究所）
该研究面向知识图谱问答任务，以实体链接正确为前提，提出基于CWA下所有实体预训练GPT模型以生成SPARQL查询，找出了少/零样本下的难点，在3-shots测试中获62.703%的精确匹配准确率。
2024-02-01 cs.AI cs.CL cs.DB
Comparing the Performance of LLMs in RAG-based Question-Answering: A Case Study in Computer Science Literature
University of Moratuwa（穆塔瓦大学）
本研究比较了四个开源LLM与GPT-3.5在RAG支持下于计算机科学文献问答任务中的表现，发现GPT-3.5和Mistral-7b-instruct表现最佳，同时分析了各模型在准确率、排名和延迟上的差异，证明开源LLM可与专有模型竞争。
2025-11-05 cs.AI cs.CL
Quality of Answers of Generative Large Language Models vs Peer Patients for Interpreting Lab Test Results for Lay Patients: Evaluation Study
School of Information, Florida State University（佛罗里达州立大学信息学院）；National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）；Morsani College of Medicine, University of South Florida（南佛罗里达大学莫尔萨尼医学院）
本研究评估了GPT-4等四个大型语言模型解答患者实验室检查问题的质量，发现GPT-4在相关性、正确性、有用性和安全性上优于其他模型及人类回答，但仍存在个性化不足等问题，并提出了改进方法。
2024-01-23 cs.AI cs.CL
GPT-5 Model Corrected GPT-4V's Chart Reading Errors, Not Prompting
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Ohio State University（俄亥俄州立大学）
本研究通过107个可视化问题比较GPT-5和GPT-4V，发现模型架构而非提示工程主导图表读取准确性，GPT-5显著提升性能。
2025-10-08 cs.CL cs.CV cs.HC
LLMs Struggle with Abstract Meaning Comprehension More Than Expected
Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）
研究发现大语言模型在零样本、一样本和少样本设置下难以理解抽象意义，而微调模型如BERT和RoBERTa表现更好，提出的双向注意力分类器通过动态关注段落和选项提升模型性能。
2026-04-13 cs.AI cs.CL
Coal Mining Question Answering with LLMs
EDP University of Puerto Rico（波多黎各EDP大学）
针对现有煤矿问答系统难应对技术性动态查询的问题，提出多轮提示工程框架引导LLM作答，实验验证其在准确率和上下文相关性上均有显著提升，为高风险领域问答提供鲁棒方案。
2024-10-03 cs.CL
Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately
本研究通过微调大型语言模型并结合检索增强生成，在金融数据集上显著提升了问答与信息提取的准确性。
2024-01-27 cs.AI cs.CL
Heroes, Villains, and Victims, and GPT-3: Automated Extraction of Character Roles Without Training Data
ETH Zurich（苏黎世联邦理工学院）；Cornell University（康奈尔大学）
本文展示了如何在没有训练数据的情况下使用大规模预训练语言模型从叙事文本中提取人物角色。在zero-shot问答提示下，GPT-3可以识别不同领域的英雄、恶棍和受害者：报纸文章、电影情节摘要和政治演讲。
2022-05-17 cs.CL
Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis
Colorado School of Mines（科罗拉多矿业学院）
本研究评估了四种大型语言模型在图数据分析上的能力，采用理解力、正确性、保真度和纠正能力四项指标，发现LLMs能理解图数据但结构推理受限，GPT模型正确性更优但多答案保真度存疑，且GPT-4具备纠正先前版本回复的能力。
2023-09-09 cs.AI cs.CL
GPT-4 as an Agronomist Assistant? Answering Agriculture Exams Using Large Language Models
Microsoft Research（微软研究院）
本研究评估 GPT-4 等大型语言模型在农业考试中的表现，结合 RAG 和 ER 技术，发现 GPT-4 以 93% 正确率通过农艺师认证续期考试，并优于人类，可用于农业教育和作物管理。
2023-10-12 cs.AI cs.LG
In-Context Learning for Long-Context Sentiment Analysis on Infrastructure Project Opinions
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本研究在零样本和少样本场景下评估了GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro在基础设施项目长上下文情感分析中的表现，发现Claude 3.5 Sonnet整体更优且擅长处理复杂情感，而GPT-4o在简单任务和少样本稳定性上更具优势。
2024-10-15 cs.AI cs.CL
Failure to Mix: Large language models struggle to answer according to desired probability distributions
Biostate AI
针对科学探索需遵循目标概率分布而现有LLM训练抑制该能力的问题，通过系统性实验发现现代LLMs均无法遵循简单概率分布，其阶跃函数式行为会覆盖内置偏差，为LLM概率探索能力研究提供实证依据。
2025-11-18 cs.AI cs.LG
OPENXRD: A Comprehensive Benchmark Framework for LLM/MLLM XRD Question Answering
OPENXRD是一个用于评估LLM和MLLM在晶体学问答中性能的综合基准框架，通过专家审核材料验证内容质量对模型性能的关键影响。
2026-03-10 cs.AI cs.CL
WebGPT: Browser-assisted question-answering with human feedback
OpenAI（开放人工智能研究中心）
我们对GPT-3进行了微调，以使用基于文本的Web浏览环境来回答长形式的问题，该环境允许模型搜索和导航Web。通过设置任务，使其可以由人类执行，我们能够使用模仿学习对任务进行训练模型，然后通过人类反馈优化答案质量。为了使人类更容易评估事实的准确性，模型必须在浏览时收集参考文献以支持其答案。我们在ELI5上对模型进行训练和评估，ELI5是Reddit用户提问的数据集。我们的最佳模型是通过使用行为克隆微调GPT-3，然后对经过训练以预测人类偏好的奖励模型执行拒绝采样来获得的。这个模型的答案在56%的情况下比我们的人类演示者的答案更受人类的青睐，在69%的情况下比Reddit上投票最高的答案更受人类的青睐。
2022-06-01 cs.AI cs.CL cs.LG
Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness
Cleanlab；University of Maryland（马里兰大学）
本研究提出BSDetector方法，为黑盒LLM的输出估计置信度以检测错误答案，在问答基准上表现优于现有方法，还能通过选高置信度响应提升答案准确性，并增强LLM自动评估的可靠性。
2023-10-04 cs.AI cs.CL
Diminished Diversity-of-Thought in a Standard Large Language Model
MIT（麻省理工学院）；London School of Economics（伦敦政治经济学院）；CVS Health（CVS健康公司）
本研究测试GPT3.5模拟社会科学人类参与者的能力，发现其因“正确答案”效应导致回答缺乏多样性，对LLMs替代人类参与者的有效性提出质疑，并担忧AI主导的未来思维多样性将减弱。
2023-09-13 cs.AI cs.CL cs.HC
Show, Don't Tell: Evaluating Large Language Models Beyond Textual Understanding with ChildPlay
Stratingh Institute for Chemistry, University of Groningen（格罗宁根大学斯特拉丁化学研究所）
本研究提出ChildPlay基准，用ASCII游戏测试GPT系列模型在策略与空间推理上的泛化，发现其表现普遍不佳，尤其处理分子图时，质疑了涌现智能的说法。
2025-02-27 cs.AI cs.CL
GPTs and Language Barrier: A Cross-Lingual Legal QA Examination
National Institute of Informatics（信息学国立研究院）；Tokyo Institute of Technology（东京工业大学）
本文探讨GPTs在跨语言法律问答中的应用，通过基准测试英语和日语提示与数据的四种组合，为GPTs在多语言法律QA场景中的表现提供见解，助力开发更高效准确的跨语言法律QA解决方案。
2024-03-26 cs.AI cs.CL
Visconde: Multi-document QA with GPT-3 and Neural Reranking
NeuralMind；Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文提出了一个问答系统，可以回答的问题，其支持的证据是分散在多个（可能很长）的文件。该系统名为Visconde，使用三步管道来执行任务：分解，检索和聚合。第一步使用Few-Shot大语言模型（LLM）将问题分解为更简单的问题。然后，一个国家的最先进的搜索引擎被用来检索候选段落从一个大的集合为每个分解的问题。在最后一步中，我们在Few-Shot设置中使用LLM将段落的内容聚合到最终答案中。该系统在三个数据集上进行评估：IIRC，Qasper和StrategyQA。结果表明，目前的检索器是主要的瓶颈，读者已经在人类的水平，只要提供相关的段落。当模型在回答问题之前被诱导给出解释时，该系统也被证明更有效。代码可在\url{https://github.com/neuralmind-ai/visconde}上获得。
2022-12-19 cs.CL cs.IR
IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
Huawei Poisson Lab（华为泊松实验室）
本文提出归纳增强生成框架IAG，利用LLM基于归纳推理模式推导知识以增强隐式推理问答，并通过知识蒸馏训练学生归纳器摆脱对GPT的依赖，在CSQA2.0和StrategyQA上取得第一。
2023-11-30 cs.CL
Gpt-4: A Review on Advancements and Opportunities in Natural Language Processing
OpenAI（开放人工智能公司）
本文综述GPT-4的特性、应用与挑战，对比其与GPT-3的差异，指出其规模更大、多语言及推理能力更强，同时点明其面临的计算、数据与伦理局限。
2023-05-04 cs.AI cs.CL cs.CY
Inductive reasoning in humans and large language models
University of Melbourne（墨尔本大学）
本研究通过将GPT-3.5和GPT-4应用于人类属性归纳任务，发现GPT-4在多数情况下能定性匹配人类表现，并提供了两个用于人机智能比较的大型基准数据集。
2023-08-04 cs.AI cs.CL
Experimental results from applying GPT-4 to an unpublished formal language
本文探究GPT-4能否完成传统数学任务，通过提供未发表形式系统的自然语言规范让其执行定义、证明与验证等任务，结果表明GPT-4成功完成所有任务并展现出泛化与推理能力。
2023-05-20 cs.CL cs.LO math.LO
Evaluating Prompting Strategies for Chart Question Answering with Large Language Models
Georgia State University, Atlanta GA, USA（佐治亚州立大学）
本文系统评估了四种提示策略在图表问答任务中的表现，发现Few-Shot Chain-of-Thought策略在准确性和格式遵循上表现最佳，为结构化数据推理任务提供了选择提示策略的指导。
2026-03-03 cs.AI cs.CL cs.LG
Enhancing Answer Reliability Through Inter-Model Consensus of Large Language Models
本研究提出多大型语言模型协作框架，通过统计检验量化模型间共识，发现Claude和GPT-4生成问题质量更高，协作交互可提升答案可靠性。
2025-02-24 cs.AI cs.CL
Generating Rationales in Visual Question Answering
UC San Diego（加州大学圣地亚哥分校）
尽管近年来在视觉推理（VQA）方面取得了一些进展，但要确定成功在多大程度上归因于良好的推理和理解能力仍然是一个挑战。本质上，我们的任务是为VQA模型预测的答案生成理论依据。我们使用来自视觉常识推理（VCR）任务的数据，因为它包含了地面真理推理以及视觉问题和答案。我们首先研究了领先的VCR模型之一ViLBERT中的常识性理解，通过使用最先进的语言模型GPT-2从预训练的权重生成基本原理。接下来，我们试图以端到端的方式联合训练ViLBERT和GPT-2，同时完成预测VQA中的答案和生成理由的双重任务。我们认为这种培训通过定量和定性的评价指标在VQA模型中注入了常识理解
2020-04-04 cs.AI cs.CL cs.CV
Reformulating Domain Adaptation of Large Language Models as Adapt-Retrieve-Revise: A Case Study on Chinese Legal Domain
Kyoto University（京都大学）；Alibaba Health（阿里健康）；Alibaba Quark（阿里夸克）
本文提出一种 adapt-retrieve-revised 框架，通过小模型生成草稿、检索外部证据并由 GPT-4 修订，有效解决大模型在特定领域的幻觉问题，在中国法律任务上显著提升准确率。
2024-08-26 cs.CL
Efficient Medical Question Answering with Knowledge-Augmented Question Generation
Raidium；Hôpital européen Georges Pompidou（欧洲乔治·蓬皮杜医院）；AP-HP（巴黎公共医疗集团）；Université Paris-Cité（巴黎城市大学）
本研究提出双重微调策略，结合医学教科书与GPT-4生成的知识增强问题，提升小型语言模型在医学问答上的性能，并引入ECN-QA数据集验证其有效性。
2024-05-23 cs.AI cs.CL
Can GPT-3 Perform Statutory Reasoning?
University of Maryland School of Law（马里兰大学法学院）；Télécom Paris Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文探讨 GPT-3 在成文法推理任务上的能力，使用 SARA 数据集测试多种提示方法，虽优于先前结果，但在简单合成成文法上表现不佳，揭示其推理局限。
2023-05-10 cs.AI cs.CL
Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks
University of Regensburg（雷根斯堡大学）
本研究评估GPT-3.5-Turbo与GPT-4在BioASQ 2023生物医学任务的零样本表现，发现其生成任务性能优异、检索任务有提升但不及专用系统，并公开了实验代码。
2023-07-24 cs.CL
Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics
Mayo Clinic（梅奥诊所）；The University of Georgia（佐治亚大学）；Massachusetts General Hospital（马萨诸塞州综合医院）
本研究首次评估了大型语言模型在放射肿瘤物理学领域的表现，发现ChatGPT (GPT-4)平均表现优于医学物理学家，展现出作为专家助手的巨大潜力。
2023-04-01 cs.CL physics.ed-ph physics.med-ph
