What GPT Knows About Who is Who
Institute for Applied Computational Science（应用计算科学研究所）；Harvard University（哈佛大学）
共指消解是理解语篇和语言的一项重要任务，但它还没有从大语言模型（LLM）中得到广泛的好处。此外，共指消解系统很大程度上依赖于监督标签，这是非常昂贵的，难以注释，从而使其成熟的提示工程。在本文中，我们介绍了一种基于QA的并行工程方法和识别\textit{generative}，预训练LLM的能力和限制的共指消解的任务。我们的实验表明，GPT-2和GPT-Neo可以返回有效的答案，但他们的能力，以确定coreferent提到是有限的和不敏感的，导致不一致的结果。
2022-05-16 cs.CL cs.LG
LLM-dCache: Improving Tool-Augmented LLMs with GPT-Driven Localized Data Caching
Microsoft Corporation（微软公司）；Southern Illinois University（南伊利诺伊大学）；University of Pittsburgh（匹兹堡大学）
本文提出LLM-dCache，将缓存操作作为可调用API暴露给工具增强型智能体，赋予LLMs通过提示自主管理缓存决策的能力，在工业级平台上将Copilot时间平均提升1.24倍。
2024-09-21 cs.CL cs.DC
GPT and Prejudice: A Sparse Approach to Understanding Learned Representations in Large Language Models
HTW Berlin University of Applied Sciences（柏林应用科学大学）
针对大语言模型偏见溯源难的问题，提出结合LLM与稀疏自编码器的流水线，通过小说语料训练的GPT风格模型验证，该方法可追踪训练中主题编码过程，为审计模型表征中的文化假设提供可扩展框架。
2025-11-13 cs.AI cs.CL cs.LG
Credit C-GPT: A Domain-Specialized Large Language Model for Conversational Understanding in Vietnamese Debt Collection
Credit C-GPT是一种针对越南债务催收场景优化的领域专用大语言模型，通过整合多任务对话智能，提升对话理解、情感识别和意图检测等能力，为企业呼叫中心提供实时帮助和分析解决方案。
2026-01-15 cs.CL
Understanding BLOOM: An empirical study on diverse NLP tasks
Fidelity Investments（富达投资）
我们通过最近发布的BLOOM模型的镜头来查看大语言模型（LLM）的前景，以了解BLOOM和其他仅解码器LLM与BERT风格的仅编码器模型相比的性能。我们通过在几个NLP基准数据集和流行排行榜上评估较小的BLOOM模型变体（\textit{350m/560m}和\textit{1b3/1b7}）来实现这一点。我们做了以下观察：（1）与GPT和BERT等其他LLM不同，BLOOM性能不随参数大小而变化。对BLOOM模型进行微调的实验表明，560 m变体的性能与1b 7变体相似或更好，（2）Zero-shot跨语言和多语言微调实验表明，BLOOM与单语言GPT-2模型相当或更差，（3）使用RealToxicityProblems数据集对基于Problems的文本生成进行毒性分析，结果表明，由BLOOM生成的文本至少有17%毒性低于GPT-2和GPT-3模型。
2023-03-15 cs.CL
Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4
McGill University（麦吉尔大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Pennsylvania（宾夕法尼亚大学）；European University Institute（欧洲大学研究院）
本文研究错误信息检测的可靠性问题，提出利用GPT-4及不确定性处理技术提升跨语言泛化能力，并发布LIAR-New数据集，为构建实用工具奠定基础。
2023-10-31 cs.CL cs.LG
On Training Data Influence of GPT Models
Baidu Inc.（百度公司）；Sun Yat-sen University（中山大学）；University of Copenhagen（哥本哈根大学）
本文提出GPTfluence方法，通过特征化模拟训练动态来评估训练数据对GPT模型的影响，在1400万至28亿参数模型上验证了其对未见数据的鲁棒泛化能力。
2024-10-03 cs.CL cs.LG
GPT-Neo for commonsense reasoning -- a theoretical and practical lens
Bangalore Institute of Technology（班加罗尔理工学院）
本文在 6 个常识推理基准上评估微调后的 GPT-neo，通过与大型模型基线比较、注意力头可视化及多场景鲁棒性测试，验证较小模型也能取得有竞争力的表现。
2023-09-27 cs.CL cs.LG
The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
Microsoft Corporation（微软公司）
本文初步探索GPT-4V(ision)的能力，通过精心设计的定性样本分析其处理交错多模态输入和视觉标记的通用性，并讨论应用场景与未来研究方向。
2023-10-11 cs.CL cs.CV
Show, Don't Tell: Evaluating Large Language Models Beyond Textual Understanding with ChildPlay
Stratingh Institute for Chemistry, University of Groningen（格罗宁根大学斯特拉丁化学研究所）
本研究提出ChildPlay基准，用ASCII游戏测试GPT系列模型在策略与空间推理上的泛化，发现其表现普遍不佳，尤其处理分子图时，质疑了涌现智能的说法。
2025-02-27 cs.AI cs.CL
Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers
Peking University（北京大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出语言模型作为元优化器，将上下文学习视为隐式微调，通过理论证明注意力与梯度下降的对偶关系，并实验验证其与显式微调相似，进而设计动量注意力以提升性能。
2023-05-15 cs.CL
Questionnaires for Everyone: Streamlining Cross-Cultural Questionnaire Adaptation with GPT-Based Translation Quality Evaluation
Aalto University（阿尔托大学）
研究提出一款结合DeepL前向-后向翻译与GPT-4质量评估的原型工具，帮助用户独立完成问卷跨语言翻译，效果媲美传统多译员方法，促进跨文化研究的公平性。
2024-07-30 cs.CL cs.HC
Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams
University of São Paulo (USP)（圣保罗大学）；University of San Francisco (USF)（旧金山大学）；Maritaca AI（Maritaca人工智能公司）；NeuralMind（NeuralMind公司）；State University of Campinas (UNICAMP)（坎皮纳斯州立大学）
本研究旨在探讨语言模型（LMs）在解决高风险的多项选择题测试，在这里代表的考试全国做Ensino Médio（ENEM），多学科的入学考试广泛采用巴西大学的能力。这项考试对LM提出了挑战性的任务，因为它的问题可能涉及多个知识领域，需要理解来自不同领域的信息。例如，一个问题可能需要同时理解统计学和生物学才能解决。这项工作分析了GPT-3.5和GPT-4模型对2009-2017年考试中提出的问题以及2022年考试中的问题产生的响应，这些问题在模型训练完成后公开。此外，不同的提示策略进行了测试，包括使用的思想链（CoT）提示，以产生答案的解释。在2022年版本中，表现最好的模型GPT-4与CoT的准确率达到87%，大大超过GPT-3.5 11分。用于实验的代码和数据可在https://github.com/piresramon/gpt-4-enem上获得。
2023-03-29 cs.AI cs.CL cs.LG
A Multi-agent Large Language Model Framework to Automatically Assess Performance of a Clinical AI Triage Tool
Thomas Jefferson University（托马斯杰斐逊大学）；Weil-Cornell Medical Center（威尔康奈尔医学中心）；The Ohio State University（俄亥俄州立大学）；The Jackson Lab（杰克逊实验室）；Unity Health（联合健康）
目的：本研究的目的是确定多个LLM代理的集合是否可以共同使用，以提供比单个LLM更可靠的基于像素的AI分类工具的评估。方法：通过商业颅内出血（ICH）AI检测工具处理来自14家医院的29，766例非造影CT头部检查。通过8个开源LLM模型和符合HIPAA的GPT-4 o内部版本的集合分析放射学报告，使用单次多次激发提示评估ICH的存在。1，726例样本进行了人工审查。八个开源模型和共识的性能特征与GPT-4 o进行了比较。三个理想的共识LLM合奏进行了测试，评级的分流工具的性能。结果：该队列由29，766个头部CT检查报告对组成。使用大羊驼3.3：70 b和GPT-40实现了最高AUC性能（AUC= 0.78）。Llama3.3：70 b和GPT-4 o的平均精度最高（AP=0.75和0.76）。Llama3.3：70 b具有最高的F1评分（0.81）和召回率（0.85），更高的精确度（0.78），特异度（0.72）和MCC（0.57）。使用MCC（95%CI），LLM的理想组合为：全9 EnligHTN 0.571（0.552-0.591）、Top-3 EnligHTN 0.558（0.537-0.579）、共识0.556（0.539-0.574）和GPT 40 0.522（0.500-0.543）。Top-3、Full-9和Consensus之间未观察到统计学显著差异（p > …
2025-10-30 cs.CL
Beyond Scale: Small Language Models are Comparable to GPT-4 in Mental Health Understanding
University of Melbourne（墨尔本大学）；University of Auckland（奥克兰大学）；RMIT University（皇家墨尔本理工学院）
本文系统评估了小型语言模型在六项心理健康理解任务上的表现，发现其零样本性能与大型模型相差不到2%，少样本提示可带来高达14.6%的提升，证明了其作为隐私保护型可扩展心理健康筛查工具的潜力。
2025-07-14 cs.CL
Assessing Discourse Relations in Language Generation from GPT-2
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP的最新进展归功于大规模预训练语言模型的出现。特别是GPT-2，由于其从左到右的语言建模目标，它适合于生成任务，但其生成的文本的语言质量在很大程度上仍未被探索。我们的工作在理解GPT-2的输出语篇连贯性方面迈出了一步。我们对GPT-2在有机生成和微调情景下输出的显性话语关系的有效性进行了全面的研究。结果表明，GPT-2并不总是生成包含有效的话语关系的文本，然而，它的文本是更符合人类的期望在微调的情况下。我们提出了一个解耦的策略，以减轻这些问题，并强调显式建模话语信息的重要性。
2020-10-31 cs.CL
The Hidden Structure -- Improving Legal Document Understanding Through Explicit Text Formatting
Osborne Clarke（奥斯本·克劳克）
本研究探究输入文本结构与提示工程对LLM法律问答表现的影响，发现合理的输入结构化与系统提示优化可显著提升GPT-4.1的法律任务准确率，验证了格式与提示设计对高风险法律场景LLM应用的关键作用。
2025-05-19 cs.AI cs.CL
Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions
本研究对比GPT-3.5与GPT-4在九年级数学定制试题命制中的表现，通过迭代调整、GPT-4当教师GPT-3.5当学生的设置模拟主动学习，发现GPT-4出题能力更优，且能提升GPT-3.5的解题能力，为AI赋能个性化教育提供参考。
2024-06-20 cs.AI cs.CL cs.LG
NExT-GPT: Any-to-Any Multimodal LLM
NExT++ Research Center（NExT++研究中心）；National University of Singapore（新加坡国立大学）
NExT-GPT提出端到端任意到任意多模态LLM，连接LLM与扩散解码器，以1%参数微调实现文本、图像、视频、音频的输入输出，并引入模态切换指令微调，推动通用模态AI代理发展。
2024-06-25 cs.AI cs.CL cs.LG
GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
发现密码聊天可绕过LLMs安全对齐，提出CipherChat框架评估多语言多领域安全性，并设计SelfCipher激发模型内在加密能力，揭示非自然语言安全对齐的必要性。
2024-03-26 cs.CL
API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
Alibaba Group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Shenzhen Intelligent Strong Technology Co., Ltd（深圳智能强科技有限公司）
本文提出API-Bank基准，通过可运行评估系统和训练集系统研究LLMs的工具利用能力，并训练Lynx模型，其性能超过Alpaca超过26个百分点，接近GPT-3.5。
2023-10-25 cs.AI cs.CL
Is GPT Powerful Enough to Analyze the Emotions of Memes?
Clemson University（克莱姆森大学）；The Westminster Schools（威斯敏斯特学校）；South Windsor High School（南温莎高中）；D.W. Daniel High School（D.W.丹尼尔高中）
本研究通过SemEval-2020 Task 8和Facebook仇恨迷因数据集评估GPT-3.5在迷因情感分类、幽默类型判定和隐式仇恨检测上的表现，揭示其在主观任务中的优势与语境理解、隐式含义解读及数据偏差等局限。
2023-11-01 cs.CL cs.MM
Capabilities of GPT-5 across critical domains: Is it the next breakthrough?
University of Nicosia（尼科西亚大学）
本研究通过20位语言学与临床专家对GPT-4和GPT-5在五个关键领域的系统比较，发现GPT-5在课程规划、临床诊断、研究生成和伦理推理上显著更优，作业评估表现相当，证明其具有领域专业化工具的潜力。
2025-08-16 cs.CL cs.HC
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences（应用科学大学）；University of Helsinki（赫尔辛基大学）
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能，发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Can Large Language Models Understand Molecules?
本研究对比了GPT、LLaMA与SMILES预训练模型在分子性质预测、药物-药物相互作用预测任务中的SMILES嵌入性能，发现LLaMA表现更优，为LLM在分子表示领域的应用提供了研究支撑。
2024-05-21 cs.AI cs.CL cs.LG
ContraDoc: Understanding Self-Contradictions in Documents with Large Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Grammarly
本研究推出首个多领域长文档自相矛盾人工标注数据集ContraDoc，测试四款前沿大语言模型的检测能力，发现GPT4虽优于人类但仍存局限，并开源相关资源。
2024-04-12 cs.CL
Mind meets machine: Unravelling GPT-4's cognitive psychology
Nowrosjee Wadia College（诺罗斯吉·瓦迪亚学院）；Indian Institute of Tropical Meteorology（印度热带气象研究所）；Defence Institute Of Advanced Technology（国防先进技术研究所）；Queen Mary University of London（伦敦玛丽女王大学）
本文通过CommonsenseQA、SuperGLUE、MATH和HANS等数据集评估GPT-4的认知心理学能力，发现其准确性优于先前最先进模型，表明其在弥合人类与机器推理差距方面具有重要潜力。
2023-04-12 cs.AI cs.CL
Capabilities of GPT-5 on Multimodal Medical Reasoning
Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine（放射肿瘤科、Winship癌症研究所、埃默里大学医学院）
本研究将GPT-5作为通用多模态推理器，在多个医学问答基准上评估其零样本思维链性能，发现其在多模态推理任务中显著超越GPT-4o及人类专家，达到最先进水平。
2025-08-13 cs.AI cs.CL
When Do Tools and Planning Help Large Language Models Think? A Cost- and Latency-Aware Benchmark
College of Engineering（工程学院）；University of Michigan-Dearborn（密歇根大学-迪尔伯恩分校）
研究通过对比不同配置评估工具和规划对大语言模型性能的影响，发现工具增强能显著提升准确性但增加延迟，而复杂工具协调易导致模型退化。
2026-03-05 cs.AI cs.CL
Toward Large Language Models as a Therapeutic Tool: Comparing Prompting Techniques to Improve GPT-Delivered Problem-Solving Therapy
University of Washington（华盛顿大学）；Dartmouth College（达特茅斯学院）
本研究比较多种提示工程技术对GPT提供问题解决疗法的影响，发现恰当的提示工程能提升模型在症状识别与目标设定阶段的治疗质量、一致性和共情能力，为AI辅助心理治疗提供了实证依据。
2024-08-27 cs.AI cs.CL cs.ET
GPT-5 Model Corrected GPT-4V's Chart Reading Errors, Not Prompting
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Ohio State University（俄亥俄州立大学）
本研究通过107个可视化问题比较GPT-5和GPT-4V，发现模型架构而非提示工程主导图表读取准确性，GPT-5显著提升性能。
2025-10-08 cs.CL cs.CV cs.HC
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking
Peking University（北京大学）；Microsoft（微软）；University of Technology Sydney（悉尼科技大学）；Xi’an Jiaotong University（西安交通大学）
本文通过10项结构与语义任务实证评估大语言模型理解图数据的能力，揭示其当前局限并提出需发展新方法以增强图处理能力。
2023-07-11 cs.AI cs.CL
Bridging History with AI A Comparative Evaluation of GPT 3.5, GPT4, and GoogleBARD in Predictive Accuracy and Fact Checking
Karabuk University（卡拉布克大学）
本研究比较GPT 3.5、GPT 4和GoogleBARD在历史事件预测与事实核查中的表现，引入DTR度量，发现GPT 4最优，展示了AI在历史研究中的潜力。
2023-05-13 cs.AI cs.CL
Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
University of Stuttgart（斯图加特大学）；Institute for Natural Language Processing（自然语言处理研究所）
本文研究利用GPT-3.5和GPT-4结合自动提示技术实现语义邻近度标注自动化，通过复用人工指南设计提示并集成到开源工具中，发现精确提示设计至关重要且小幅修改人工指南即可提升性能。
2024-07-04 cs.CL
Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation
Institute of Information and Communication Technology (IICT)（信息与通信技术研究所）；Shahjalal University of Science and Technology (SUST)（沙赫贾拉勒科技大学）
本研究首次系统评估了三种量化格式对Qwen-2.5-7B等三个模型家族在五个孟加拉语NLU基准上的影响，发现架构和量化方法比位宽更关键，量化可用于孟加拉语部署。
2026-08-26 cs.CL
Assessing Large Language Models in Mechanical Engineering Education: A Study on Mechanics-Focused Conceptual Understanding
University of Georgia（佐治亚大学）；Tongji University（同济大学）
该研究用126道力学多选题评估GPT-3.5、GPT-4和Claude-2.1，发现GPT-4总体优于其他模型及人类群体，解释型提示能显著提升表现。
2024-01-13 cs.AI cs.CL physics.ed-ph
Kronecker Decomposition for GPT Compression
McGill University（麦吉尔大学）；Huawei Noah Ark Lab（华为诺亚方舟实验室）
GPT是一种基于自回归变换器的预训练语言模型，由于其在多个下游任务中的最新性能，在自然语言处理（NLP）领域引起了广泛关注。GPT的成功主要归功于其对大量数据的预训练和大量参数（从约100 M到数十亿个参数）。尽管GPT具有优越的性能（尤其是在Few-Shot或zero-shot设置中），但GPT的这种过度参数化性质可能非常不利于在计算能力或内存有限的设备上部署此模型。这个问题可以缓解使用模型压缩技术，但是，压缩GPT模型还没有在文献中研究。在这项工作中，我们使用Kronecker分解来压缩GPT-22模型的线性映射。我们的Kronecker GPT-2模型（KnGPT 2）是基于GPT-2模型的Kronecker分解版本进行初始化的，然后只对一小部分训练数据进行非常轻的预训练，中间层知识蒸馏（ILKD）。最后，我们的KnGPT 2也使用ILKD对下游任务进行了微调。我们在语言建模和通用语言理解评估基准任务上评估了我们的模型，并表明通过更有效的预训练和类似数量的参数，我们的KnGPT 2显著优于现有的DistilGPT 2模型。
2021-10-15 cs.CL
Assessing GPT's Bias Towards Stigmatized Social Groups: An Intersectional Case Study on Nationality Prejudice and Psychophobia
University of Washington（华盛顿大学）
本研究通过结构化提示评估GPT-3.5/4/4o对美国和朝鲜国籍及心理障碍者的偏见，发现朝鲜人面临更大负面偏见，凸显LLM需增强对交叉性身份的理解。
2025-05-15 cs.CL
100% Elimination of Hallucinations on RAGTruth for GPT-4 and GPT-3.5 Turbo
Acurai, Inc.（Acurai公司）
提出Acurai方法，通过输入前重格式化查询和上下文，利用LLM内部表示和名词短语主导性，在RAGTruth上实现GPT-4和GPT-3.5 Turbo的100%幻觉消除。
2025-03-26 cs.CL
ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Amazon（亚马逊）
本文构建了包含4038篇GPT生成议论文的ArguGPT语料库，通过教师评估、语言分析和SVM/RoBERTa检测器实验，系统揭示了机器与人工议论文的差异并实现了90%以上的检测准确率。
2023-09-23 cs.CL
KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
KG-GPT提出一种利用大语言模型进行知识图谱推理的通用框架，通过句子分割、图谱检索和推理三步，在事实验证和KGQA基准上表现优异，甚至超越全监督模型。
2023-10-17 cs.CL
Does GPT-4 surpass human performance in linguistic pragmatics?
Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研究与发展研究所）；University of Belgrade, Institute for Philosophy and Social Theory, Digital Society Lab（贝尔格莱德大学哲学与社会理论研究所数字社会实验室）；Complexity Science Hub（复杂性科学中心）；University of Novi Sad, Faculty of Philosophy（诺维萨德大学哲学学院）；University of Kragujevac, Faculty of Engineering（克拉古耶瓦茨大学工程学院）
本研究基于格莱斯沟通原则，在对话任务上评估LLMs与人类的语言语用学理解能力，发现GPT-4等LLMs表现优于人类，凸显其相关能力进步，对通用AI模型发展有重要意义。
2025-08-24 cs.AI cs.CL cs.CY
JETHICS: Japanese Ethics Understanding Evaluation Dataset
Nagoya University（名古屋大学）；Hokkaido University（北海道大学）
提出日语伦理理解评估数据集JETHICS，含78K示例，基于ETHICS构建，评估显示GPT-4o平均分约0.7，最佳日语LLM约0.5，表明伦理理解能力仍有较大提升空间。
2025-06-19 cs.AI cs.CL
Hey GPT, Can You be More Racist? Analysis from Crowdsourced Attempts to Elicit Biased Content from Generative AI
Penn State University（宾夕法尼亚州立大学）；IBM Research（IBM研究院）
通过大学竞赛众包收集非专家用户诱导GenAI偏见的提示，定量与定性分析揭示了多样的偏见类型和诱导策略，为理解非专家用户与生成式AI偏见互动提供了独特见解。
2024-10-20 cs.AI cs.CL cs.HC
Cognitive network science reveals bias in GPT-3, ChatGPT, and GPT-4 mirroring math anxiety in high-school students
University of Pisa（比萨大学）；ISTI - CNR（意大利国家研究委员会信息科学与技术研究所）；University of Trento（特伦托大学）
本文利用认知网络科学方法分析GPT-3、ChatGPT和GPT-4对数学及STEM学科的感知偏见，发现LLM总体持负面态度且数学最负面，但GPT-4比旧版本和高中生偏见更少、感知更丰富，表明架构进步有望减少有害刻板印象。
2023-05-22 cs.AI cs.CL cs.CY
AD-GPT: Large Language Models in Alzheimer's Disease
University of Georgia（佐治亚大学）；Florida State University（佛罗里达州立大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对大语言模型在阿尔茨海默病（AD）专业领域准确性和深度受限的问题，提出结合Llama3和BERT的堆叠LLM架构AD-GPT，整合多源生物医学数据，优化遗传信息检索及基因与脑区、AD关系分析等四项任务，评估证明其准确性和可靠性优于现有模型，是推进AD研究的稳健AI工具。
2025-04-03 cs.AI cs.CL
Reasoning about Affordances: Causal and Compositional Reasoning in LLMs
University College London（伦敦大学学院）
本研究通过两个实验考察LLMs与人类在对象可供性上的因果与组合推理，发现GPT-4o和Claude 3.5在思维链提示下表现接近人类，且优于前代，表明模型在该领域推理能力持续提升。
2025-02-23 cs.AI cs.CL
Metacognitive Prompting Improves Understanding in Large Language Models
Stanford University（斯坦福大学）；Meta Platforms, Inc.（元平台公司）
本研究提出受人类内省推理启发的元认知提示（MP）策略，通过结构化自我认知评估提升大型语言模型理解能力，在十个NLU数据集上验证其优于现有提示方法。
2024-03-20 cs.AI cs.CL
A First Look at GPT Apps: Landscape and Vulnerability
University of Southern California（南加州大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文通过对两个GPT应用商店为期5个月的纵向研究，揭示用户热情持续上升但创建者兴趣趋稳，且近90%系统提示因配置未安全保护可被轻易访问，强调需加强LLM应用生态系统安全。
2024-11-27 cs.CL cs.CR
Benchmarking Large Language Models on CFLUE -- A Chinese Financial Language Understanding Evaluation Dataset
Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
该研究提出中文金融语言理解评测基准CFLUE，涵盖知识与应用两类评估维度，对代表性大语言模型进行测试后发现现有模型在金融领域仍有较大提升空间，相关资源已开源。
2024-05-17 cs.AI cs.CL
Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? A Study on Several Typical Tasks
J.P. Morgan AI Research（摩根大通人工智能研究院）
本研究通过八个基准数据集实证评估 ChatGPT 和 GPT-4 在金融文本分析任务上的性能，对比微调与领域预训练模型，揭示其优势与局限，为金融 NLP 应用提供参考。
2023-10-10 cs.AI cs.CL
From Complexity to Clarity: How AI Enhances Perceptions of Scientists and the Public's Understanding of Science
Michigan State University（密歇根州立大学）
本研究评估了生成式AI在简化科学传播中的作用，发现GPT-4生成的通俗摘要不仅语言更简洁，还能提升公众对科学家的信任感和对科学内容的理解，倡导将AI整合进科学传播。
2024-08-28 cs.AI cs.CL cs.CY
Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
University of Toronto（多伦多大学）；National Research Council Canada（加拿大国家研究委员会）
本文针对工具集成LLM智能体面临的四类对抗攻击，提出两种通用工具防御（攻击者工具过滤和正常工具召回）及提示防御，在多种开源和专有模型上将攻击成功率降至0%，同时保持或提升任务成功率。
2026-09-16 cs.AI cs.CL cs.CR
GPT-too: A language-model-first approach for AMR-to-text generation
University of Stuttgart（斯图加特大学）；IBM Research AI（IBM人工智能研究院）
语义表征（AMR）是一种覆盖面广的层次语义图。从AMR生成文本的现有方法集中于仅在AMR注释数据上训练序列到序列或图到序列模型。在本文中，我们提出了一种替代方法，它结合了一个强大的预训练语言模型与基于循环一致性的重新评分。尽管这种方法很简单，但我们的实验结果表明，这些模型在英语LDC 2017 T10数据集上的性能优于所有以前的技术，包括最近使用的Transformer架构。除了标准的评估指标，我们还提供了人类评估实验，进一步证实了我们方法的优势。
2020-05-27 cs.CL cs.LG
