Evaluating the Text-to-SQL Capabilities of Large Language Models
University of Cambridge（剑桥大学）；ServiceNow（ServiceNow公司）；Mila（米拉研究所）；McGill University（麦吉尔大学）
我们执行的Codex语言模型的文本到SQL的能力的实证评估。我们发现，在没有任何微调的情况下，Codex是Spider基准测试的强大基线;我们还分析了Codex在此设置中的故障模式。此外，我们在GeoQuery和Scholar基准测试中证明，提示中提供的少量域内示例使Codex能够比在此类Few-Shot示例上微调的最先进模型表现更好。
2022-03-15 cs.CL cs.DB cs.LG
Oracle-Checker Scheme for Evaluating a Generative Large Language Model
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出oracle-checker方案，通过性质测试型和程序检查型两类checker评估生成式大语言模型的答案，并在实体抽取与释义判定任务中验证其应用。
2024-05-06 cs.CL
AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
King Abdullah University of Science and Technology (KAUST)（卡斯泰克大学）；American University of Beirut (AUB)（贝鲁特美国大学）
AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力，揭示模型在语法和句法推理上的不足，强调了记忆与模式识别对模型性能的影响。
2025-12-09 cs.AI cs.CL cs.LG
Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
本文通过构造分布内与分布外程序并评估10个最新LLM，发现早期模型偏向模式匹配，而最新模型在代码推理上具备强泛化能力。
2025-04-07 cs.CL cs.LG cs.SE
Evaluating Discourse Cohesion in Pre-trained Language Models
University of Edinburgh（爱丁堡大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出一个测试套件，通过相邻与非相邻句子间的多种连贯现象评估预训练语言模型的话语连贯能力，并比较不同模型表现，以推动该方向研究。
2025-03-08 cs.CL
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon（新里斯本大学）；NOVA LINCS（新里斯本大学计算机科学与系统研究实验室）
ALBA是首个针对欧洲葡萄牙语的语言学评估基准，通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现，揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出首个心理健康任务综合评估套件PsyEval，包含五个子任务评估三个关键维度，对十二个先进LLMs的测试揭示了当前模型不足及未来优化方向。
2024-06-03 cs.CL
Evaluating Large Language Models for Anxiety and Depression Classification using Counseling and Psychotherapy Transcripts
Stanford University（斯坦福大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
本研究评估传统机器学习与大型语言模型在心理咨询转录文本中分类焦虑和抑郁的性能，发现最先进模型未优于传统方法。
2024-07-18 cs.CL cs.CY cs.ET
Evaluating Cultural Knowledge Processing in Large Language Models: A Cognitive Benchmarking Framework Integrating Retrieval-Augmented Generation
United Link Co., Ltd.（联合链接有限公司）；National United University（联合大学）
本研究提出一种集成 Bloom 分类法与检索增强生成（RAG）的认知基准框架，利用台湾客家数字文化档案评估大型语言模型处理特定文化知识的语义准确性与文化相关性。
2025-11-03 cs.CL
CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
Nara Institute of Science and Technology（奈良科学技術研究院）；National Institute of Informatics（国家信息研究院）；The University of Tokyo（东京大学）
CxMP基准通过最小对设计评估语言模型对构式语义关系的理解能力，揭示了大型语言模型在整合形式与意义方面的局限性。
2026-02-25 cs.CL
Evaluating Large Language Models on Controlled Generation Tasks
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）；Google DeepMind（谷歌DeepMind）；ETH Zurich（苏黎世联邦理工学院）
本文评估大型语言模型在受控生成任务上的可控性，通过与微调较小模型对比发现其能力呈落后、相当或超越的谱系分布，并指出其在满足细粒度硬约束方面存在困难。
2023-10-23 cs.CL
Evaluating Counterfactual Strategic Reasoning in Large Language Models
National Technical University of Athens（希腊雅典国家技术大学）
通过引入反事实变体（改变收益结构和行动标签）的囚徒困境和石头剪刀布博弈，评估大型语言模型的策略表现是否基于真正的推理而非记忆模式，并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。
2026-05-22 cs.CL
Evaluating and Adapting Large Language Models to Represent Folktales in Low-Resource Languages
School of Languages, Literatures and Cultures（语言文学与文化学院）；University of Edinburgh（爱丁堡大学）
本研究通过两个分类任务评估大型语言模型对低资源语言民间故事的表示能力，并提出三种适配方法（如处理长序列和领域继续预训练）以提升性能，尽管基线SVM表现同样出色。
2024-11-08 cs.CL
Evaluating Large Language Models with Tests of Spanish as a Foreign Language: Pass or Fail?
本文评估了最先进的大型语言模型在西班牙语外语考试基准TELEIA上的表现，发现其虽能较好理解西班牙语，但语法能力仍远不及母语者水平。
2024-09-08 cs.CL
Evaluating the Performance of Large Language Models via Debates
University of Pennsylvania（宾夕法尼亚大学）
本文提出以LLM辩论并由LLM裁判的自动化评估框架，在无需人工众包的情况下评估模型的知识与论证能力，所得排名与人工评测高度一致。
2025-02-07 cs.AI cs.CL cs.LG
Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing
The Hong Kong University of Science and Technology（香港科技大学）
本文提出金融语言模型评估框架 FinLMEval，通过九个数据集对比评估发现，尽管部分仅解码器 LLMs 在零样本提示下表现显著，但在处理专有数据集时仍落后于微调专家模型。
2023-10-19 cs.CL
Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models
Indeed（Indeed公司）；IT University of Copenhagen（哥本哈根信息技术大学）
本研究量化大型语言模型在美国384个都市区域零样本就业预测中的都市规模偏见，发现较小区域性能显著更差，最小10个区域比最大10个区域性能差超300%。
2024-03-12 cs.CL
Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models
研究多语言大语言模型在自然上下文中回忆事实的能力，发现上下文中介显著降低事实回忆准确性，大模型更鲁棒，真实名称影响不系统。
2026-01-18 cs.CL
CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs
University of Southern California（南加州大学）
提出CoCo-CoLa指标评估多语言LLM语言一致性，发现模型跨语言共享知识但输出语言存在偏差，关键层决定输出语言，据此提出选择性微调策略，在降低计算成本的同时提升语言一致性，尤其利于低资源语言。
2025-05-29 cs.CL
Evaluating the Semantic Specificity of Representation Steering in Language Models
University of Cambridge（剑桥大学）
本研究提出CRT诊断框架，发现LRS仅注入全局标签偏差而非修复推理回路，为区分真正推理修复与表面标签覆盖提供了严谨方法。
2026-09-01 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Oldenburg（奥尔登堡大学）
本研究通过控制生成顺序干预，系统评估了解释与预测的因果关联，发现模型规模是理由优先推理的关键，而答案优先更稳定，二者共同影响推理忠实度。
2026-09-25 cs.CL
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences（应用科学大学）；University of Helsinki（赫尔辛基大学）
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能，发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models
Delft University of Technology（代尔夫特理工大学）
The Heap是一个无污染的多语言代码数据集，用于公平评估大型语言模型，覆盖57种编程语言并去重以减少数据清洗需求。
2025-12-29 cs.AI cs.CL
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute（NASK国家研究院）
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法，用于评估LLM在波兰语等低资源语言中的安全鲁棒性，并公开数据集与代码。
2025-06-09 cs.CL
AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization
Technical University of Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）
本文评估了多种大型语言模型在微调和上下文学习设置下跨领域文本摘要的自适应能力，并提出首个领域自适应评估套件AdaptEval，发现LLM在上下文学习中的表现与参数规模无关。
2024-10-11 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies
Minzu University of China（中央民族大学）
本文通过将通用依存关系（UD）集成到预训练语言模型中，研究其在跨语言对抗性释义识别任务上的效果，发现UD能显著提升准确率和F1分数，并缩小与大型语言模型的差距，证明了UD在域外任务中的有效性。
2025-06-05 cs.CL
Disentangling Language and Culture for Evaluating Multilingual Large Language Models
Singapore Management University（新加坡管理学院）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院）；DAMO Academy, Alibaba Group（阿里集团大模型实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出双重评估框架，通过解耦语言媒介与文化语境评估LLM的多语言能力，发现“文化-语言协同”现象并揭示其神经元激活机制，强调了跨文化语言评估的必要性。
2025-05-30 cs.CL
ValueBench: Towards Comprehensively Evaluating Value Orientations and Understanding of Large Language Models
Peking University（北京大学）；National Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Department of Sociology, Peking University（北京大学社会学系）；School of Psychological and Cognitive Sciences, Peking University（北京大学心理与认知科学学院）；PKU-Wuhan Institute for Artificial Intelligence（北京大学武汉人工智能研究院）
本文提出首个综合性心理测量基准ValueBench，通过44个量表、453个价值维度及真实交互流程，系统评估大语言模型的价值取向与价值理解，并在六个代表性模型上验证其接近专家结论的能力。
2024-06-06 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University（上海交通大学）
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现，揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Proverbs Run in Pairs: Evaluating Proverb Translation Capability of Large Language Model
Monash University（莫纳什大学）
本研究构建多语言谚语翻译数据集，评估NMT与LLM的谚语翻译能力，发现LLM更优，且现有自动评估指标不足以可靠评估谚语翻译质量，需开发更具文化意识的指标。
2025-01-21 cs.CL
ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages
IBM
针对大语言模型在代码约束理解上缺乏评估的问题，提出首个覆盖五种表示、含两项新任务的ConCodeEval基准，发现LLMs处理代码约束能力不足，常规代码表现好的语言在细粒度约束任务中表现不佳。
2025-03-24 cs.AI cs.CL cs.SE
Sycophantic Praise: Evaluating Excessive Praise in Language Models
University of Cincinnati（辛辛那提大学）；Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（德克萨斯大学）
提出参数化框架衡量赞美是否过度，发现谄媚式赞美在社交和解释性领域远多于客观推理领域，且现有方法无法可靠测量。
2026-06-05 cs.CL
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
本研究针对大型语言模型受约束文本生成问题，对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进，并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India（AI4Bharat，印度理工学院马德拉斯分校）；Sarvam AI, India（Sarvam AI，印度）
提出IndicContextEval基准，包含8种印度语言555位说话人的56小时自然语音，通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
Where Are We? Evaluating LLM Performance on African Languages
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI；Invertible AI（可逆AI）
本文通过Sahara基准系统评估大语言模型在非洲语言上的表现，揭示政策导致的数据不平等如何使多数本土语言被边缘化，并提出政策改革与包容性数据实践建议。
2025-06-03 cs.CL
HKCanto-Eval: A Benchmark for Evaluating Cantonese Language Understanding and Cultural Comprehension in LLMs
Kyushu University（九州大学）；hon9kon9ize；The Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）；Independent Researcher（独立研究者）；Votee AI；Beever AI
本文提出HKCanto-Eval基准，用于评估大语言模型的粤语理解与香港文化认知能力，并通过跨语言测试揭示现有模型在粤语特有知识上的不足。
2025-07-06 cs.CL
XForecast: Evaluating Natural Language Explanations for Time Series Forecasting
Salesforce AI Research（Salesforce AI研究院）
本文提出XForecast框架，通过基于可模拟性的两个新指标评估时间序列预测的自然语言解释质量，并发现大语言模型的数值推理能力而非规模是解释质量的关键。
2024-10-21 cs.CL
Evaluating the Translation Performance of Large Language Models Based on Euas-20
College of Software, Zhengzhou University of Light Industry（郑州轻工业大学软件学院）
本文构建Euas-20数据集，用于评估大语言模型的翻译性能、跨语言翻译能力及预训练数据对翻译能力的影响。
2024-08-06 cs.AI cs.CL
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学语言与语音处理中心）
针对现有基准语言覆盖不足且侧重高阶任务的问题，提出ChiKhaPo基准，包含8个子任务，覆盖2700+种语言，评估LLM的词汇理解与生成能力，发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
Evaluating Vision-Language and Large Language Models for Automated Student Assessment in Indonesian Classrooms
Quantic School of Business and Technology（Quantic商业与技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indonesia University of Education（印度尼西亚教育大学）；Monash University（莫纳什大学）
研究评估了视觉语言和大语言模型在印尼课堂中的自动学生评估效果，发现VLM在手写识别上存在困难，但LLM反馈仍具教学价值。
2026-04-01 cs.CL
Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics
Neurocreaciones（神经创意公司）
针对AI领域传统机器智能评估指标的局限，受大语言模型进展启发，提出从图灵测试转向以语言习得为核心的综合评估框架的范式转变，强调跨学科协作以构建更稳健可持续的评估路径。
2023-10-05 cs.AI cs.CL
KatotohananQA: Evaluating Truthfulness of Large Language Models in Filipino
De La Salle University, Manila, Philippines（德拉萨大学，马尼拉，菲律宾）
针对低资源语言真实性评估缺失，提出菲律宾语TruthfulQA基准KatotohananQA，评估七个专有模型，发现英语与菲律宾语性能差距大，新OpenAI模型多语言鲁棒性强，强调需扩大多语言评估。
2025-09-07 cs.CL
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
New York University Abu Dhabi（纽约大学阿布扎比分校）；Stony Brook University（石溪大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对大语言模型在阿拉伯语形态生成上的不足，提出大规模基准YallaMorph，涵盖多种词类与配置，评估发现附着词及罕见形式生成尤为困难。
2026-09-10 cs.CL
XIFBench: Evaluating Large Language Models on Multilingual Instruction Following
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Queen Mary University of London（伦敦大学女王学院）；Soochow University（苏州大学）
本文提出XIFBench基准，通过558条多语言指令和细粒度约束评估LLMs的指令遵循能力，并引入三项方法论创新支持跨语言评估，揭示了语言资源等因素对多语言指令遵循的影响。
2025-11-03 cs.CL
Evaluating and Enhancing Large Language Models for Novelty Assessment in Scholarly Publications
Santa Clara University（圣克拉拉大学）
本文提出学术新颖性基准SchNovel和模拟人类审稿的RAG-Novelty方法，评估并增强了LLMs在学术论文新颖性评估中的能力。
2024-09-25 cs.AI cs.CL cs.IR
NLD-LLM: A systematic framework for evaluating small language transformer models on natural language description
Faculty of Computer Science（计算机科学学院）；University of New Brunswick（新不伦瑞克大学）
提出NLD-LLM框架，系统评估多种小型Transformer模型在自然语言描述任务上的性能，发现提示工程能显著提升小模型效果。
2025-10-01 cs.CL
Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）；Universidad de Salamanca（萨拉曼卡大学）；Ghent University（根特大学）
针对当前大语言模型评估多忽略基础语言能力的问题，研究提出复兴词汇测试作为评估工具，通过双语两种测试形式评估7个LLM，发现其词汇知识存在差距，为理解LLM语言能力提供新视角。
2024-01-29 cs.CL
Walking a Tightrope -- Evaluating Large Language Models in High-Risk Domains
NEC Laboratories Europe（NEC欧洲实验室）；NEC Europe Ltd（NEC欧洲有限公司）
本研究在法律和医疗高风险领域评估指令微调LLMs的事实准确性与安全性，发现其存在局限性，强调需提升模型能力、完善领域指标并采用以人为中心的方法以符合社会义务与法规。
2023-11-25 cs.CL
Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts
School of Computer Science University of Birmingham（计算机科学学院 英国伯明翰大学）；Department of Computer Science University of Bath（计算机科学系 英国巴斯大学）
本研究评估最先进语言模型在多语言和语码转换语境下处理潜在习语化多词表达歧义的能力，发现包括GPT-4在内的最新模型在检测和语义任务中均未能超越xlm-roBERTa-base基线，表明多词表达仍是模型的重大挑战。
2025-04-10 cs.CL
M2G-Eval: Enhancing and Evaluating Multi-granularity Multilingual Code Generation
Beihang University（北航大学）；Hunan University（湖南大学）；Ubiquant
M2G-Eval通过多粒度多语言框架评估代码生成能力，揭示了不同粒度任务的难度差异和跨语言学习的关联性。
2025-12-27 cs.CL
Evaluating Large Language Models on Computer Science University Exams in Data Structures
Blavatnik School of Computer Science and AI（Blavatnik计算机科学与人工智能学院）
本文评估了大型语言模型在数据结构考试中的表现，引入了一个包含特拉维夫大学考试题目的新基准数据集，测试了GPT 4o、Claude 3.5、Mathstral 7B和LLaMA 3 8B等模型的性能。
2026-04-25 cs.CL
CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
预训练的语言模型（PLM）在许多基准测试中取得了超人的性能，因此需要更难的任务。我们引入CoDA 21（上下文定义对齐），这是一个具有挑战性的基准测试，用于测量PLM的自然语言理解（NLU）能力：给定k个单词的定义和上下文，但不是单词本身，任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解，包括复杂的推理和世界知识。我们发现，人类和PLM性能之间存在很大的差距，这表明CoDA21衡量了NLU的一个方面，而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
Evaluating Polish linguistic and cultural competency in large language models
National Information Processing Institute（国家信息处理研究所）
针对大型语言模型缺乏文化背景知识易致细微错误的问题，提出包含600个手工制作问题的波兰语言与文化能力基准，涵盖六个类别，并评估了30多个模型，为模型波兰能力提供新视角。
2025-03-02 cs.CL
