CRAB: A Benchmark for Evaluating Curation of Retrieval-Augmented LLMs in Biomedicine
PatSnap Co., LTD.(PatSnap公司)
针对生物医学检索增强大语言模型策展能力评估空白,提出多语言基准CRAB,采用基于引用的新指标,发现主流模型策展性能差异显著。
2025-08-06 cs.CL
Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs
Amazon AGI(亚马逊AGI);UCLA(加利福尼亚大学洛杉矶分校);University of Minnesota(明尼苏达大学)
针对LLMs个性化响应用户偏好能力有限的问题,本文提出PrefEval基准(含3000对偏好-查询对、20个主题),评估10个LLMs的偏好遵循能力,发现现有模型表现不足但微调可提升,为个性化对话代理研究提供工具。
2025-02-13 cs.CL cs.LG
Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Santa Clara University(圣克拉拉大学);eBay(eBay公司)
针对LLM合成评论文本的多样性与隐私风险,本文建立多维评估指标,揭示现有模型局限,并提出基于提示的方法以增强风格多样性并保护隐私。
2025-07-24 cs.CL cs.CR cs.LG
MMLU-Pro+: Evaluating Higher-Order Reasoning and Shortcut Learning in LLMs
Autodesk AI Research(欧特克人工智能研究院)
本文提出增强型基准MMLU-Pro+,通过包含多正确答案的问题评估大型语言模型的捷径学习与高阶推理能力,并引入新指标揭示模型在推理与偏差易感性上的显著差异。
2024-10-15 cs.CL cs.LG
GameEval: Evaluating LLMs on Conversational Games
Soochow University(苏州大学);Microsoft Research Asia(微软亚洲研究院)
针对现有大语言模型评估方法需人工介入或存在测试偏差的问题,提出GameEval评估框架,通过目标驱动的合作/对抗类对话游戏及配套指标,可有效区分不同大模型的综合问题解决能力。
2023-08-19 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
Distilled Self-Critique of LLMs with Synthetic Data: a Bayesian Perspective
Komorebi AI
该研究从贝叶斯视角将RLAIF解读为贝叶斯推理,提出仅需合成数据的蒸馏式自我批判(dSC)方法,经吉布斯采样优化输出再蒸馏为微调模型,验证了其作为低成本大语言模型对齐方案的可行性。
2024-04-11 cs.CL cs.LG
Evaluating Role-Consistency in LLMs for Counselor Training
Technische Hochschule Nürnberg Georg Simon Ohm(图林根应用技术大学纽伦堡乔治·西蒙·奥姆学院)
本文通过引入对抗性数据集评估LLM在辅导培训中的角色一致性,比较了Vicuna与其他开源模型的表现。
2026-01-13 cs.AI cs.CL
GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks
University of Toulouse(图卢兹大学);IRIT(信息与电信科学研究所)
该研究提出GeoBenchLLM综合基准,选取12个地理相关公开数据集评估LLMs的地理空间与时间理解能力,发现推理能力与模型规模对性能影响显著,基准可公开获取。
2026-08-10 cs.AI cs.CL cs.IR
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现,发现模型内部状态与任务性能存在差异,强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
Self-Evaluating LLMs for Multi-Step Tasks: Stepwise Confidence Estimation for Failure Detection
Dyania Health(Dyania健康)
本文研究多步推理任务中大语言模型的失败检测问题,提出并比较整体评分与逐步评分两种自评估置信度估计方法,实验表明逐步评估在AUC-ROC上最高相对提升15%,为复杂推理中的可信度估计提供了实用框架。
2025-11-10 cs.AI cs.CL cs.LG
YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese
Kobe University(神户大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));The University of Tokyo(东京大学);RIKEN(理化学研究所);Tohoku University(东北大学)
提出YOMI-Bench基准,通过四个任务评估大语言模型在日语汉字读音上的表现,发现专用模型和商业模型均表现不佳。
2026-07-02 cs.CL
A word association network methodology for evaluating implicit biases in LLMs compared to humans
University of Pisa, Department of Computer Science(比萨大学计算机科学系);National Research Council of Italy, Institute of Information Science and Technologies(意大利国家研究委员会信息科学与技术研究所);University of Trento, Department of Psychology and Cognitive Science(特伦托大学心理学与认知科学系)
该研究提出一种基于语义启动的词语联想网络方法,可定量定性评估LLMs内隐偏见并实现人机直接比较,经多类社会偏见测试验证有效,为偏见跨模型跨主体评估提供可泛化框架。
2025-10-28 cs.AI cs.CL
Culinary Class Wars: Evaluating LLMs using ASH in Cuisine Transfer Task
Korea University(高丽大学);Sejong University(世宗大学);Hankuk University of Foreign Studies(韩国外国语大学);Imperial College London(伦敦帝国学院)
本研究提出ASH基准,评估大语言模型在菜系迁移任务中的烹饪创意,通过生成和评估文化适应性食谱,揭示其在文化准确性和创意性上的优势与局限。
2024-11-04 cs.AI cs.CL cs.LG
ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
本文提出ArithmAttack方法,评估LLMs在包含标点符号噪声的提示下鲁棒性,发现所有模型在噪声增加时表现下降。
2026-03-15 cs.CL
Evaluating CxG Generalisation in LLMs via Construction-Based NLI Fine Tuning
University of Bath(巴斯大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ConTest-NLI基准,通过8万句覆盖八种英语构式的合成NLI数据评估大语言模型的构式语法泛化能力,发现对抗数据准确率下降24%,微调仅提升9%,揭示了当前模型的抽象差距。
2025-09-19 cs.CL
Better as Generators Than Classifiers: Leveraging LLMs and Synthetic Data for Low-Resource Multilingual Classification
Kempelen Institute of Intelligent Technologies(克姆佩尔智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院)
本研究利用大语言模型生成合成数据,训练更小的多语言模型,发现生成器在低资源语言中表现更优。
2026-01-22 cs.AI cs.CL cs.LG
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
LLMsPark: A Benchmark for Evaluating Large Language Models in Strategic Gaming Contexts
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Tongji University(同济大学);AIR, Tsinghua University(清华大学人工智能研究院);BAAI(百度人工智能研究院)
本文提出LLMsPark,一个基于博弈论的多智能体评估平台,通过排行榜和评分机制交叉评估15个主流大语言模型的策略决策与社会行为,揭示模型间的策略智能差异,为LLM评估提供了新的交互式博弈论视角。
2025-09-20 cs.CL
Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts
Michigan State University(密歇根州立大学);Williams College(威廉姆斯学院)
本文评估LLM作为政治科学概念测量工具的有效性,提出五阶段框架,通过代码本和预训练LLM验证其测量准确性,并展示通过监督指令微调提升性能的成果。
2025-01-09 cs.CL
CARL-GT: Evaluating Causal Reasoning Capabilities of Large Language Models
KTH Royal Institute of Technology(皇家理工学院);Qlik(Qlik公司);Microsoft Research(微软研究院);Meta
研究提出CARL-GT基准,利用图和表格数据从因果图推理、知识发现和决策制定评估LLM的因果推理能力,发现LLM在该能力上仍较弱,且不同类别任务间表现相关性更强。
2024-12-23 cs.CL cs.LG stat.ME
How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description
School of Information Technology(信息科技学院);Department of Mathematics and Statistics(数学与统计学系);York University(约克大学)
本研究通过六种不同证据和结构水平的流水线,评估文献计量结构是否改善 LLM 辅助的聚类描述生成,发现混合工作流(算法提供可审计结构,LLM 生成可读描述)效果最佳。
2026-05-23 cs.CL
Can LLMs Express Personality Across Cultures? Introducing CulturalPersonas for Evaluating Trait Alignment
Department of Computer Science, University of Southern California(计算机科学系,南加州大学)
本文提出CulturalPersonas基准,含3000个跨六国场景问题,评估LLM个性表达,使Wasserstein距离降低超20%,促进文化对齐。
2025-10-13 cs.CL
CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation
Texas A&M University(德克萨斯农工大学)
针对现有LLM硬件代码生成评估仅关注功能正确性、缺乏创造性量化方法的问题,提出CreativeEval框架,从四个子维度评估LLM硬件设计生成的创造性,实验发现GPT-3.5在该任务中创造性最强。
2024-04-12 cs.CL
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对LLMs长上下文检索与推理能力不足的问题,提出在合成数值键值检索数据集上微调模型,显著提升了长上下文检索能力且不损害通用基准表现,有效避免幻觉。
2024-10-14 cs.AI cs.CL cs.LG
TextBandit: Evaluating Probabilistic Reasoning in LLMs Through Language-Only Decision Tasks
UC Merced(加州大学默塞德分校);UC Berkeley(加州大学伯克利分校);Algoverse
本文提出TextBandit基准,通过纯文本反馈的多臂老虎机任务评估LLM概率推理,发现Qwen3-4B以89.2%最佳臂选择率超越更大模型和传统算法,证明概率推理可从语言中涌现。
2025-10-13 cs.CL
Who Is Your Ideal Companion? Evaluating Emotional Companion Capabilities of LLMs Based on Adult Attachment Theory
本研究基于成人依恋理论构建情感陪伴基准ECBench,评估32个LLM的依恋倾向,探究其在多轮交互中的表现及可调整性,为情感陪伴类LLM的选择提供理论与工具支持。
2026-11-05 cs.CL
Can LLMs replace Neil deGrasse Tyson? Evaluating the Reliability of LLMs as Science Communicators
Indian Institute of Technology, Delhi(印度理工学院德里分校)
本文评估LLMs作为科学传播者的可靠性,引入包含742个是/否查询的SCiPS-QA数据集和基准套件,发现Llama-3-70B可媲美GPT-4 Turbo,并揭示GPT模型在验证响应及人类评估易受欺骗的问题。
2024-09-21 cs.AI cs.CL
Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
Shanghai University of Finance and Economics(上海财经大学);University of Edinburgh(爱丁堡大学);Southern University of Science and Technology(南方科技大学);Fudan University(复旦大学)
Compound-QA基准通过评估LLM在复合问题上的表现,揭示其在理解和推理方面的不足,并提出改进策略。
2026-09-22 cs.CL
PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai Jiao Tong University School of Medicine(上海交通大学医学院);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出首个心理健康任务综合评估套件PsyEval,包含五个子任务评估三个关键维度,对十二个先进LLMs的测试揭示了当前模型不足及未来优化方向。
2024-06-03 cs.CL
Evaluating the Unseen Capabilities: How Many Theorems Do LLMs Know?
University of Pennsylvania(宾夕法尼亚大学)
本文提出统计框架KnowSum,通过外推已观察知识频率来量化LLM的未见知识,从而更全面地评估模型总知识量、检索效果和输出多样性,并揭示仅凭观察表现会遗漏大量知识且改变模型排名。
2025-06-01 cs.CL cs.IR cs.LG
AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects
American University of Beirut(贝鲁特美国大学)
本文提出AraSTEM阿拉伯语STEM多项选择基准,用于评估大语言模型在非英语科学知识上的表现,实验表明现有公开模型普遍表现不佳,凸显本地化语言模型的必要性。
2024-12-31 cs.AI cs.CL
Evaluating LLMs in Medicine: A Call for Rigor, Transparency
Duke University Hospital System(杜克大学医院系统)
本文评估了医学问答中LLM评估数据集的局限性,发现现有数据集缺乏临床真实性与稳健验证,呼吁建立标准化框架并加强多方协作以实现严谨无偏的评估。
2025-07-11 cs.CL
Evaluating LLMs for Gender Disparities in Notable Persons
Robert H. Smith School of Business, University of Maryland(马里兰大学罗伯特·H·史密斯商学院);University of Antwerp(安特卫普大学);Stern School of Business, New York University(纽约大学斯特恩商学院)
本研究评估GPT系列大语言模型在事实检索中的性别差异,发现GPT-3.5存在明显性别偏见,GPT-4虽改进但未消除,尤其在拒绝回应时,并探讨了提示词性别关联与回应同质性的影响。
2024-03-14 cs.CL cs.IR
Phun-Bench: Evaluating LLMs on Phonological Understanding in Chinese
Zhejiang University(浙江大学)
提出Phun-Bench基准,通过同音、押韵和语音相似性三个维度系统评估大语言模型的语音理解能力,发现模型在灵活运用语音知识方面存在不足。
2026-06-05 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
针对LLMs在现实交互任务中表现不佳的问题,本文提出含确定性评分机制的多轮谜题基准,评估模型的交互式推理等能力,揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
Evaluating the Pre-Consultation Ability of LLMs using Diagnostic Guidelines
AITRICS;KAIST(韩国科学技术院);Severance Hospital, Yonsei University(延世大学松云医院);College of Medicine, The Catholic University of Korea(韩国天主大学医学院)
本文提出EPAG基准数据集和框架,通过HPI-诊断指南对比和疾病诊断评估大语言模型的预咨询能力,发现小规模开源模型在预咨询任务中表现优于前沿模型,且预咨询语言影响对话特征。
2026-05-12 cs.AI cs.CL
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
LibrAI;MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Melbourne(墨尔本大学)
该研究构建了首个评估LLM安全防护的开源数据集Do-Not-Answer,通过标注六个流行模型的响应并训练小型分类器,实现了与GPT-4相当的自动安全评估效果。
2023-09-04 cs.CL
UAQFact: Evaluating Factual Knowledge Utilization of LLMs on Unanswerable Questions
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);OPPO AI Center(OPPO人工智能中心)
本文提出双语数据集UAQFact及两个新任务,评估LLM在不可回答问题上利用内外部事实知识的能力,发现即使提供知识LLM仍面临挑战且无法充分利用外部知识。
2025-05-29 cs.CL
JMedBench: A Benchmark for Evaluating Japanese Biomedical Large Language Models
The University of Tokyo(东京大学);National Institute of Informatics(信息学研究所)
针对日语生物医学LLM缺乏大规模评估基准的问题,提出包含8个模型和20个数据集的JMedBench基准,实验揭示了模型表现差异与改进空间,并公开评估工具及数据集以促进研究。
2024-09-20 cs.CL
CIBench: Evaluating Your LLMs with a Code Interpreter Plugin
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学)
本文提出CIBench交互式评估框架,含数据集和两种模式,全面评估24个大语言模型在数据科学任务中利用代码解释器的能力,并提供未来改进见解。
2024-11-06 cs.CL
Evaluating the Usability of LLMs in Threat Intelligence Enrichment
School of Computer Science University of Guelph Guelph, Canada
本研究对五种LLM在威胁情报富化中的可用性进行了全面评估,通过启发式走查和用户研究识别关键问题并提出改进建议,旨在弥合功能与用户体验的差距,促进更高效准确的威胁情报实践。
2024-09-23 cs.CL cs.CR cs.HC
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
本研究针对大型语言模型受约束文本生成问题,对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进,并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
Evaluating Bias in LLMs for Job-Resume Matching: Gender, Race, and Education
Megagon Labs(美嘉岗实验室)
本研究评估大语言模型在职位-简历匹配中的公平性,发现近期模型虽减少性别和种族偏见,但教育背景的隐性偏见仍显著,需持续评估和开发缓解策略。
2025-03-24 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见,发现基础LLMs偏见高于NMT模型,并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset
The University of Tokyo(东京大学);Riken(理化学研究所);University of Liverpool(利物浦大学)
本文提出日语基准SOBACO,统一评估LLM的社会偏见与文化常识,发现去偏见方法会显著损害文化常识表现,强调需在公平性与实用性间权衡。
2025-09-29 cs.CL
Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs
Dalian Maritime University(大连海事大学);Dalian University of Technology(大连理工大学)
本研究评估专用决策模型Jev在立场检测任务上的表现,对比通用LLMs及微调模型,发现Jev在英文数据集VAST上具竞争力但在中文对话数据集ZS-CSD上存在局限,凸显其潜力与不足。
2026-10-09 cs.CL
Poller: Are LLMs Suitable for Evaluating the Poetry Understanding Task?
NLP;CT Lab, Department of Computer and Information Science, University of Macau(计算机与信息科学系,澳门大学CT实验室);Department of Portuguese, Faculty of Arts and Humanities, University of Macau(人文学院葡萄牙语系,澳门大学)
提出Poller方法,让LLM扮演诗人角色模拟人类评价,在八个维度上评估诗歌理解,相比基线方法将修辞技巧和陌生化评价误差分别降低94.55%和89.53%。
2026-06-29 cs.CL
Evaluating the Robustness of Japanese LLMs to IME-Related and Typographical Errors
Kobe University(神户大学);University of Hyogo(兵库县立大学)
本研究评估日本大语言模型对五种日语特定拼写错误的鲁棒性,发现字符换位和替换显著降低性能,而输入法相关错误影响较小,凸显了实际输入环境中鲁棒性评估的重要性。
2026-10-02 cs.CL
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute(NASK国家研究院)
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法,用于评估LLM在波兰语等低资源语言中的安全鲁棒性,并公开数据集与代码。
2025-06-09 cs.CL
Help Me Write a Story: Evaluating LLMs' Ability to Generate Writing Feedback
Google DeepMind(谷歌DeepMind)
本文通过构建包含1,300个故意引入写作问题的故事测试集及评估框架,研究大语言模型生成写作反馈的能力,发现模型能提供具体且大多准确的反馈,但常无法识别最大写作问题并正确区分批评性与正面反馈的时机。
2025-07-21 cs.CL
Evaluating and Aligning Human Economic Risk Preferences in LLMs
The Hong Kong University of Science and Technology(香港科技大学)
本研究评估了LLMs在不同人物设定下的经济风险偏好,发现其在复杂经济决策任务中表现下降,并提出一种对齐方法以增强LLM对特定人物设定的风险偏好的遵循,从而提升其在风险相关应用中的经济理性。
2025-09-13 cs.CL econ.GN q-fin.EC
EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);Beijing Yuandian Technology(北京原点科技);School of Engineering and Applied Science, University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院)
本文提出EmotionQueen框架,通过四项任务和两项指标评估大型语言模型的情感智能,揭示其共情能力与局限。
2024-09-20 cs.AI cs.CL