语言大模型 / LLM

MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers

MCP-SafetyBench：一种用于评估大型语言模型在真实MCP服务器安全性的大规模基准

Xuanjun Zong, Zhiqi Shen, Lei Wang, Yunshi Lan, Chao Yang

机构 * East China Normal University（东华师范大学） ； Salesforce AI Research（Salesforce人工智能研究） ； Singapore Management University（新加坡国立大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MCP-SafetyBench通过真实MCP服务器评估大型语言模型的安全性，揭示了模型在面对MCP攻击时的脆弱性及安全与实用性的权衡问题。

Comments Our benchmark is available at https://github.com/xjzzzzzzzz/MCPSafety

TrustMH-Bench: A Comprehensive Benchmark for Evaluating the Trustworthiness of Large Language Models in Mental Health

TrustMH-Bench: 一个用于评估大语言模型在心理健康领域可信度的综合基准

Zixin Xiong, Ziteng Wang, Haotian Fan, Xinjie Zhang, Wenxuan Wang

机构 * Renmin University of China, China（中国人民大学） ； Beijing University of Posts and Telecommunications, China（北京邮电大学） ； Hefei University of Technology, China（合肥工业大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 TrustMH-Bench提出了一种综合基准，用于评估大语言模型在心理健康领域的可信度，揭示了现有模型在关键维度上的不足。

NutriBench: A Dataset for Evaluating Large Language Models on Nutrition Estimation from Meal Descriptions

NutriBench：一个用于评估大语言模型从餐食描述中估算营养的基准数据集

Andong Hua, Mehak Preet Dhaliwal, Laya Pullela, Ryan Burke, Yao Qin

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 NutriBench通过评估大语言模型在餐食描述中估算营养的能力，为营养估算提供了新的研究方向和应用可能性。

Comments ICLR 2025

LitBench: A Graph-Centric Large Language Model Benchmarking Tool For Literature Tasks

LitBench: 一种面向文献任务的图中心大型语言模型基准评估工具

Andreas Varvarigos, Ali Maatouk, Jiasheng Zhang, Ngoc Bui, Jialin Chen, Leandros Tassiulas, Rex Ying

机构 * Yale University（耶鲁大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 LitBench是一种用于评估领域特定文献任务的大型语言模型基准工具，通过生成领域特定的文献子图和任务集，提升模型在文献相关任务中的表现。

FeynTune: Large Language Models for High-Energy Theory

FeynTune：用于高能理论的大型语言模型

Paul Richmond, Prarit Agarwal, Borun Chowdhury, Vasilis Niarchos, Constantinos Papageorgakis

机构 * Centre for Theoretical Physics, Department of Physics and Astronomy, Queen Mary University of London（伦敦大学玛丽女王学院理论物理中心，物理与天文学系） ； ITCP & CCTP, Department of Physics, University of Crete（希腊克里特大学物理系ITCP与CCTP） ； Meta ； Amazon（亚马逊公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 FeynTune通过微调Llama-3.1模型，为高能理论物理开发了专门的大型语言模型，并在多个领域数据集上进行了性能比较。

Comments 16 pages; v2: Human evaluation discussion updated, additional training hyperparameters and inference settings included and references added

Journal ref Mach. Learn.: Sci. Technol. 7 025012 (2026)

Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs

自动化网页应用测试：基于大语言模型和屏幕转换图的端到端测试用例生成

Nguyen-Khang Le, Quan Minh Bui, Minh Ngoc Nguyen, Hiep Nguyen, Trung Vo, Son T. Luu, Shoshin Nomura, Minh Le Nguyen

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于大语言模型和屏幕转换图的自动化网页应用测试系统，用于生成端到端测试用例，提升测试覆盖率和鲁棒性。

Comments Published in the Proceedings of JSAI 2025

Long-Tail Knowledge in Large Language Models: Taxonomy, Mechanisms, Interventions and Implications

大语言模型中的长尾知识：分类、机制、干预与影响

Sanket Badhe, Deep Shah, Nehal Kathrotia

机构 * Google（谷歌） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了大语言模型中长尾知识的定义、机制、干预及影响，提出统一框架以理解其表现和挑战。

FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Level in Large Language Models

FGBench: 一个用于大语言模型中功能基团级分子属性推理的数据集和基准

Xuan Liu, Siru Ouyang, Xianrui Zhong, Jiawei Han, Huimin Zhao

机构 * Department of Chemical and Biomolecular Engineering, University of Illinois Urbana-Champaign（化学与生物分子工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Computer Science, University of Illinois Urbana-Champaign（计算机科学系，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 FGBench通过构建包含功能基团级信息的数据集，提升大语言模型在分子属性推理任务中的能力。

Comments NeurIPS 2025 (Datasets and Benchmarks Track)

Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish

评估现代大语言模型在低资源和形态丰富的语言上的表现：跨语言基准测试在粤语、日语和土耳其语之间

Chengxuan Xia, Qianye Wu, Hongbin Guan, Sixuan Tian, Yilun Hao, Xiaoyu Wu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了七种先进LLMs在粤语、日语和土耳其语上的表现，发现专有模型在多语言任务中表现优异，但文化理解和形态泛化仍有不足。

Comments This paper requires XeLaTeX for proper Unicode rendering of Japanese and Cantonese text

Physically Interpretable AlphaEarth Foundation Model Embeddings Enable LLM-Based Land Surface Intelligence

可解释的AlphaEarth基础模型嵌入使基于大语言模型的地表智能成为可能

Mashrekur Rahman

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 基于AlphaEarth基础模型的可解释嵌入，通过检索增强生成实现地表智能，验证了卫星嵌入在环境决策中的有效性。

Taxation Perspectives from Large Language Models: A Case Study on Additional Tax Penalties

大语言模型的税收视角：关于附加税收罚金的案例研究

Eunkyung Choi, Youngjin Suh, Siun Lee, Hongseok Oh, Juheon Kang, Won Hur, Hun Park, Wonseok Hwang

机构 * University of Seoul（首尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型在税收领域的能力，通过PLAT基准测试发现其在复杂法律推理任务中表现有限。

Comments 9 pages

Journal ref EACL 2026 main

TurkBench: A Benchmark for Evaluating Turkish Large Language Models

TurkBench：评估土耳其大型语言模型的基准测试

Çağrı Toraman, Ahmet Kaan Sever, Ayse Aysu Cengiz, Elif Ecem Arslan, Görkem Sevinç, Mete Mert Birdal, Yusuf Faruk Güldemir, Ali Buğra Kanburoğlu, Sezen Felekoğlu, Osman Gürlek, Sarp Kantar, Birsen Şahin Kütük, Büşra Tufan, Elif Genç, Serkan Coşkun, Gupse Ekin Demir, Muhammed Emin Arayıcı, Olgun Dursun, Onur Gungor, Susan Üsküdarlı, Abdullah Topraksoy, Esra Darıcı

机构 * Computer Sci. Dpt., Bilkent Uni.（计算机科学系，比尔肯特大学） ； Mathematics Dpt., Middle East Technical University（数学系，中东部技术大学） ； Turkcell AI（Turkcell人工智能） ； Sociology Dpt., Hacettepe University（社会学系，哈恰塔尔佩大学） ； Computer Engineering Dpt., Bogazici University（计算机工程系，博资基大学） ； Linguistics Dpt., Istanbul University（语言学系，伊斯坦布尔大学） ； Turkish Lang. Dpt., Middle East Technical University（土耳其语言系，中东部技术大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 TurkBench是一个用于评估土耳其大型语言模型能力的综合基准测试，包含21个子任务和6大类别，旨在帮助研究人员改进模型性能。

Comments Accepted by EACL 2026 SIGTURK

Evaluating Large Language Models for Security Bug Report Prediction

评估大型语言模型用于安全漏洞报告预测

Farnaz Soltaniani, Shoaib Razzaq, Mohammad Ghafari

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文评估了基于提示和微调方法在预测安全漏洞报告中的性能，发现提示方法在召回率上表现更好但精度较低，而微调方法在精度上更优但召回率下降，且推理速度更快。

Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models

多模态大语言模型中模态干扰的诊断与缓解

Rui Cai, Bangzheng Li, Xiaofei Wen, Muhao Chen, Zhe Zhao

机构 * Department of Computer Science, University of California-Davis, Davis, CA, United States（计算机科学系，加州大学戴维斯分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种统一的微调框架，通过结合启发式和对抗性扰动的数据增强与输出一致性正则化，有效缓解多模态大语言模型中的模态干扰问题，提升模型的鲁棒性和泛化能力。

Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models

虚拟大脑：迈向大型语言模型中人工通用智能的缺失部件

Yuxi Ma, Chi Zhang, Song-Chun Zhu

机构 * Beijing Insitute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了大型语言模型中人工通用智能的缺失部件，提出智能代理应具备无限任务执行、任务生成、价值系统和现实世界模型等特征，并强调知与行的统一对智能发展的重要性。

Journal ref Proceedings of the Annual Meeting of the Cognitive Science Society, 47 (2025)

A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models

一种面向上下文的双指标框架用于大型语言模型中的置信度估计

Mingruo Yuan, Shuyi Zhang, Ben Kao

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 CRUX是一种面向上下文的双指标框架，通过上下文熵减少和统一一致性检验提升大型语言模型的置信度估计效果。

Bengali Text Classification: An Evaluation of Large Language Model Approaches

孟加拉语文本分类：大型语言模型方法的评估

Md Mahmudul Hoque, Md Mehedi Hassain, Md Hojaifa Tanvir, Rahul Nandy

机构 * Dept. of Computer Science \& Engineering, CCN University of Science 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了大型语言模型在孟加拉语文本分类中的有效性，发现Qwen 2.5模型在体育类别中表现最佳，准确率达72%。

Cleansing the Artificial Mind: A Self-Reflective Detoxification Framework for Large Language Models

净化人工智能：一种用于大型语言模型的自反思净化框架

Kaituo Zhang, Zhimeng Jiang, Na Zou

机构 * University of Houston（休斯顿大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种自反思净化框架，利用LLMs自身能力检测并纠正有毒内容，提升文本生成的安全性和连贯性。

From Implicit to Explicit: Enhancing Self-Recognition in Large Language Models

从隐式到显式：提升大语言模型的自我认知能力

Yinghan Zhou, Weifeng Zhu, Juan Wen, Wanli Peng, Zhengxian Wu, Yiming Xue

机构 * College of Information and Electrical Engineering, China Agricultural University（信息与电气工程学院，中国农业大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CoSur框架，通过改进大语言模型的隐式自我认知能力，在个体呈现范式下提升其自我识别性能。

MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues

MTMCS-Bench: 多轮对话中多模态大语言模型上下文安全性的评估

Zheyuan Liu, Dongwhi Kim, Yixin Wan, Xiangchi Yuan, Zhaoxuan Tan, Fengran Mo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MTMCS-Bench评估多模态大语言模型在多轮对话中的上下文安全性，揭示了安全与效用之间的权衡及现有防护措施的不足。

Comments A benchmark of realistic images and multi-turn conversations that evaluates contextual safety in MLLMs under two complementary settings

CrossTrafficLLM: A Human-Centric Framework for Interpretable Traffic Intelligence via Large Language Model

CrossTrafficLLM: 一种面向人类的基于大语言模型的可解释交通智能框架

Zeming Du, Qitan Shao, Hongfei Liu, Yong Zhang

机构 * Beijing Key Laboratory of Multimedia and Intelligent Software Technology（北京多媒体与智能软件技术重点实验室） ； Beijing Artificial Intelligence Institute（北京人工智能研究院） ； Faculty of Information Technology（信息科技学院） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 CrossTrafficLLM通过结合大语言模型与图卷积网络，实现交通预测与自然语言生成的统一，提升交通智能的可解释性和实用性。

Exploring Iterative Controllable Summarization with Large Language Models

探索基于大语言模型的可控制摘要方法

Sangwon Ryu, Heejin Do, Daehee Kim, Hwanjo Yu, Dongwoo Kim, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok

机构 * GSAI, POSTECH（POSTECH 人工智能研究所） ； CSE, POSTECH（POSTECH 计算科学与工程系） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； AI future lab, KT（KT 人工智能未来实验室） ； LILT（LILT 研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出GTE框架，通过迭代优化提升大语言模型在可控摘要任务中的性能，有效解决属性控制难题。

Comments EACL Findings 2026

OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models

OFFSIDE: 多模态大语言模型中误信信息消除的基准测试

Hao Zheng, Zirui Pang, Ling li, Zhijie Deng, Yuhan Pu, Zhaowei Zhu, Xiaobo Xia, Jiaheng Wei

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、浙江工业大学及D5Data.ai） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 OFFSIDE通过足球转会谣言数据集，评估多模态大语言模型中误信信息消除的挑战与方法，揭示现有技术的局限性。

Large Language Model Sourcing: A Survey

大语言模型的来源：一项综述

Liang Pang, Jia Gu, Sunhao Dai, Zihao Wei, Zenghao Duan, Kangxi Wu, Zhiyi Yin, Jun Xu, Huawei Shen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大语言模型来源的四个维度，并提出双范式分类法以分类现有来源方法，旨在提高模型的透明度和可信度。

Comments 31 pages

Analyzing Cognitive Differences Among Large Language Models through the Lens of Social Worldview

通过社会世界观的视角分析大型语言模型的认知差异

Jiatao Li, Yanheng Li, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院） ； Information Management Department, Peking University（北京大学信息管理系） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过社会世界观分类法分析大型语言模型的认知差异，揭示其在动态社会环境中的适应性与认知灵活性。

Toward Explaining Large Language Models in Software Engineering Tasks

向软件工程任务解释大型语言模型

Antonio Vitale, Khai-Nguyen Nguyen, Denys Poshyvanyk, Rocco Oliveto, Simone Scalabrino, Antonio Mastropaolo

机构 * University of Molise \& Politecnico di Torino Termoli Italy ； University of Molise Italy ； University of Molise \& Politecnico di Torino ； University of Molise 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 FeatureSHAP为软件工程任务提供首个自动化、模型无关的可解释性框架，通过Shapley值归因模型输出，提升代码生成和总结任务的解释性与准确性。

HyperLoad: A Cross-Modality Enhanced Large Language Model-Based Framework for Green Data Center Cooling Load Prediction

HyperLoad: 一种基于大语言模型的跨模态增强框架用于绿色数据中心冷却负荷预测

Haoyu Jiang, Boan Qu, Junjie Zhu, Fanjie Zeng, Xiaojie Lin, Wei Zhong

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 HyperLoad通过预训练大语言模型解决绿色数据中心小样本负载预测问题，利用跨模态知识对齐和多尺度特征建模提升预测精度，实现高效能绿色数据中心管理。

Large Language Models as Pokémon Battle Agents: Strategic Play and Content Generation

大型语言模型作为宝可梦战斗代理：战略玩法与内容生成

Daksh Jain, Aarya Jain, Ashutosh Desai, Avyakt Verma, Ishan Bhanuka, Pratik Narang, Dhruv Kumar

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，比兰） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大型语言模型在宝可梦战斗中的战略决策能力及内容生成能力，展示了其作为动态游戏对手和设计者的潜力。

Comments Under Review

Cross-Language Bias Examination in Large Language Models

大语言模型中的跨语言偏见检验

Yuxuan Liang, Marwa Mahmoud

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出了一种多语言偏见评估框架，通过显性与隐性偏见测量揭示LLM在不同语言中的偏见差异，强调隐性偏见检测的重要性，为公平多语言LLM的发展提供方法基础。

EMNLP: Educator-role Moral and Normative Large Language Models Profiling

EMNLP: 教育者角色道德与规范大型语言模型画像

Yilin Jiang, Mingzi Zhang, Sheng Jin, Zengyi Yu, Xiangjie Kong, Binghao Tu

机构 * College of Education, Zhejiang University of Technology（浙江工业大学教育学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Faculty of Education, East China Normal University（华东师范大学教育学院） ； GuangHua Law School, ZheJiang University（浙江大学光华法学院） ； College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EMNLP框架，用于评估教育者角色LLM的伦理和心理一致性，通过构建88个教师特定道德困境，揭示教师角色LLM在道德推理和情感复杂情境中的表现差异。

Comments 29pages, 15 figures, Accepted by EMNLP Main Confrence