语言大模型 / LLM

A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth

一种面向评委的排名框架：无需真实标签评估大语言模型

Mingyuan Xu, Xinzi Tan, Jiawei Wu, Doudou Zhou

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种面向评委的排名框架，通过引入评委特定的辨别参数扩展Bradley-Terry-Luce模型，在不参考标签的情况下联合估计潜在模型质量和评委可靠性，从而提高人类偏好的一致性，提高数据效率，并产生校准的不确定性量化。

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

语言模型在开放式任务中的自动化创造力评估

Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

机构 * Raffles Institution（莱佛士书院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院） ； Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学人工智能医学中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种领域无关的自动化框架，通过语义熵和检索式多智能体评估，量化LLM在开放式任务中的发散与收敛创造力，并在问题解决、研究构思和创意写作三个领域验证其有效性。

Comments Accepted to ACL 2026 (Main Conference). 35 pages, 16 figures. Code: https://github.com/tanminsen/creativity-eval

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

On the Limits of LLM-as-Judge for Scientific Novelty Assessment

论LLM作为评审在科学新颖性评估中的局限性

Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria

机构 * DeCLaRe Lab, Nanyang Technological University（德克莱实验室，南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过构建RQ-Bench基准，发现LLM评审对模型生成的研究问题产生新颖性幻觉，而人类专家则持相反意见，揭示了LLM在评估科学新颖性时的可靠性问题。

Schützen: Evaluating LLM Safety in Bulgarian and German Contexts

Schützen: 在保加利亚语和德语语境中评估LLM安全性

Kiril Georgiev, Yuxia Wang, Dimitar Iliyanov Dimitrov, Preslav Nakov, Ivan Koychev

机构 * Sofia University "St. Kliment Ohridski" MBZUAI（索菲亚大学"圣克莱门特·奥赫里德斯基" MBZUAI） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有安全评估数据集以英语和中文为主的问题，构建了覆盖低资源语言保加利亚语和高资源语言德语的Schützen安全数据集，实验揭示多语言LLM在安全行为上的显著跨语言差异，强调了区域特定评估资源的必要性。

Comments 19 pages, 13 tables, 12 figures

LaQual: An Automated Framework for LLM App Quality Evaluation

LaQual: 一种用于LLM应用质量评估的自动化框架

Yan Wang, Xinyi Hou, Junjun Si, Yanjie Zhao, Weiguo Lin, Haoyu Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LaQual自动化框架，通过静态指标筛选和动态场景评估，实现LLM应用质量评估，与人类判断高度一致，可减少66.7%-81.3%候选应用。

Substrate Asymmetry in User-Side Memory: A Diagnostic Framework

用户侧记忆中的子模块不对称性：一个诊断框架

Youwang Deng

机构 * EpistemicaLab — Independent Research（EpistemicaLab — 独立研究） 纠错

专题命中 评测与基准 ：RLHF(summary_cn,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一个诊断框架，将LLM用户侧记忆分解为行为一致性、事实存在和事实缺失三个正交子模块，发现参数记忆与检索记忆在不同子模块上存在不对称性，且RLHF调优加剧了这种不对称性。

Comments Preprint. Code: https://github.com/EpistemicaLab/substrate-asymmetry-memory

Exploration Structure in LLM Agents for Multi-File Change Localization

LLM代理中的探索结构用于多文件变更定位

Akeela Darryl Fattha, Kia Ying Chua, Lingxiao Jiang, Laura Wynter

机构 * School of Computing and Information Systems, Singapore Management University（计算与信息系统学院，新加坡国立管理学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 针对多子系统变更场景，提出非线性、领域范围的并行代理探索结构，在SWE Bench Pro基准上，小规模Haiku类模型通过领域代理并行生成实现高微F1分数，优于线性顺序探索。

TimeRouter: Efficient and Adaptive Routing of Time-Series Foundation Models

TimeRouter: 时间序列基础模型的高效自适应路由

Kanghui Ning, Yushan Jiang, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song

机构 * University of Connecticut（康涅狄格大学） ； Salesforce AI Research ； JP Morgan AI Research（摩根大通人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；foundation model(title,abstract)；分类 cs.LG

AI总结 提出TimeRouter框架，通过轻量判别路由、选择性门控和集成回退实现时间序列基础模型的自适应选择，无需LLM推理，在GIFT-EVAL榜单取得最优性能。

FinTradeBench: A Financial Reasoning Benchmark for LLMs

FinTradeBench: 面向LLM的金融推理基准

Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

机构 * University of Central Florida（佛罗里达中央大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出FinTradeBench基准，通过结合公司基本面与交易信号，评估大语言模型在金融推理中的表现，发现检索增强对数值和时间序列推理帮助有限。

Comments 9 pages main text, 31 pages total (including references and appendix). 5 figures, 16 tables. Preprint under review. Code and data will be made available upon publication

PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference

PoQ-Judge：去中心化LLM推理中成本感知的证明质量的多架构评估框架

Arther Tian, Alex Ding, Frank Chen, Simon Wu, Aaron Chan

机构 * DGrid AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PoQ-Judge框架，训练专用裁判模型对查询-输出对进行无参考评分，研究三种架构，最佳模型在Pearson相关性上达到0.747，级联评估降低72.7%成本。

Automated Scoring of Arabic Text Using Large Language Models: A Literature Review

使用大型语言模型对阿拉伯语文本进行自动评分：文献综述

Khaoula Dahimi, Hadda Cherroun, Amel Belabbaci

机构 * Laboratoire d’Informatique et de Mathématiques LIM, Amar Telidji University（阿马尔·特里吉大学计算机与数学实验室） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文综述了基于大型语言模型的阿拉伯语文本自动评分方法，包括简答题评分和作文评分，提出了包含五个维度的分类体系，并对比分析了现有研究的方法、数据集和性能。

Comments Accepted at NCMAI 2026

Neuron-based Personality Trait Induction in Large Language Models

基于神经元的大语言模型人格特质诱导

Jia Deng, Tianyi Tang, Yanbin Yin, Wenhao Yang, Wayne Xin Zhao, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院） ； Tongyi Lab（通义实验室） ； Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出基于神经元的大语言模型人格特质诱导方法，通过构建PersonalityBench数据集、识别人格相关神经元并调整其值，实现无需训练的参数级控制，效果媲美微调模型。

Comments 25 pages. Published at ICLR 2025

Journal ref The Thirteenth International Conference on Learning Representations (ICLR 2025), 2025

Lung-R1: A Knowledge Graph-Guided LLM for Pulmonary Diagnostic Reasoning

Lung-R1：知识图谱引导的肺部诊断推理大语言模型

Haoyang Zeng, Yuanxi Fu, Rongzhen Li, Yuming Yang, Xiao Sun, Jingwang Huang, Gujie Shao, Guohui Xiang, Quan Lu, Dongfan Ye, Xuetao Chen, Jiang Zhong, Kaiwen Wei, Zhi Xu

机构 * School of Computer Science, Chongqing University（重庆大学计算机学院） ； AI Research Institution, Mashang Financial Institution（马上金融人工智能研究院） ； Department of Information, Third Military Medical University（陆军军医大学信息系） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LungKG知识图谱和Lung-R1模型，通过KG约束的推理链构建和强化学习，解决肺部知识到病例诊断的差距，在EMR诊断任务上达到SOTA。

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

当探测精度饱和时，脆弱性揭示问题：LLM预训练分析的互补度量

Orion Reblitz-Richardson

机构 * Distiller Labs 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对线性探测在预训练中精度快速饱和的问题，提出脆弱性度量，通过激活噪声水平衡量探测鲁棒性，揭示精度无法捕捉的表示结构演化。

Comments 22 pages, 5 figures. Code and datasets at https://github.com/deepsteer/deepsteer

Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

我们的模型建立在哪些模型之上？审计现代LLM中的隐形依赖

Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

机构 * University of California, Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 本文提出ModSleuth系统，通过递归重建LLM依赖图，揭示多跳许可义务、训练-评估耦合等隐藏依赖问题，并发布工具和依赖图以支持透明分析。

MSUE: Multi-Modal Soccer Understanding Expert

MSUE：多模态足球理解专家

Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou

机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。

Comments 6 pages, 1 figures

MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios

MobilityBench：用于评估真实世界移动场景中路径规划智能体的基准

Zhiheng Song, Jingshuai Zhang, Chuan Qin, Chao Wang, Chao Chen, Longfei Xu, Kaikui Liu, Xiangxiang Chu, Hengshu Zhu

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； AMAP, Alibaba Group（阿里集团AMAP） ； Alibaba Group（阿里集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MobilityBench基准，通过确定性API重放沙箱和多维评估协议，系统评估基于LLM的路径规划智能体，发现现有模型在偏好约束路径规划上表现不佳。

Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering

通过激活引导克服全双工口语语言模型中的状态惯性

Cheng-Kuang Chang, Kai-Wei Chang, Alexander H. Liu, James Glass

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对全双工口语模型在用户打断时响应延迟的问题，提出基于感知向量的激活引导方法，无需微调即可显著提升中断理解能力。

How Seemingly Inconsequential Design Choices Dictate Performance of LLMs in Pathology

看似无关紧要的设计选择如何决定病理学中LLM的性能

Kian R. Weihrauch, Thomas A. Buckley, William Lotter, Arjun K. Manrai

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） ； Dana-Farber Cancer Institute（丹娜-法伯癌症研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过系统因子分析发现，调整补丁大小、放大倍数等输入配置可使通用大语言模型在病理切片任务上性能大幅提升，缩小与专用模型的差距。

Risk Under Pressure: Compute-Aware Evaluation of Adversarial Robustness in Language Models

压力下的风险：语言模型对抗鲁棒性的计算感知评估

Malikeh Ehghaghi, Boglárka Ecsedi, Marsha Chechik, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Hugging Face 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于计算压力（累积FLOPs）的对抗鲁棒性评估框架，通过风险-计算曲线和两个新指标，揭示不同攻击策略的计算成本差异，并在10个模型上验证了对齐训练、模型规模等因素对计算空间鲁棒性的非单调影响。

APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection

APEX: 具有动态数据选择的自动提示工程专家

Fei Wang, Si Si, Cho-Jui Hsieh, Inderjit S. Dhillon

机构 * Google（谷歌） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出APEX框架，通过动态数据分层（易、难、混合）优先选择高杠杆子集，在固定预算下提升提示优化效率，在三个基准上平均提升11.2%和6.8%。

Semantic Grading of Written Answers in Low-Resource Language Bangla Using a Fine-Tuned Lightweight Language Model

低资源语言孟加拉语中书面答案的语义评分：使用微调轻量级语言模型

Meherun Farzana, Aniket Joarder, Mahmudul Hasan, Md. Mosaddek Khan

机构 * Computer Science and Engineering, University of Dhaka（达卡大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 针对低资源语言孟加拉语，提出一种基于微调轻量级语言模型的双语评估系统，通过语义正确性而非词汇重叠进行自动评分，在合成和人工评估中均取得最优性能。

Comments 10 pages, 5 figures, 2 tables. Preprint

System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5

CCL25-Eval 任务5系统报告：新数据集与LoRA微调Qwen2.5

Haotao Xie

机构 * The Hangzhou International Innovation Institute Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对古典诗歌翻译与情感理解任务，构建高质量指令数据集CCPoetry-49K，并采用LoRA微调Qwen2.5-14B模型得到PoetryQwen，在CCL25-Eval任务5上取得0.757分，较基线提升9.7%。

Measuring Semantic Progress in Multi-turn Dialogue via Information Gain

通过信息增益衡量多轮对话中的语义进展

Paul He, Shiva Kasiviswanathan, Dominik Janzing

机构 * NTU Singapore（新加坡南洋理工大学） ； Amazon（亚马逊） ； Amazon Research, Tübingen, Germany（亚马逊研究院（德国图宾根）） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出基于信息论的信息增益指标，通过高斯嵌入近似量化多轮对话中问题相关的语义进展，无需LLM推理，在多个基准上取得与人类判断一致的结果。

Comments Preprint. 26 pages

Every Act Has Its Price: Compressed Moral Composition in Frontier LLMs

每个行为都有代价：前沿大语言模型中的压缩道德组合

Weijia Zhang, Ruiqi Chen, Yunze Xiao, Weihao Xuan

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 针对现有道德基准仅评估孤立行为偏好的不足，提出Moral Trolley Arena两阶段盲ELO基准，通过校准个体道德行为并组合为双行为项，发现前沿LLM的道德判断呈压缩而非简单加性关系。

GrowLoop: Self-Evolving Conversation Evaluation Seeded by Human

GrowLoop: 由人类种子驱动的自进化对话评估

Yihang Lin, Yunze Gao, Zeyang Lin, Dongbo Li, Kun Peng, Yue Liu

机构 * Amap, Alibaba Group（阿里集团阿地图） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对开放域对话中类人性评估的隐性知识、标准分歧和动态演化三大挑战，提出GrowLoop自进化评估系统，通过最小人工种子标注和启发式学习迭代提取评估标准，并利用标准-案例协同进化机制持续适应模型进步和场景变化。

Evaluating LLM-Generated Code: A Benchmark and Developer Study

评估大语言模型生成的代码：一个基准和开发者研究

Joanna Szych, Anne Schwerk

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种定制的树折评估方法，用于评估大语言模型生成的代码，弥补了现有基准在代码质量和可操作性方面的不足，并通过对比三个通用大语言模型展示了其有效性。

Comments Accepted for publication at EASE '26/EQUISA workshop

Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study

AI IDE中的规则分类与演化：挖掘与调查研究

Guangzong Cai, Ruiyin Li, Peng Liang, Zengyang Li, Mojtaba Shahin

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Central China Normal University（中央师范大学计算机学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过挖掘83个开源项目中的7310条规则和99份从业者调查，建立了包含5个主类和25个子类的规则分类法，发现开发者重视架构约束但实际配置多为低级工作流和代码格式规则，规则演化主要由建设性上下文扩展和丰富驱动，且更新规则可使工件合规率平均提升22.99%。

Comments 52 pages, 21 images, 8 tables, Manuscript submitted to a Journal (2026)

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

一次越狱，多种语言：学习语言无关的意图表示用于多语言越狱检测

Shuyu Jiang, Kaiyu Xu, Xingshu Chen, Hao Ren, Rui Tang, Yi Zhang, Tianwei Zhang, Hongwei Li

机构 * School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院） ； School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多语言LLM安全漏洞，提出MLJailDe框架，通过多语言回译数据增强和相对距离约束，实现跨语言越狱检测，F1达98.5%。