语言大模型 / LLM

Evaluation of Motivational Interviewing Counsellors with Task-Aware Multi-Stage LLM-Based Simulated Clients

基于任务感知多阶段大语言模型（LLM）模拟来访者的动机访谈咨询师评估

Jiading Zhu, Xinyu Cindy Wang, Thomas Nguyen, Yan Qing Lee, Osnat C. Melamed, Peter Selby, Jonathan Rose

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对动机访谈的关键唤起任务，提出Evoke-Sim任务感知多阶段LLM模拟来访者框架，用于戒烟场景下MI咨询师评估，其评估效果优于现有模拟来访者，为相关评估设定了更高标准。

Comments 53 pages

LSEAD: A Privacy-Preserving LLM-Based Speech Analysis Framework for Early Alzheimer's Disease Screening

LSEAD：一种基于大语言模型（LLM）的隐私保护型语音分析框架，用于阿尔茨海默病（AD）早期筛查

Xin Wang, Yingchao Huang, Yuhan Su, Shanshan Yao, Wei Peng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于开源LLM的隐私保护语音分析框架LSEAD，在ADReSS系列数据集上使AD分类准确率提升最多5个百分点，为早期AD筛查提供了实用方案。

Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary

棋盘上的幻觉：工具增强型大语言模型（LLM）象棋评论评估

S. Ashwin Hebbar, Peiyao Sheng, Sewoong Oh, Pramod Viswanath

机构 * Princeton University（普林斯顿大学） ； Sentient Labs ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ACT-Eval框架，评估工具增强型LLM的象棋评论，发现事实幻觉普遍存在，工具可提升事实正确性但战略战术覆盖度仍有限。

Comments 23 pages, 6 figures

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

超越夏普利值：用于大语言模型对齐和评估的基于影响的数据审核管道

Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

机构 * Google（谷歌） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型数据质量问题，引入可扩展的基于影响的数据审核管道，通过映射语义邻域到有向图，利用参考LLM概率分布评估数据效用，转换为局部优势指标，有效清理数据集，揭示基准漏洞，确保数据完整性。

An LLM-Native Psychometric Instrument Reveals a Self-Report--Behavior Gap Across 25 Models

一个原生LLM的心理测量工具不能预测LLM行为：来自25个模型的证据

Juan Manuel Contreras

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过探索性因子分析从LLM行为中构建心理测量工具，发现LLM的自我报告与观察行为无关，揭示自我报告与人类判断之间的混淆因素。

Semantic Early-Stopping for Iterative LLM Agent Loops

迭代式LLM智能体循环的语义早停

Sahil Shrivastava

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多智能体LLM循环中固定迭代次数终止的低效问题，提出基于语义相似度和质量评估的早停机制，理论证明终止确定性，实验表明无质量门控的语义早停在HotpotQA上节省38%操作token且性能持平。

Comments 7 pages, 5 figures, 4 tables. Open implementation, machine-checked theory, and reproducible harness: github.com/SahilShrivastava-Dev/semantic-halting-problem

RAS: Measuring LLM Safety Through Refusal Alignment

RAS: 通过拒绝对齐衡量LLM安全性

Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University ； Hon Hai Research Institute 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出白盒评估方法SafeVec，通过内部表示而非生成答案衡量LLM安全性，计算拒绝对齐分数RAS，实现快速、校准的安全评分。

AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing

AURA: 用于LLM作为评判审计的自适应不确定性感知精炼

Zilong Zhang, Yi-Ting Hung, Weiyi He, Junxi Zhang, Lei Ding, Chi-Kuang Yeh

机构 * Department of Mathematics and Statistics（数学与统计学系） ； Georgia State University（佐治亚州立大学） ； Department of Probability and Statistics（概率与统计学系） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Michigan State University（密歇根州立大学） ； Concordia University（Concordia 大学） ； Department of Statistics（统计学系） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AURA框架，通过自适应不确定性感知精炼，在少量人工验证下迭代学习人类一致性信号，优先审核不确定比较，提升LLM评判的可靠性。

Cost-Optimal LLM Routing with Limited User Feedback under User Satisfaction Guarantees

在用户满意度保证下基于有限用户反馈的成本最优LLM路由

Herbert Woisetschläger, Arastun Mammadli, Ryan Zhang, Shiqiang Wang

机构 * Technical University of Munich（慕尼黑工业大学） ； University of Exeter（埃克塞特大学） ； Horace Greeley High School（霍勒斯格里利高中） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM推理成本与服务质量之间的矛盾，提出SLARouter在线路由算法，利用稀疏单侧用户反馈学习成本最优策略，理论保证成本最优和SLA合规，实验显示成本降低高达2.2倍。

Comments Preprint. Under review

Evaluating LLM Personalization via Semantic Constraint Verification

通过语义约束验证评估LLM个性化

Xuran Li, Guanqin Zhang, Imran Razzak, Hakim Hacid, Eleanna Kafeza, Hao Xue, Flora D. Salim

机构 * University of New South Wales（新南威尔士大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Technology Innovation Institute（技术创新研究所） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出NLICV框架，利用自然语言推理模型将句子映射到真值条件集，验证个性化约束，将LLM行为分为四类，与人类标注高度一致，并大幅降低延迟和成本。

Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact

衡量LLM导师是教学还是解题：教育影响的诊断方法

Junyi Yao, Zihao Zheng, Baichuan Li

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Department of Operations Research and Engineering Management, Southern Methodist University（南卫理公会大学运筹学与工程管理系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM作为教育导师时解题能力不等于教学支持的问题，提出基于解题导向与教学导向基准性能差距的诊断方法，通过MathTutorBench分析表明两者仅部分对齐，建议分开报告评分并明确保护学生能动性的标准。

VHDLSuite: Unified Pipeline for LLM VHDL Generation with Data Synthesis and Evaluation

VHDLSuite：面向LLM VHDL生成的统一流水线，包含数据合成与评估

Yijun Shen, Minghao Shao, Yichen Zhao, Zhuoyan Yu, Boyuan Chen, Yik-Cheung Tam, Muhammad Shafique

机构 * Center for Data Science, NYU Shanghai, China（纽约市立大学上海分校数据科学中心） ； NYU Tandon School of Engineering, USA（纽约大学Tandon工程学院） ； NYU Abu Dhabi, UAE（纽约大学阿布扎比分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出VHDLSuite基础设施，通过自动基准合成、可执行验证和多模型诊断分析，解决LLM在VHDL生成评估中的不足，并构建含200+问题的VHDLBench基准。

Soft-Prompt Tuning for Fair and Efficient LLM Benchmark Evaluation

软提示调优用于公平且高效的LLM基准评估

Selen Erkan, Bastian Boll, Kristian Kersting, Björn Deiseroth, Letitia Parcalabescu

机构 * Aleph Alpha Research Lab（Aleph Alpha 研究实验室） ； TU Darmstadt（达姆施塔特工业大学） ； Hessian.AI（黑森人工智能中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出软提示调优方法，通过优化少量软提示向量使基础模型适应基准格式，公平评估其真实知识，效率高且无需完整后训练。

Comments 10 pages, 4 figures

Impacts of Histories and Models on LLM Grading: A Study in Advanced Software Engineering Courses

历史与模型对LLM评分的影响：高级软件工程课程研究

Qilin Zhou, Zhuo Wang, Yue Li, W. K. Chan

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对研究生阅读报告评分负担重的问题，提出人机协同的LLM辅助评分流程，基于180份作业评估Grok和GPT的评分一致性与人类对齐，发现交互历史导致评分标准漂移，需特定操作缓解不公平。

Comments 5 pages, accepted by ISET 2026

Re-Centering Humans in LLM Personalization

重新将人类置于LLM个性化中心

Lechen Zhang, Jiarui Liu, Tal August

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM个性化在合成数据与人类数据上的性能差距，通过收集人类对话和判断揭示系统在属性提取、相关属性配对和个性化响应生成阶段的局限性，并引入轻量级训练干预以缩小差距。

Prompting-MammAlps: Fine-Grained Text-to-Video Retrieval for Camera-Trap Data

Prompting-MammAlps：用于相机陷阱数据的细粒度文本到视频检索

Valentin Gabeff, Baptiste Maquignaz, Jennifer Shan, Sepideh Mamooler, Gencer Sumbul, Blair Costelloe, Devis Tuia, Alexander Mathis

机构 * Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所） ； University of Konstanz（康斯坦茨大学） 纠错

专题命中 评测与基准 ：prompting(title,title_cn)；LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对相机陷阱数据自动检索视频的难题，提出Prompting-MammAlps基准及细粒度可解释TVR方法，训练视觉变压器并结合大语言模型处理查询，在基准测试中取得较好成绩，优于零样本VLM。

Comments Accepted at ECCV 2026; Project page: https://cnai.epfl.ch/prompting-mammalps

Hype Meets Reality: Large Language Models as Mutators in Search-based Automated Program Repair of Simulink-Stateflow Models

炒作与现实的碰撞：大型语言模型作为基于搜索的Simulink-Stateflow模型自动化程序修复中的变异器

Ayesha Irshad, Pablo Valle, Jon Ayerdi, Aitor Arrieta

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 本文以Simulink/Stateflow建模的CPS为研究对象，扩展FlowRepair方法用LLM生成的变异替换部分算子，受控实验发现该方法大幅降低修复性能，分析指出盲目集成LLM到基于搜索的APR存在根本局限，需发展混合方法。

Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior

训练大型语言模型助教以保留答案：一种用于调整苏格拉底式行为的监督架构与证据驱动方法

Yusuf Pisan

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 本研究提出一种监督架构与证据驱动方法，训练LLM助教执行答案保留，通过自动评估调整苏格拉底式行为，使其在全部四个接受标准上达到完全合规。

Sensor-Level Fault Diagnosis for Automotive Software Validation Using Large Language Models

基于大语言模型的汽车软件验证传感器级故障诊断

Mohammad Abboush, Hamza Ouarrad, Andreas Rausch

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 该研究提出两阶段框架，用经4-bit低秩适配的LLM对HIL平台的汽车传感器记录做故障诊断，最小模型准确率达81.6%，适配循环可在单商用加速器运行。

Doc2CI: A Multi-Service Study of CI Configuration Generation Using Large Language Models

Doc2CI：基于大语言模型的CI配置生成多服务研究

Taher A. Ghaleb

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract_cn)；language model(title,abstract_cn)

AI总结 本文通过构建DOC2CI基准评估LLM生成CI配置的能力，发现其结构有效性不足，提出无需训练的模式引导修复方法提升有效性，为相关工具开发提供依据。

Large Language Models for Software Engineering Diagrams: A Systematic Review of UML and ER modelling

用于软件工程图的大语言模型：UML与ER建模的系统综述

Mojdeh Rahmanian, Ashkan Sami, Yanchao Yu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 该系统综述分析64项2023-2025年研究，指出LLM在UML/ER建模中存在领域失衡、GPT依赖、评估不规范等问题，提出需标准化基准等改进方向。

Reliable isomorphic physics problem generation with large language models

基于大语言模型的可靠同构物理问题生成

Xian Wu, Lindim Ismaili

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 研究利用大语言模型代理工作流程生成同构物理问题，通过结合提示链等技术，在公共网站实现。开发评分标准并测试，89%生成问题可直接用，虽有局限，但显示出基于LLM系统在教学问题生成上的潜力与挑战。

SLMJury: Can Small Language Models Judge as Well as Large Ones?

SLMJury：小型语言模型能否像大型模型一样进行评判？

Anish Laddha, Nitesh Pradhan, Gaurav Srivastava

机构 * LNMIIT ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)

AI总结 提出SLMJury框架，评估小型语言模型作为评判者的能力，发现领域依赖的过度思考效应、领域泛化差异、闭端与开端评判能力分离，以及多智能体辩论降低准确性。

The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations

用于大规模推荐解释的LLM评判模型的生命周期

Emma Yanyang Kong, JJ Tan, Ishan Gupta, Lars Olds, Claire Campbell, David Fagnan, Veli Balin, Rohan Gosain, Louis Garcia, Minsu Jang

机构 * Netflix（网飞公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出用于Netflix大规模推荐解释评估的LLM评判模型生命周期框架，经五周A/B测试证实，其对齐的解释可提升会员对新颖内容的观看及浏览到播放会话量。

WIP: LLM Odyssey: A Game-Based Platform for Teaching LLM Engineering Concepts

工作进展：LLM奥德赛：一个基于游戏的LLM工程概念教学平台

Priyamvada Tripathi

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究介绍开源游戏平台LLM奥德赛，含13个交互式游戏，覆盖LLM工程多主题，按布鲁姆分类设三个学习层级，已在加拿大学院初步部署，将开展50人混合方法评估。

Comments 5 pages, 4 figures. Accepted at the 2026 IEEE Frontiers in Education Conference (FIE 2026), Work in Progress track

Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback

Agent Gym：通过人在回路反馈实现LLM智能体持续评估与演化的框架

Pouya Ghiasnezhad Omran, Michael Zimmermann, Duncan Cambridge, Ashmita Kapoor, Tanya Dixit

机构 * Google Cloud（谷歌云） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Agent Gym是支持LLM智能体持续评估演化的模块化框架，通过人在回路反馈实现行为修正，其发票处理参考验证表明框架实用可用。

Comments 15 pages, 4 figures

TwinGridShield: Consequence-Aware Runtime Authorization for LLM Grid-Agent Actions

TwinGridShield：面向LLM网格智能体动作的后果感知运行时授权

Md Fazley Rafy

机构 * West Virginia University（西弗吉尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TwinGridShield是与模型无关的LLM网格智能体动作运行时授权层，通过确定性网络孪生体评估动作，在匹配模型实验中实现0次不安全发布，模型不匹配下鲁棒性存在一定风险。

Comments 6 pages, 3 figures, 4 tables and accepted in North American Power Symposium 2026

A Hybrid LLM-Based Framework for Automated Security Annotation Generation in Business Process Models

一种基于混合大语言模型（LLM）的业务流程模型自动安全标注生成框架

Md Kamrul Islam, Tiphaine Henry, Mattia Salnitri, Julius Köpke, Sami Souihi

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出一种混合LLM与规则的框架，输入BPMN模型和安全需求文档，自动生成符合SecBPMN2规范的安全标注，在27个流程模型数据集上验证，其准确率优于人工分析师，提升效率与可靠性。

Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments

一致性并非对齐：人类与大语言模型（LLM）伦理判断中的道德依据分歧

Octavian M. Machidon, Alina L. Machidon, Vojko Strahovnik, Mateja Centa Strahovnik, Jonas Miklavčič, Marko Robnik Šikonja

机构 * University of Ljubljana（卢布尔雅那大学） ； Faculty of Computer and Information Science（计算机与信息科学学院） ； Faculty of Theology（神学院） ； Faculty of Arts（艺术学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究以ETHICS基准的500项道德判断条目为对象，发现LLM与人类的最终伦理判断常一致，但道德依据存在系统性分歧，表明一致性不等同于对齐性，仅靠标签评估易产生误导。

Comments 9 pages, 4 figures, 3 tables. Accepted and presented at the AI Transparency Conference (AITC 2026), Nuremberg, Germany, June 5-6, 2026

Making Your LLMs More Objective: Stabilizing LLM Safety Behavior Across Traits with Trait-Invariant Safety Tuning

提升大语言模型的客观性：通过特质不变安全微调稳定LLM在不同特质下的安全行为

Lang Cao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM因系统提示词中特质不同导致同一请求安全决策不一致的问题，提出特质不变安全微调（TIST）框架及TraSN方法，提升跨特质安全稳定性且保留通用能力。