语言大模型 / LLM

SCOPE: Selective Conformal Optimized Pairwise LLM Judging

SCOPE: 选择性保形优化的成对LLM评判

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Faculty of Computer Science, Dalhousie University, Halifax, NS, Canada（达勒豪西大学计算机科学学院） ； Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SCOPE框架，通过校准接受阈值控制非弃权判断的错误率，并引入双向偏好熵（BPE）提供无偏不确定性信号，实现可靠且高覆盖率的LLM成对评估。

Comments Accepted at ICML 2026. 23 pages (9 main plus appendix), 7 figures, 11 tables

Beyond BFI: The CSI for Enhanced Reliability and Validity in Evaluating LLM Personality Traits

超越BFI：用于增强评估LLM人格特质可靠性与有效性的CSI

Huanhuan Ma, Haisong Gong, Xiaoyuan Yi, Xing Xie, Philip S. Yu, Dongkuan Xu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有LLM人格特质评估工具BFI的可靠性与有效性局限，提出适配LLM的CSI，经实验验证其可靠性更高、与模型真实输出相关性超0.85，能有效评估LLM人格特质。

Comments Code available via https://github.com/dependentsign/CSI

WIP: LLM Odyssey: A Game-Based Platform for Teaching LLM Engineering Concepts

工作进展：LLM奥德赛：一个基于游戏的LLM工程概念教学平台

Priyamvada Tripathi

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究介绍开源游戏平台LLM奥德赛，含13个交互式游戏，覆盖LLM工程多主题，按布鲁姆分类设三个学习层级，已在加拿大学院初步部署，将开展50人混合方法评估。

Comments 5 pages, 4 figures. Accepted at the 2026 IEEE Frontiers in Education Conference (FIE 2026), Work in Progress track

TSQueryBench: LLM-as-a-Judge for Time Series Explanations

基于时间序列的LLM作为裁判

Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT（KIIT大学） ； Birla AI Labs（比拉人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。

Comments Accepted at ICML FMSD

A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

在安全调查中使用和评估大语言模型（LLM）作为代理专家的框架：可靠性、偏差及启示

Despoina Giarimpampa, Roland Meier, Tegawendé F. Bissyandé, Vincent Lenders, Jacques Klein

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究提出了评估LLM作为安全调查代理专家的框架，发现LLM虽内部一致但与专家响应存在系统性偏差，可用于试点和假设生成但不能替代专家征询。

Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees

判断、检索或弃权：带有可证明风险保证的不确定性引导大语言模型（LLM）判断

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； New York University Abu Dhabi（纽约大学阿布扎比分校） ； Emory University（埃默里大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL；language model(comments)

AI总结 本研究针对无参考LLM评判的可靠性问题，提出带可证明风险保证的不确定性引导双模式风险控制框架，在维持目标错误率的同时提升了判决覆盖率。

Comments Accepted at Conference on Language Modelling 2026

Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking

大型语言模型（LLMs）能否判断优质假说？基于logit的能量评分在科学假说排序上优于提示式LLM评判器

Swati Rajwal, Sanjay Das, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对科学假说评估难题，提出基于logit的能量评分方法，在12学科1323篇论文的基准测试中，该方法的Hit@1显著优于提示式LLM评判器，展现出模型内在置信度的应用潜力。

Grounding Healthcare LLMs in a Causal Knowledge Graph: Framework, Metrics, and a Cardiovascular Pilot

将医疗大语言模型（LLM）基于因果知识图谱：框架、指标与心血管试点研究

Ummara Mumtaz, Aimen Noor, Awais Ahmed

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出以因果知识图谱为核心的医疗LLM评估框架，在心血管试点中验证其有效性，发现集成条件C4在因果推理相关指标上表现最优，未基于图的C1原始干预准确性最高但缺乏因果与证据基础。

LLM-Guided Evolutionary Search for Algebraic T-Count Optimization

基于LLM的引导进化搜索在代数T计数优化中的应用

Daniil Fisher, Valentin Khrulkov, Mikhail Saygin, Ivan Oseledets, Stanislav Straupe

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出VarTODD方法，通过分离代数重写系统与搜索策略，利用LLM引导的进化算法优化T计数，提升量子电路编译效率。

Comments 13 pages, 5 figures, 2 tables, 2 listings

EvoTS-Agent: A Self-Evolving LLM Agent for Financial Time Series Change Point Detection

EvoTS-Agent：一种用于金融时间序列变点检测的自进化大语言模型智能体

Lei Jiang, Ye Wei, Xinyu Xi, Jordan Langham-Lopez, Yifan Bao, Raad Khraishi, Yihao Ang, Anthony K. H. Tung, Lukasz Szpruch, Hao Ni

机构 * Alan Turing Institute（阿兰·图灵研究所） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； NatWest AI Research（国民西敏寺银行人工智能研究部） ； University of Edinburgh（爱丁堡大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对金融时间序列变点检测难题，提出自进化 LLM 智能体 EvoTS-Agent，经验证引导进化检测流程，在四个基准数据集上表现优于现有同类智能体且执行成功率达100%。

Emergent Misaligned Communication in Long-Horizon Multi-Agent LLM Commerce

长视野多智能体大语言模型商业环境中涌现的对齐失效通信

Zeyuan Li, Lukas Petersson, Alessandro Acquisti, Michiel A. Bakker

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究在Vending-Bench Arena环境中发现，竞争多智能体LLM交易场景会涌现与操作稀缺性、对手行为相关的可测量对齐失效通信，且该现象不受模型能力排名直接影响。

Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses

可解释的人类，陌生的大语言模型：对评估响应中潜在结构的专家分析

Alona Strugatski, Licol Zeinfeld, Jason Cooper, Shelley Rap, Gil Schwarts, Giora Alexandron

机构 * Weizmann Institute of Science（魏茨曼科学研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究结合探索性因子分析与学科专家盲审，发现6个LLMs的评估响应潜在因子与人类认知结构的可解释性存在显著差异，多数LLM因子无法被人类专家解读，揭示其机制与人类推理不同。

Comments Accepted for publication at AIME 2026

Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment

语言模型在神经发育障碍评估中再现了人类的简化主义偏差与决策不一致性

Maciej Wodziński, Joanna Wodzińska, Kacper Dudzic, Marcin Moskalewicz

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 研究通过对比人类与7个LLMs，发现LLMs虽表现出更高智力谦逊，却再现了人类在神经发育障碍评估中的简化主义偏差与决策不一致性，强调需审查AI的神经多样性操作化概念。

A Comparative Study of Feature Selection Methods for EHR Diagnosis Codes in Opioid Use Disorder Prediction

阿片类药物使用障碍预测中用于电子健康记录诊断代码的特征选择方法对比研究

Zihan Ding, Yinan Liu, Tengfei Ma, Rachel Wong, Xia Zhao, Richard N. Rosenthal, Fusheng Wang

机构 * Stony Brook University（石溪大学） ； Rutgers University（罗格斯大学） ； University of Vermont（佛蒙特大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究对比五种特征选择方法在阿片类药物使用障碍预测中的表现，发现NTK敏感性方法在准确性与稳定性间平衡最优，LLM引导选择可提供互补临床信号。

Comments Accepted at the AMIA 2026 Annual Symposium. Author list corrected to match the accepted version

FlowShield: cryptocurrency anti-money laundering with transaction semantics parsing and fund flow tracking

FlowShield：基于交易语义解析与资金流追踪的加密货币反洗钱

Qishuang Fu, Andreas Deppeler, Joseph K. Liu, Yixin Liu, Shirui Pan, Qin Wang, Weiqing Wang, Tsz Hon Yuen

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 FlowShield是一种加密货币反洗钱框架，通过解析交易语义、重构资金流子图并结合LLM与GCN实现洗钱检测，在BybitML等数据集上平均F1达98.0%，还可生成可读报告辅助调查。

LadderTeam: Dual-Agent Laddering Elicitation Framework

LadderTeam：双智能体阶梯式引出框架

Manjushree Aithal, Alexander Kotz, James Mitchell

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 LadderTeam是基于双智能体LLM架构的自动化UX线框图访谈框架，采用三种探测策略，经216次模拟访谈验证，实现高收敛率与可执行响应匹配率，且无主题偏离。

Comments 4 pages, 1 figure, 2 tables, Accepted in ACM AI Summit 2026

Decomposition Attacks Across Unlinkable Identities: Limits of Stateful Defenses for LLM Services

跨不可链接身份的分解攻击：大语言模型服务的有状态防御的局限性

Bowen Sun, Zhengyue Zhao, Xiaogeng Liu, Yinzhi Cao, Chaowei Xiao

专题命中 评测与基准 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究发现，针对跨不可链接身份的分解攻击，现有有状态防御策略在攻击者可重试学习时无法有效阻止攻击，需引入身份链接等额外分组相关机制。

Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases

大语言模型能否以具有法律意义的方式进行推理？针对欧洲人权法院案件的小规模研究

Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen

机构 * University of Copenhagen（哥本哈根大学） ； Faculty of Law, University of Copenhagen（哥本哈根大学法学院） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究以欧洲人权法院案件为测试平台，评估OpenAI GPT 5.4的法律推理表现，发现其推理质量不足、LLM评估不可替代人工，且专家提示未提升预测准确率。

Comments 24 pages, 4 figures, 4 tables, Submitted to AI4LAW Workshop at ICML 2026

When to Review: Spaced Repetition for Continual Pre-Training of Language Models

何时复习：语言模型持续预训练的间隔重复方法

Alankar Atreya, Devesh Batra, Yoages Kumar Mantri, Geremy Bantug, Greig A Cowan, Raad Khraishi

机构 * University College London（伦敦大学学院） ； NatWest AI Research（国民西敏寺银行人工智能研究部） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出受认知科学启发的SRT框架，采用SM-2算法调度样本重放，可恢复大型语言模型持续预训练中5至37个百分点的旧知识准确率，同时保留或提升新知识获取能力。

KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn

KnowSim：用学习的用户模拟器评估大语言模型助手的信息校准

Yoonjoo Lee, Hyoungwook Jin, Tae Soo Kim, Shaoyang Zhang, Philippe Laban, Q. Vera Liao

机构 * University of Michigan（密歇根大学） ； KAIST（韩国科学技术院） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出KNOWSIM框架，通过带显式知识状态的用户模拟器评估LLMs的信息校准，验证后其性能优于基线，可揭示用户知识水平与LLMs的适配关系。

Comments 30 pages, 6 figures, 16 tables

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

混合专家模块包含强幻觉检测信号

Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出首个利用混合专家（MoE）专属内部信号的InnerExpert方法，在五个数据集和两种MoE架构上，以单次前向传播实现优于现有方法的逐词幻觉检测性能。

Does Unification Come at a Cost? Uni-SafeBench: A Safety Benchmark for Unified Multimodal Large Models

统一是否带来代价？Uni-SafeBench：一种用于统一多模态大模型的安全基准

Zixiang Peng, Yongxiu Xu, Qin-Yi Zhang, Jiexun Shen, Yi-Fan Zhang, Hongbo Xu, Yubin Wang, Gaopeng Gou

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Uni-SafeBench，用于评估统一多模态大模型的安全性，发现统一过程虽提升能力但显著降低基础LLM的安全性，开源资源以促进更安全的AGI发展。

When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era

当写作风格发生漂移：在体裁、时间与AI时代的分布偏移下对作者验证进行基准测试

Lotta Kiefer, Brisca Balthes, Christoph Leiter, Yamen Ajjour, Elena Schmidt, Steffen Eger

机构 * University of Technology Nuremberg (UTN)（纽伦堡工业大学（UTN）） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本研究推出首个德语作者验证基准AVShift，对跨体裁、时间及AI时代分布偏移下的作者验证进行基准测试，发现微调LLM跨体裁泛化最佳，时间漂移是影响作者验证的最强因素之一，未观测到可测量的AI时代分布偏移。

Eval4Sim: An Evaluation Framework for Persona Simulation

Eval4Sim: 一种用于人设模拟的评估框架

Eliseo Bao, Anxo Perez, Javier Parapar, Xi Wang

机构 * University of Sheffield（谢菲尔德大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Eval4Sim提出了一种评估框架，用于衡量模拟对话与人类对话模式的契合度，通过三个互补维度评估人设的忠实性、一致性和自然性。

Comments Accepted at CIKM 2026

Electromagnetic World Model for 6G: A Unified Framework for Joint Environment Reconstruction and Channel Prediction

面向6G的电磁世界模型：环境重建与信道预测的统一框架

Yizhu Zhao, Li Yu, Jianhua Zhang, Yuxiang Zhang, Zhen Zhang, Guangyi Liu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对6G智能终端需同时实现环境感知与通信的需求，提出EMWM统一框架，融合多模态信息完成信道预测与环境重建，性能优于基线方法，具备鲁棒性与零样本泛化能力。

Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation

将AI智能体建立在契约基础上：对规范驱动测试生成的实证评估

Michele Tufano, James McClure, José Cambronero, Runxiang Cheng, Sherry Y. Shi, Renyao Wei, Dorothy Chen, Franjo Ivančić, Livio Dalloro, Pat Rondon

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 本研究针对LLM智能体生成测试时易遗漏契约相关边界的问题，提出规范驱动测试生成方法，经Google生产缺陷评估，其缺陷检测率、分支覆盖率均优于基线，测试套件质量也显著更高。

LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models

LiveHouse-TS：面向时间序列基础模型的开放世界动态基准

Haomin Wen, Ziyu Zhou, Qingxiang Liu, Siru Zhong, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出首个面向时间序列基础模型（TSFMs）的开放世界动态基准LiveHouse-TS，通过序贯评估发现静态基准的模型排名在动态环境下会剧烈变化，为评估TSFMs的长期鲁棒性提供了新框架。

Which Source Wins? Task-Dependent Reliance in Vision-Language Models

哪个来源更胜一筹？视觉-语言模型中依赖关系的任务依赖性

Rodela Ghosh, Aviral Gupta, Guangjing Wang

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究探究视觉-语言模型的模态依赖，通过构建算术与图表冲突基准，发现其依赖关系随任务、证据结构等变化，不同模型在对应基准中呈现相反的模态依赖模式。

Comments 20 pages. Under review

How to make the most of your masked language model for protein engineering

如何充分利用你的掩码语言模型进行蛋白质工程

Calvin McCarter, Nick Bhattacharya, Sebastian W. Ober, Hunter Elliott

机构 * BigHat Biosciences（BigHat生物科学公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种灵活有效的掩码语言模型采样方法，通过系统评估模型和方法在抗体工程中的实际应用，揭示采样方法对生物性质优化的重要性。

Comments Accepted into the GEM Workshop, ICLR 2026

Quantifying Memorization and Privacy Risks in Genomic Language Models

量化基因组语言模型中的记忆化与隐私风险

Alexander Nemecek, Wenbiao Li, Xiaoqian Jiang, Jaideep Vaidya, Erman Ayday

机构 * Case Western Reserve University（凯斯西储大学） ； UTHealth（UT健康） ； Rutgers University（罗格斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出多向量隐私评估框架，量化基因组语言模型的记忆风险与隐私威胁，揭示不同架构和训练制度下的记忆差异。

Comments Accepted at ACM BCB 2026