语言大模型 / LLM

The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge

自信的撒谎者：利用对数概率和LLM作为评判诊断多智能体辩论

Ali Keramati, Justin Cheok, Jacob Horne, Mark Warschauer

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系，发现信心与推理质量在构造者上关联更强，且信心可检测关键推理失败。

Comments 15 pages, 7 figures, 1 table, ACL proceedings

Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures

因果智能体回放：LLM智能体故障的反事实归因

Jaineet Shah

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出Causal Agent Replay (CAR)方法，通过结构因果模型和干预操作，对LLM智能体失败步骤进行反事实归因，解决现有方法无法定位决策步骤的问题。

Comments Open-source: https://github.com/jaineet17/causal-agent-replay

Cherry-pick Override: Unsafe Directional Commitment in LLM Judges under Mixed Evidence

Cherry-pick Override：混合证据下LLM法官的不安全方向性承诺

Haoran Xu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对混合证据场景，发现LLM法官会错误地返回方向性裁决（SUPPORTS/REFUTES）而非授权非方向性裁决（CONFLICTING），定义为Cherry-pick Override（CCO）；通过诊断协议和干预实验，提出外部承诺控制层分离裁决生成与授权。

Comments 12 pages, 1 figure

Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees

判断、检索或弃权：带有可证明风险保证的不确定性引导大语言模型（LLM）判断

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； New York University Abu Dhabi（纽约大学阿布扎比分校） ； Emory University（埃默里大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL；language model(comments)

AI总结 本研究针对无参考LLM评判的可靠性问题，提出带可证明风险保证的不确定性引导双模式风险控制框架，在维持目标错误率的同时提升了判决覆盖率。

Comments Accepted at Conference on Language Modelling 2026

Training Chemical Plausibility-Aware Large Language Models for Single-Step Retrosynthesis

面向单步逆合成的化学合理性感知大语言模型训练

Bogdan Zagribelnyy, Ivan Ilin, Nikita Bondarev, Maksim Kuznetsov, Mathieu Reymond, Vladimir Aladinskiy, Alex Aliper, Alex Zhavoronkov

机构 * Insilico Medicine AI Limited（英矽智能人工智能有限公司） ； Insilico Medicine Canada Inc.（英矽智能加拿大公司） ； Insilico Medicine Hong Kong Ltd.（英矽智能香港有限公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract)；prompting(abstract)

AI总结 该研究针对单步逆合成的一对多特性，提出Top-K提示范式，构建超大规模反应数据集训练C3LM，结合特定奖励机制在基准上达最优性能，为逆合成系统提供新方向。

CoSA: Context-Aware Severity Assessment via Context Analysis with Large Language Models

CoSA：基于大语言模型的上下文分析实现上下文感知的漏洞严重程度评估

Jinfeng Jiang, Yikun Li, Chengran Yang, Ting Zhang, Wen Bin Leow, Yide Yin, Eng Lieh Ouh, Lwin Khin Shar, David Lo

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 CoSA是一种基于大语言模型的上下文感知漏洞严重程度评估方法，通过两阶段仓库剪枝策略与Transformer预测器，在6816个CVSS标注实例上较最优基线提升了14.4%准确率与15.3% Macro-F1

Locating and Controlling Implicit Personalization in Large Language Models

定位并控制大语言模型中的隐式个性化

Yueru Yan, Siqi Wu, Thai Le

机构 * Indiana University（印第安纳大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对5种大语言模型，发现追踪推荐变化的局部内部激活信号与隐式个性化行为相关，移除对应信号可抑制线索影响且保留基准性能，为控制大语言模型隐式个性化提供了因果控制思路。

Can Large Language Models Represent Urban Publics? Behavioral Replication and Population Mismatch in an Affordable-Housing Experiment

大语言模型能否代表城市公众？经济适用房实验中的行为复制与人口匹配问题

Yuxuan Cai, Yequan Hu, Hongqian Li, Zhanghong Ju, Shuying Guo

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 该研究以美国经济适用房调查实验对比8款开放权重LLMs与843名受访者，发现LLMs虽能近似部分总体对比，却无法保留人口结构、组内异质性等关键特征，城市规划的模型评估需测试空间与社会结构的模拟保留情况。

Comments Yuxuan Cai and Yequan Hu contributed equally to this work

Vehicle Routing Problem Meets Large Language Models: An Overview and Perspectives

车辆路径问题遇上大语言模型：综述与展望

Xianchao Xiu, Chong Shen, Yanjiao Zhu, Wanquan Liu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 综述大语言模型在车辆路径问题中的应用，涵盖模型构建、算法设计、协调工具等角色，并讨论基准测试与实验。

Comments working in process

INCARBench: A Benchmark for Scientific Configuration in VASP INCAR by Large Language Models

INCARBench: 大型语言模型在VASP INCAR科学配置中的基准测试

Bin Shao, Jixiang Li, Xinyue Zhang, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)

AI总结 提出INCARBench基准，通过配置生成与修复任务评估LLM在VASP输入配置上的能力，发现参数级正确性不保证科学有效性，错误集中在DFT+U、磁性和关联材料等物理耦合设置中。

A Survey of Large Language Models for Perception and Measurement of Human Psychology

大型语言模型在人类心理感知与测量中的综述

Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文系统综述了大型语言模型（LLMs）作为人类心理测量工具的应用，从理论可行性、测量方法和应用效果三个维度构建分析框架，探讨其在人格评估和心理健康评价中的有效性及局限。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems

Large Language Model-Driven Cooperative Operator Ensemble Evolution for Permutation Flow Shop Scheduling

大语言模型驱动的合作算子集成进化用于置换流水车间调度

Rui Xu, Yufan Liao, Haoze Lv, Shengcai Liu, Yi Mei, Ke Tang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对置换流水车间调度问题中经典迭代贪婪算法因单一破坏算子导致搜索停滞的问题，提出多算子IG算法IG-DOE，通过停滞触发的顺序切换机制增强探索，并引入大语言模型辅助框架SCOE自动构建高质量破坏算子集成。

Stopping and Routing LLM Judge Panels

停止与路由大语言模型（LLM）评审小组

Bin Zhu, Yi Xie, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究将LLM评审小组设计建模为角色条件分配问题，提出策略优化评审调用，经多类审计对比，生成可复用的评审调用计划。

Comments 21 pages, 2 figures, 20 tables. Accepted at WISE 2026

Rethinking the Evaluation and Optimization of LLM-Based Social Simulation

重新思考基于大语言模型（LLM）的社会模拟的评估与优化

Pei Wang, Xu Chen, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM社会模拟中基于准确率的评估与硬标签训练的缺陷，提出主观性自适应软标签训练（SALT），构建SUBJSIM基准并验证其在现实场景下的可行性与优势。

Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model

可读、忠实、可用：语言模型中人口统计身份的三个可分离属性

Fathin Difa Robbani

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 该研究探究LLM中人口统计身份的三个可分离属性，通过对Mistral-7B等模型的分析，发现可读、忠实、可用三者分离，为LLM模拟人群的相关辩论提供了新视角。

Comments 30 pages, 6 figures

Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking

大型语言模型（LLMs）能否判断优质假说？基于logit的能量评分在科学假说排序上优于提示式LLM评判器

Swati Rajwal, Sanjay Das, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对科学假说评估难题，提出基于logit的能量评分方法，在12学科1323篇论文的基准测试中，该方法的Hit@1显著优于提示式LLM评判器，展现出模型内在置信度的应用潜力。

Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

何时停止：LLM评估的贝叶斯最优停止

Toby D. Pilditch

机构 * UK AI Security Institute（英国人工智能安全研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究提出optstop框架，将LLM评估视为序贯测量问题，基于分层贝叶斯推理实现自适应停止，可减少评估试验量且不影响结论，为LLM评估计算资源分配提供新方式。

AgentRewind: Recoverable Execution for Long-Horizon LLM Agents

AgentRewind：面向长 horizon LLM 智能体的可恢复执行框架

Yu Zhuang, Kefei Chen, Yitong Duan, Shuxin Zheng, Jian Li, Xu-Yao Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 AgentRewind 是面向长周期 LLM 智能体的运行时恢复框架，通过记录检查点支持状态回退，结合自建基准 MettleBench 实验，可提升智能体任务成功率与清单进度。

Comments 19 pages, 5 figures

ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents

ToolHazard：用于基于大语言模型智能体的安全评估与对齐的可扩展对抗环境

Yutao Mou, Pengfei Yang, Zhe Yin, Zhangchi Xue, Xiaotian Luan, Dingyao Yu, Tong Zhang, Shikun Zhang, Wei Ye

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对集成外部工具的LLM智能体的安全漏洞问题，提出可扩展对抗环境合成框架ToolHazard，构建ToolHazard-Bench测试智能体，生成的对齐数据可提升智能体安全性且保留任务效用。

Comments Work in Progress

AgenticTwin: An Agentic LLM Framework Integrated with Digital Twin for Anomaly Detection

AgenticTwin：集成数字孪生的智能体大语言模型异常检测框架

Touseef Hasan, Mounika Ghanta, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（威奇托州立大学计算机学院） ； Auburn University（奥本大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出AgenticTwin框架，整合LLM推理与数字孪生异常检测管道，构建基准评估管道并验证轻量级开源LLM部署可行性，可提升异常诊断、检索及缓解质量。

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

面向NLPCC 2026共享任务6的EVIL-Detect：大语言模型生成文本检测

Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对中文场景下LLM生成文本检测需求，提出带冲突感知融合的多信号集成框架EVIL-Detect，整合多类信号并校准决策边界，在NLPCC 2026共享任务6中获宏F1 0.8888且排名第一。

Comments Accepted by NLPCC 2026 Shared Tasks

Fair on the Surface? Benchmarking Hidden-Output Fairness Gaps in LLM Recommenders

表面上公平？对LLM推荐器的隐藏输出公平性差距进行基准测试

Chan Aristella Lu, Arya Fayyazi, Junhao Zhang, Saeid Shokoufa, Yue Xing, Zhen Xiang, Kyu Hyung Lee, Mehdi Kamal, Massoud Pedram

机构 * University of Georgia（佐治亚大学） ； University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 该研究提出首个联合评估LLM推荐器可观测输出与隐藏表示公平性的基准FairGap，发现二者存在根本张力，现有框架无法诊断。

Opportunity Is Not Realizability: Selection-Valid Diagnostics for Multi-LLM Routing

机遇并非可实现性：多大型语言模型（LLM）路由的选择有效诊断方法

Ibne Farabi Shihab, Abu Sa-Adat Mohamed Moon-Im Al Ahsan, Md Najmus Swaqeeb

机构 * Iowa State University（爱荷华州立大学） ； BRAC University（BRAC大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 该研究针对多LLM路由的神谕路由诊断缺陷，提出选择有效置信区间方法，通过实验发现可部署路由器仅能恢复部分神谕机遇，且最佳策略的增益下限可能为零。

MOSAIC: Adversarial Co-evolution of Specialist Heuristics and Problem Instances for LLM-based Automated Heuristic Design

MOSAIC：针对基于大语言模型的自动启发式设计的专用启发式算法与问题实例的对抗性协同进化

Oguzhan Gungordu, Siheng Xiong, Faramarz Fekri

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出MOSAIC框架，通过对抗性协同进化组合优化问题的专用启发式算法与问题实例，构建区域专用启发式算法池，所提取的组合在各类基准测试中均优于现有最先进的基于LLM的自动启发式设计方法。

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

Fisher-R1：训练用于可靠假设检验的大语言模型智能体

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究构建了含425项多领域假设检验任务的P-Bench基准，训练出Fisher-R1智能体，其在P-Bench上较DeepSeek-V4-Pro单试验成功率平均提升21%，证明强化学习可提升LLM的统计推理可靠性。

Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints

在智能体间拆分分诊决策是隐藏偏差还是有助于发现偏差？审计能力约束下基于大语言模型的资源分配多智能体模拟研究

Paul-Peter Arslan

机构 * Institute for Future Technologies（未来技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究通过多智能体模拟发现，在LLM资源分配中拆分决策为多智能体流程未显著改变偏差发生率，但审计能力影响偏差发现率，风险排序审核可提升覆盖范围。

Comments 6 pages, 2 figures, 3 tables. Code and data available at https://github.com/Polpii/policy-town

An Exploratory Evaluation of LLM-Assisted Rewriting of Moderate-Complexity Financial Sentences for DisCoCat-Based Sentiment Analysis

基于DisCoCat的情感分析中，大语言模型辅助改写中等复杂度金融句子的探索性评估

Brian Llinas, Nikos Chrisochoides

专题命中 评测与基准 ：LLM(title,summary_cn)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究提出LLM辅助的预处理工作流，通过改写优化中等复杂度金融句子以适配DisCoCat情感分析，经对比实验验证其可降低电路资源消耗并提升准确率，为可扩展QNLP金融情感分析提供探索性依据。

Signal or Spurious Cue? A Randomized Audit of Survey-Country Metadata in LLM Social Inference

信号还是虚假线索？对LLM社会推理中调查国元数据的随机审计

Yifan Lyu, Xinran Li, Jiaqi Qiao, Xiujuan Xu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究通过对5个API模型、6国7目标的审计，发现LLM社会推理中调查国元数据可降低预测损失，但随机披露该线索无法可靠减弱其误导性，PROV-FORECAST数据集含14400组概率分布。

Comments 7 pages, 2 figures

Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation

成本感知多目标老虎机：理论及在预算约束下的大语言模型配置评估中的应用

Bo Xue, Zhi Hong, Jiayi Li, Yuanyu Wan, Ji Cheng, Shuang Qiu

机构 * City University of Hong Kong（香港城市大学） ； South China University of Technology（华南理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文将LLM配置评估建模为成本感知多目标老虎机问题，提出基于超体积的UCB算法与成本感知经验差距消除算法，在有限预算下实现高效在线决策和准确的帕累托识别。

An Explainable LLM Agent Layer for Open-World Anomaly Detection in Oil Wells

用于油井开放世界异常检测的可解释大语言模型智能体层

Lucas Gouveia Omena Lopes, Thales Miranda de Almeida Vieira, Eduardo Toledo de Lima Junior, William Wagner Matos Lira

机构 * Laboratory of Scientific Computing and Visualization, Federal University of Alagoas（阿拉戈斯联邦大学科学计算与可视化实验室） ； Computing Institute, Federal University of Alagoas（阿拉戈斯联邦大学计算学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种部署在油井开放世界异常检测OWL流程下游的LLM智能体层，借助Qwen3.5-397B-A17B模型，可解释上游决策、标记分歧、命名新异常，缩小OWL流程的可解释性差距。