语言大模型 / LLM

The Impact of LLM-Assistants on Software Developer Productivity: A Systematic Review and Mapping Study

大型语言模型助手对软件开发者生产力的影响：一项系统综述和映射研究

Amr Mohamed, Maram Assi, Mariam Guizani

机构 * Queen's University（女王大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过综述39项研究，探讨LLM助手对软件开发者生产力的影响，发现多数研究显示积极效益，但存在认知卸载和团队协作风险，研究指出需更全面的评估方法。

Comments 42 pages

Journal ref Mohamed, Amr, Maram Assi, and Mariam Guizani. "The impact of llm-assistants on software developer productivity: A systematic review and mapping study." ACM Transactions on Software Engineering and Methodology (2026)

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

做他们所说的，而不是他们所推理的：定位LLM智能体中的忠实性差距

Yufeng Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 通过将忠实性差距分解为推理-结论和结论-行动两个步骤，在可控的德克萨斯扑克模拟器中研究LLM智能体是否按照其陈述的推理行动。

Comments submitted to COLM social simulation with LLM workshop

When the Defense Writes the Refusal: Auditing Keyword-Scored Evaluation of Inference-Time Defenses for Multimodal Large Language Models

多模态大语言模型推理时防御方法的比较分析

Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文比较评估了三种推理时防御方法及其组合在InternVL和Qwen-VL系列共8个模型上的效果，发现无单一防御在所有设置中占优，组合防御导致良性查询过度拒绝率达97-100%，而简单安全提示在保持实用性的同时带来适度安全提升。

Comments 15 pages, 3 figures. Conditionally accepted at DAMDID/RCDL 2026; revised after peer review

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

LIBMoE：一种用于大规模语言模型混合专家全面基准测试的库

Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LibMoE为大规模语言模型混合专家提供统一框架，通过全面分析路由动态、初始化影响及训练模式差异，推动MoE研究标准化与创新。

Comments 40 pages

Journal ref Transactions on Machine Learning Research (TMLR), 2026

Large Language Models in Architecture Studio: A Framework for Learning Outcomes

大型语言模型在建筑工作室中的应用：一种学习成果的学习框架

Juan David Salazar Rodriguez, Sam Conrad Joyce, Nachamma Sockalingam, Khoo Eng Tat, Julfendi

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本研究探讨了大型语言模型在建筑工作室中的应用，旨在通过AI干预解决教学挑战并提升学习成果。

Comments This work has been accepted for publication in International Conference on Human-Computer Interaction HCII 2026 (pp. 93-110)

Do Large Language Model Voters Strategize? An Oracle-Based Benchmark for Manipulation under Voting Rules

大语言模型选民会策略投票吗？一个基于预言机的投票规则操纵基准测试

Seyed Pouyan Mousavi Davoudi, Alireza Amiri-Margavi, Amin Gholami Davodi, Hamidreza Hasani Balyani, Arshia Gharagozlou

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出一个基于预言机的基准测试，通过枚举所有可行报告并计算真实结果，评估大语言模型选民能否发现并执行策略投票，覆盖多种投票规则和提示条件。

Comments 19 pages

Implicit Identity Technologies for LLMs: Fingerprinting and Watermarking across Datasets, Models, and Generated Content

LLM的隐式身份技术：跨数据集、模型和生成内容的指纹识别与水印

Bing Liu, Shunping Wang, Yufan Zhu, Xinyi Yu, Jing Huang, Linkang Du, Hongbin Pei, Wei Luo

机构 * School of Cyber Science and Engineering, Xi’an Jiaotong University, Xi’an, China（西安交通大学计算机科学与工程学院） ； State Grid Henan Marketing Service Center, Henan, China（国网河南营销服务中心） ； Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） ； School of Information Technology, Deakin University, Geelong, Australia（迪金大学信息技术学院） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了LLM指纹识别和水印技术，提出隐式身份统一抽象，并基于生命周期分类法组织数据集、模型和生成内容的技术，建立评估框架。

Comments Accepted by IJCAI-ECAI 2026. 11 pages, 1 figure. Survey and taxonomy of LLM fingerprinting and watermarking for identity, provenance, generated-content attribution, and asset protection

A Finite-Calibration Regime Map for LLM Judge Panels

有限校准机制图：LLM评审团面板

Bin Zhu, Yi Xie, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究在有限人工标注预算下，低维堆叠器与联合输出表对LLM评审团面板的校准权衡，提出有限校准面板选择方法，实验表明多数评审输出可加或冗余。

Comments 33 pages, 11 figures, 40 tables. Accepted at WISE 2026

Limits to scalable evaluation at the frontier: LLM as Judge won't beat twice the data

可扩展评估的极限：LLM作为裁判无法超越两倍数据

Florian E. Dorner, Vivian Y. Nastl, Moritz Hardt

机构 * Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根） ； Tübingen AI Center（图宾根人工智能中心） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文研究了使用LLM作为裁判进行模型评估的局限性，发现当裁判准确性不足时，去偏方法无法显著减少所需的真实标签数量。

Comments ICLR 2025; 27 pages, 8 figures

Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

基于理论的评估揭示了LLM个性化中的作者身份差距

Yash Ganpat Sawant

机构 * April 2026（2026年4月） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文通过理论指导的评估方法，揭示了LLM个性化中作者身份差距的问题，采用三种测量传统评估四种个性化方法，发现理论指导的指标能提供更准确的基准。

Comments Accepted at CTB Workshop, ICML 2026

The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity

评估者是实验的一部分：测量开放式大语言模型（LLM）的一致性

Alicia Guerra, Yibo Hu

机构 * Illinois Institute of Technology（伊利诺伊理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究提出实验方案测量开放式LLM一致性，发现错误同行输入会降低修订质量，评估者非中立，锚定校准必要，指出翻转率不足以完整衡量开放式一致性。

Templated or fully synthetic? Prompt construction as a confound in measuring LLM political stance beyond writing assistance

模板化还是完全合成？提示构造是测量LLM政治立场的混淆因素——超越写作辅助的视角

Ilias Chalkidis

机构 * The National Center for AI in Society (CAISA), University of Copenhagen（哥本哈根大学社会人工智能国家中心（CAISA）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究针对LLM政治立场检测中模板化提示的混淆问题，扩展IssueBench框架，提出用LLM生成的完全合成提示，验证其在立场测量中更具生态效度，可减少估计偏差。

GraphReview: Scientific Paper Evaluation via LLM-based Graph Evidence Expansion

GraphReview: 基于LLM的图消息传递的科学论文评估

Pujun Zheng, Wanying Ren, Jiacheng Yao, Guoxiu He, Star X. Zhao

机构 * School of Economics and Management, East China Normal University（东华师范大学经济管理学院） ； Institute of Big Data, Fudan University（复旦大学大数据研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出GraphReview框架，通过图消息传递整合论文内在质量、同期关联和历时关联，利用LLM生成节点先验和边比较证据，结合个性化PageRank进行质量排序、决策预测和审稿生成，在决策和排序指标上平均提升29.7%。

"LLM Agent Performance" Is Not a Single Evaluation Target

基于LLM的智能体评估统一框架的必要性

Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对当前LLM智能体评估受系统提示、工具集和环境动态等混杂因素影响的问题，提出标准化统一评估框架以提升公平性和可复现性。

PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say

PrivacyPeek: 审计基于LLM的智能体获取了什么，而不仅仅是它们说了什么

Mingxuan Zhang, Jiahui Han, Dadi Guo, Songze Li, Guanchu Wang, Na Zou, Dongrui Liu, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Southeast University（东南大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PrivacyPeek基准，通过检查工具调用轨迹和探针诱导，评估基于LLM的智能体在获取阶段不必要的敏感信息泄露，发现该问题普遍存在且现有防御效果有限。

Comments 21 pages, 17 figures

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

调用还是不调用：评估和优化LLM工具调用的框架

Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Ruhr University Bochum（博德姆鲁尔大学） ； UAR RC Trust（UAR RC信托） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个基于决策理论的框架，从必要性、效用和可负担性三个关键因素评估LLM的网页搜索工具调用决策，并训练轻量级估计器优化调用，提升任务性能。

Comments Preprint, under review

Toward Robust LLM-Based Judges: Taxonomic Bias Evaluation and Debiasing Optimization

迈向鲁棒的基于大语言模型的裁判：偏见评估与去偏优化

Hongli Zhou, Hui Huang, Rui Zhang, Kehai Chen, Bing Xu, Conghui Zhu, Tiejun Zhao, Muyun Yang

机构 * Hongli Zhou（哈尔滨工业大学） ； Hui Huang（哈尔滨工业大学） ； Rui Zhang（哈尔滨工业大学） ； Kehai Chen（哈尔滨工业大学） ； Bing Xu（哈尔滨工业大学） ； Conghui Zhu（哈尔滨工业大学） ； Tiejun Zhao（哈尔滨工业大学） ； Muyun Yang（哈尔滨工业大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出JudgeBiasBench，通过系统量化LLM裁判偏见，提出偏见感知训练方法，减少偏见并保持评估能力。

SkillCAT: Contrastive, Assessment-Augmented and Topology-AwareSkill Self-Evolution for LLM Agents

SkillCAT: 面向LLM智能体的对比评估与拓扑感知技能自进化

Kunfeng Chen, Qihuang Zhong, Juhua Liu, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Fudan University（复旦大学计算机学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SkillCAT框架，通过对比因果提取、评估增强进化和拓扑感知任务执行三阶段，实现无需训练的LLM智能体技能自进化，在多个基准上平均提升高达40.40%。

Comments 9 pages, 4 figures

Structured Belief State and the First Precision-Aware Benchmark for LLM Memory Retrieval

结构化信念状态与首个面向LLM记忆检索的精度感知基准

Jeffrey Flynt

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对现有LLM记忆系统基准仅评估答案质量而忽略检索精度的问题，提出独立于生成模型的检索精度基准PrecisionMemBench和结构化信念存储系统Tenure，实现89/89测试案例通过且平均精度1.0。

Comments v4 removes duplicate prose and adds external adoption

Interpretable Depression Detection from Social Media Text Using LLM-Derived Embeddings

使用基于大语言模型的嵌入从社交媒体文本中进行可解释的抑郁症检测

Samuel Kim, Oghenemaro Imieye, Yunting Yin

机构 * Earlham College（埃尔哈姆学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究利用大语言模型和传统机器学习分类器，针对社交媒体文本进行三项心理健康预测任务。通过多数据集五折交叉验证实验发现，零样本LLMs在二元抑郁分类表现好，细粒度严重程度预测差；基于LLM摘要嵌入的监督模型性能更优，为构建有效可解释评估系统提供方向。

Comments This version of the contribution has been accepted for publication at ICAI 2026, after peer review but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections

When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines

当代理人意见不一致：多代理LLM流水线中的选择瓶颈

Artem Maryanskyy, Dmitry Budnikov, Alibek T. Kaliyev

机构 * Uber 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究多代理LLM流水线中团队多样性对输出质量的影响，提出选择瓶颈概念，通过数学公式确定多样性帮助或损害的临界点，并通过实验验证选择机制的重要性。

Comments v2: Updated author list to match the published version. Published in Applied Sciences (MDPI) 2026, DOI: 10.3390/app1010000

When Direct Prediction Fails: Evidence from LLM-Based Misinformation Risk Evaluation

超越表面判断：LLM生成虚假信息的人类基础风险评估

Zonghuan Xu, Xiang Zheng, Yutao Wu, Xingjun Ma

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海市多模态具身人工智能重点实验室） ； City University of Hong Kong（香港城市大学） ； Deakin University（迪肯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究LLM生成虚假信息的风险评估，发现LLM法官在整体评分、项目排序和信号依赖上与人类存在显著差异，且法官间一致性高于人类读者，表明内部一致性不能作为读者反应代理的有效证据。

Comments 9 pages, 1 figure. Substantially revised and reorganized version of arXiv:2604.06820 based on the same study and data; adds stricter participant filtering, held-out prediction analyses, and additional robustness checks

From Stateless to Situated: Building a Psychological World for LLM-Based Agents

从无状态到情境化：构建基于LLM的情感支持心理世界

Boning Zhao, Yutong Hu, Xinnuo Li

机构 * Tandon School of Engineering New York University New York, USA ； College of Arts \& Science New York University New York, USA 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LEKIA 2.0架构，通过分离认知层与执行层，构建可持续更新的情境结构，提升多轮交互中的稳定性与可控性，实现31%的改进。

Comments Accepted by WAICA 2026

Catalyst-Agent: Autonomous heterogeneous catalyst screening with an LLM Agent

Catalyst-Agent：基于LLM Agent的自主异质催化剂筛选

Achuth Chandrasekhar, Janghoon Ock, Amir Barati Farimani

机构 * Mechanical Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, USA（卡内基梅隆大学机械工程系，匹兹堡，PA 15213，USA） ； Department of Chemical and Biomolecular Engineering, University of Nebraska--Lincoln, Lincoln, NE 68588, USA（内布拉斯加大学林肯分校化学与生物分子工程系，林肯，NE 68588，USA） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Catalyst-Agent，一种基于MCP服务器和LLM的AI代理，通过OPTIMADE API探索材料数据库、利用UMA模型计算吸附能，实现闭环自主催化剂筛选，在ORR、NRR和CO2RR反应中成功率达33-41%。

REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering

REAL：在语言模型引导中读取Transformer激活以进行精确定位

Li-Ming Zhan, Bo Liu, Chengqiang Xie, Jiannong Cao, Xiao-Ming Wu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究旨在在不改变LLM参数的情况下引导其响应，核心挑战是识别关键内部模块。提出REAL框架，通过训练VQ - AE划分潜在空间，量化模块行为相关性来指导模块选择与引导强度。实验表明该方法能有效干预，提升真实性引导效果且具零样本泛化能力。

Comments need full paper rebuilding

Zoom In Disparities in Healthcare LLM Q&A

放大医疗保健语言模型问答中的差异

Ipek Baris Schlicht, Burcu Sayin, Zhixue Zhao, Frederik M. Labonté, Cesare Barbera, Marco Viviani, Paolo Rosso, Lucie Flek

机构 * Universitat Politècnica de València（瓦伦西亚理工大学） ； University of Trento（特伦托大学） ； University of Sheffield（谢菲尔德大学） ； Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛信息科技国际中心，波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） ； University of Pisa（比萨大学） ； University of Milano-Bicocca（米兰-比可卡大学） ； ValgrAI Valencian Graduate School and Research Network of Artificial Intelligence（瓦伦西亚人工智能研究生学校和研究网络） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多语言医疗保健问答中LLM的跨语言差异，构建多语言数据集，分析覆盖范围与响应对齐，通过案例研究发现差异显著，非英语维基百科上下文摘录可改善事实对齐，为构建公平多语言医疗AI系统提供途径。

Comments It is accepted to NLDB 2026: The paper can be accessed at https://link.springer.com/chapter/10.1007/978-3-032-29532-3_12

Journal ref NLDB 2026

When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

当评分量表不足时：LLM辅助发现土耳其教师叙述中的ADHD信号

Baris Karacan, Irem Aktar Songur, Ahmet Ozaslan, Elvan Iseri

机构 * Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） ； Department of Child and Adolescent Psychiatry, Gazi University（加齐大学儿童与青少年精神病学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过分析土耳其教师评估表中的结构化评分和开放式叙述，利用大语言模型辅助的主题发现方法，揭示了叙述文本中未被结构化量表捕捉的ADHD互补信号。

Comments 15 pages. Accepted to CLPsych 2026. Camera-ready author version. The final version will appear in the ACL Anthology

Journal ref In Proceedings of the 10th Workshop on Computational Linguistics and Clinical Psychology (CLPsych 2026), pages 368-382, San Diego, California, USA, 2026. Association for Computational Linguistics

A Unified Framework for the Evaluation of LLM Agentic Capabilities

LLM 代理能力评估的统一框架

Pengyu Zhu, Lijun Li, Yaxing Lyu, Qianxin Luo, Jingyi Yang, Yi Liu, Tingfeng Hui, Xinyu Yuan, Li Sun, Sen Su, Jing Shao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个统一框架，通过标准化配置、固定 ReAct 架构和离线设置，分离框架与环境效应，实现 LLM 代理能力的公平评估，并在 7 个基准、24 个领域、15 个模型上进行了大规模实证分析。

Epistemic Bias Injection: Manipulating LLM Opinion via Selective Context Retrieval

认知偏见注入：通过选择性上下文检索操纵LLM观点

Hao Wu, Prateek Saxena

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究通过检索增强生成（RAG）数据库注入事实正确但认知偏见的段落，以操纵LLM输出立场，并提出基于几何度量的攻击与防御方法BiasDef。

SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era

SciZoom：面向LLM时代的大规模层次化科学摘要基准

Han Jang, Junhyeok Lee, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University Hospital（首尔国立大学医院） ； Seoul National University College of Medicine（首尔国立大学医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对LLM时代科学摘要的多粒度需求，构建了包含2020-2025年四大ML顶会44946篇论文的基准，提供摘要、贡献和TL;DR三层摘要，压缩比达600:1，并揭示LLM辅助写作导致短语模式剧变和修辞风格同质化。

Comments 14 pages, 8 figures, Under review