语言大模型 / LLM

Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

大型语言模型能否可靠地编码定性人道主义数据？一项针对人类专家裁决的基准研究

Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 本研究通过对比46个大型语言模型与人类专家在150份高保真合成人道主义转录本上的编码表现，发现多个LLM在结构化提示和推理配置下能达到与经验丰富人类编码员相当的可靠性，但聚合可靠性指标不足以指导部署，模型在识别间接表达的需求、类别外需求及保护相关问题方面存在差异。

Comments 34 pages, 4 tables, 3 Annexes

Measuring Behavior Portability in Large Language Models

测量大型语言模型中的行为可移植性

Tianjia Dong, Nadav Kunievsky, James A. Evans

机构 * Knowledge Lab University of Chicago（芝加哥大学知识实验室） ； Data Science Institute Department of Sociology University of Chicago（芝加哥大学数据科学研究所社会学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 提出一个形式化框架，通过拟合可解释行为模型并评估其在目标环境中的预测性能，量化LLM在不同支付等价决策环境中的行为可移植性，实验发现显著且系统的可移植性损失。

SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology

SegTME-UNI2: 一种基于基础模型的可泛化多类细胞分割框架及LLM驱动的组织微环境表征在组织病理学中的应用

Wan Siti Halimatul Munirah Wan Ahmad, Faris Syahmi Samidi, Mohammad Badal Ahmmed, Vimal Angela Thiviyanathan, Selvam Thavaraj, Anwar P. P. Abdul Majeed

机构 * Department of Data Science and Artificial Intelligence, School of Computing and Artificial Intelligence, Faculty of Engineering and Technology, Sunway University（双威大学工程与技术学院计算与人工智能学院数据科学与人工智能系） ； Faculty of Dentistry, Universiti Malaya（马来亚大学牙科学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；foundation model(title,abstract)；分类 cs.AI

AI总结 提出SegTME-UNI2框架，结合UNI2-H病理基础模型与双头UperNet解码器实现六类语义分割和核实例分割，通过三阶段伪标签课程学习解决标注不足问题，并利用LLM生成临床可解释的TME报告。

Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models

权威、真实性与引文偏差：研究大语言模型认知易感性的大规模多领域基准

Aryan Khurana, Aravind Ramana RN, Dhruv Kumar

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 提出AuthorityBench基准，通过2x2因子设计隔离引文权威信号对LLM认知行为的影响，发现引文存在（无论真假）均提高幻觉率，真声明搭配假引文时幻觉率上升3-22个百分点。

Comments 10 pages, 5 figures. Accepted to AI4GOOD and EIML at ICML 2026

A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

面向基于原则的监管的LLM作为评判者的四轴可信度基准

Dipankar Sarkar

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG；large language model(comments)；language model(comments)

AI总结 本文提出面向基于原则监管的LLM评判者的四轴可信度基准，发布Principle-Bench并引入Ceca评估器，发现无方法在所有四轴占优，部署级LLM评判者需报告对抗性欺骗与事后校准等指标。

Comments 7 pages, 3 figures. Accepted at the KDD 2026 Workshop on Secure and Trustworthy Large Language Models (SeT-LLM), poster

Your Agent Has a Genome: Sequence-Level Behavioral Analysis and Runtime Governance of LLM-Powered Autonomous Agents

你的智能体有基因组：基于序列的LLM驱动自主智能体行为分析与运行时治理

Sidi Deng

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出XEPV序列编码框架，将LLM智能体行为建模为基因组序列，通过n-gram挖掘发现P-X-P高风险模式，设计Governor三层干预系统，使成功率提升6.2%并减少44% token消耗。

Comments 16 pages, 15 figures, 12 tables

When Plausible Is Not Realistic: Evaluating Human Mobility in LLM-Based Urban Simulation

当合理但不现实：评估基于LLM的城市模拟中的人类移动性

Gustavo H. Santos, Aline Carneiro Viana, Thiago H. Silva

机构 * UTFPR（巴西联邦理工大学） ； Inria（法国国家信息与自动化研究所） ； U. of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出验证框架，通过移动定律、时间节奏等指标评估基于LLM的城市模拟器生成的人类移动模式，发现叙事合理性与经验移动现实性之间存在显著差距。

Comments 14 pages, 10 figures

Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

流式知识编译：面向时变LLM维基的主动物质性评分固定

Juan M. Huerta

机构 * Zinnia Tech Solutions（Zinnia科技解决方案） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出流式知识编译框架，通过物质性信号φ_t主动固定重要文档，在金融和维基百科领域验证O(√T log K)遗憾界，并揭示LLM评判偏差。

Reproducing human biases in route choice using large language models: Toward scalable behavioral modeling

使用大语言模型在路径选择中重现人类偏差：迈向可扩展的行为建模

Jiangtao Han, Shoufeng Ma, Shuxian Xu, Geng Li, Shuai Ling, Ning Jia, Zhengbing He

机构 * Laboratory of Computation and Analytics of Complex Management Systems (CACMS), Tianjin University, China（复杂管理系统的计算与分析实验室，天津大学，中国） ； College of Management and Economics, Tianjin University, China（管理与经济学院，天津大学，中国） ； Faculty of Science and Engineering, University of Nottingham Ningbo China（科学与工程学院，诺丁汉大学宁波校区，中国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型能否在不明确前景理论参数时重现人类路径选择行为偏差，设计行为评估框架并比较，发现其能重现偏差及展现相关决策行为，为人类决策建模及相关研究提供可扩展替代方案。

Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds

测试前沿大语言模型在平行物理世界中的物理素养

Dong Zhang

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出四阶段诊断方法评估LLM在陌生物理框架中的推理能力，在三个平行世界测试发现定性-定量不对称及自我审查薄弱。

Comments 37 pages, 2 figures, 9 tables

Which LLM Is Your Ideal Companion? Evaluating Emotional Companion Capabilities of LLMs Based on Adult Attachment Theory

哪种大语言模型是你理想的陪伴者？基于成人依恋理论评估大语言模型的情感陪伴能力

Junkai Zhou, Shiting Guan, Zhaoyi Zhang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究基于成人依恋理论构建情感陪伴基准ECBench，评估32个LLM的依恋倾向，探究其在多轮交互中的表现及可调整性，为情感陪伴类LLM的选择提供理论与工具支持。

ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

ProbGuard：基于大语言模型输出分布的校准安全风险估计

Xinzhe Huang, Biwu Yao, Kedong Xiu, Mengnan Zhao, Di Wang, Puning Zhao, Tianhang Zheng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究针对现有LLM安全防护的确定性范式局限，提出概率架构无关防护框架ProbGuard，利用早期输出分布信号校准安全风险，实现提前终止不安全输出，在9种组合设置及6种越狱攻击中均表现优异。

People Are Not Just Their Countries. Disentangling Social Determinants of LLM Value Alignment Across Europe

人不只是其所属国家：在欧洲范围内解耦大型语言模型（LLM）价值对齐的社会决定因素

Maria-Louisa Wightman, Guillaume Bied, Tijl De Bie

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究依托欧洲社会调查，发现LLMs与不同社会人口学群体的价值观对齐存在差异，国籍作为单独变量的解释力与全部社会人口学变量相当，国家与社会人口学因素在解释对齐模式上互补。

Comments Accepted at AIES 2026 (9th AAAI/ACM Conference on AI, Ethics, and Society)

JudgeArena: A Unified Framework for Reproducible LLM-Judge Evaluation

JudgeArena：用于可复现LLM-评判者评估的统一框架

Erlis Lushtaku, Bora Kargi, Ali Elganzory, Fabio Ferreira, Alejandro R. Salamanca, Julia Kreutzer, David Salinas

机构 * University of Freiburg（弗莱堡大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Microsoft AI（微软人工智能部门） ； Cohere Labs（Cohere实验室） ； Prior Labs（Prior实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 JudgeArena是统一主流LLM评判者基准的开源框架，支持可替换评判者，配备调优开源评判者配置，可高精度模拟LMArena Elo分数，减少对闭源模型的依赖，提升评估的透明度与可复现性。

ModelEquivBench: Certifying Multi-Relational Evaluation of LLM-Generated Optimization Models

ModelEquivBench：LLM生成优化模型的多关系验证评估系统

Penglin Zhu, Jungang Xu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出多关系评估系统ModelEquivBench，将其用于评估GPT-5.4等三个LLM生成的优化模型，发现不同模型在特征不同阶段失败，无法简化为单一准确率分数。

Comments 9 pages, 2 figures, 3 tables

Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios

海报：通过现实世界风险场景重新思考大语言模型代码生成中的安全性

Lixun Ma, Ruolong Ma, Bei Wang, Feng Wei, Zhenguang Liu, Lorenzo Cavallaro, Wentao Chen

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究LLM代码生成的安全行为，识别出三种风险场景，构建含2700个测试用例的基准评估安全性，发现先进LLMs平均漏洞率超56%，证明安全感知提示可大幅降低风险。

Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing

解耦侦察与利用：测量基于LLM的Web渗透测试的能力边界

Liwei Yu, Shuo Li, Ming Zhou, Ge Chu, Yan Guo

机构 * University of Science and Technology of China（中国科学技术大学） ； Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州先进研究院） ； Nanjing University of Science and Technology（南京理工大学） ； Research Institute, Runjian Co., Ltd（润杰有限公司研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出解耦评估框架分离侦察与利用阶段，发现LLM代理在准确漏洞上下文下功能成功率可达90.0%，但自主侦察召回率仅约50.0%，揭示了能力差距。

Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias

无效度的可靠性：LLM-as-a-Judge 模型在一致性、稳定性和偏差上的系统性大规模评估

Justin D. Norman, Michael U. Rivera, D. Alex Hughes

机构 * UC Berkeley School of Information（加州大学伯克利分校信息学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 本研究通过大规模系统性评估（21个裁判模型、118次运行、约54.1万次判断），发现LLM-as-a-Judge在一致性、稳定性和偏差方面存在普遍问题，包括kappa通缩、排名偏移、高重测信度与严重位置偏差并存，并提出了最小可行验证协议。

Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge

法官偏爱英语吗？评估LLM作为法官时的语言切换不变性

Shaojie Yin

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Judge-LS协议，通过语言切换变体评估LLM作为自动法官的可靠性，发现语言切换导致10.7-14.4%偏好翻转，但翻译等价测试未显示系统英语偏好。

When Does Few-Shot Prompting Help? A Systematic Empirical Study of Shot-Count Effects Across Model Scale, Architecture, and Output Parsing Robustness

少样本提示何时起作用？跨模型规模、架构和输出解析鲁棒性的样本数量效应的系统实证研究

Ayush Dwivedi, Ashvi Soni

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究少样本提示中样本数量与模型规模、架构及输出格式合规性对分类性能的影响。通过对五个LLM在六种样本数量配置下研究，发现样本数量与分类性能关系非单调、非普遍且不能仅由模型规模预测，还纠正了影响Llama 3.3 70B性能的解析工件。

Comments 12 pages, 4 figures, 8 tables. Code available at https://github.com/a-dwivedi/few-shot-prompting-study

ExpertIVS: Sociological Expert Driven Individual Value Simulation in Large Language Models

ExpertIVS：大型语言模型中由社会学专家驱动的个体价值观模拟

Zhen Wang, Yuqi Ren, Yuehan Cui, Hongxiang Wang, Jianxiang Peng, Zhaoxia Zhang, Bingkun Zhu, Tongxuan Zhang, Dezhi Tong, Deyi Xiong

机构 * The International Joint Institute of Tianjin University（天津大学国际联合研究院） ； Tianjin University（天津大学） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； National Governance Institute, Tianjin Normal University（天津师范大学国家治理研究院） ； College of Computer and Information Engineering, Tianjin Normal University（天津师范大学计算机与信息工程学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对大型语言模型社会模拟中个体价值观建模的不足，提出ExpertIVS框架，通过14个社会学专家智能体重构个体画像，经多国家多人群实验验证其在价值观还原、泛化等方面性能优于基线。

Improved Confidence Estimates for Black-Box Large Language Models

黑盒大型语言模型的改进置信度估计

Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

机构 * Layer 6 AI ； TD Insurance（TD保险） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对黑盒大型语言模型的不确定性量化问题，利用目标数据集构建基于现有分数和相似查询正确性的简单分类器，以改进置信度估计，且计算开销极小。

Architecture-Dependent Causal Transfer of Activation States Across Large Language Models

大语言模型间激活状态的架构依赖型因果迁移

Fernando Cardenas Piepereit

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文探究大语言模型间激活状态的因果迁移，发现该迁移依赖模型架构，仅部分仅解码器模型对可实现具统计显著性的因果效应，且迁移的是表征载体而非意义。

Comments 13 pages, 3 tables

Large Language Model Assisted Operational Monitoring for Battery Energy Storage System Integrated Power Distribution Networks

大型语言模型辅助的电池储能系统集成配电网运行监测

Azmeer Akhtar, Md Fazley Rafy, Anurag K. Srivastava

机构 * West Virginia University（西弗吉尼亚大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究提出了大型语言模型辅助的人工智能监测框架，用于分析电池储能系统集成配电网，可将自然语言问题转为SQL查询，实现电网运行数据的自动化评估。

Unified Hallucination Fuzzing for Multimodal Large Language Models

面向多模态大语言模型的统一幻觉模糊测试

Pengfei Zhou, Jiajun Song, Zhiwei Tang, Yixing Ma, Xiaopeng Peng, Donghui Si, Yuhang Xu, Huiqi Song, Yiyuan Miao, Yichen Qian, Weihua Chen, Wangbo Zhao, Bohan Zhuang, Jiasheng Tang, Yang You

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大语言模型的幻觉问题，提出含UniHall基准与SAMF自演化模糊测试的评估框架，发现SOTA模型在模糊测试下性能显著下降，存在有用性-幻觉权衡。

Comments 47 pages, 17 figures

Recipes for Creativity: Iterative Generation and Evaluation in Large Language Models

创造力的秘诀：大语言模型中的迭代生成与评估

Rens Anderson, Tessa Verhoef, Amirhossein Zohrehvand

机构 * Leiden University（莱顿大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本研究以2024年Pillsbury烘焙大赛食谱生成为任务，探究迭代生成对LLM创造力的影响，发现迭代生成-选择可产出与人类基准相当的食谱，且评估器设计是主观创造性搜索的关键变量。

Comments 7 pages, 3 figures, 1 table. Short paper accepted at ICCC'26

Journal ref Proceedings of the 17th International Conference on Computational Creativity (ICCC'26), Coimbra, Portugal, June 29-July 3, 2026

M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models

M-GATE：面向大语言模型的多语言语法、翻译准确性与效率基准

Tomáš Burkert, Angelika Peljak-Łapińska, David Zelený

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本研究推出多语言基准M-GATE，评估50余种模型的80余种配置，发现翻译与语法能力分离，低资源语言惩罚随模型迭代缩小，推理对翻译提升显著。

Comments 45 pages (97 incl. appendices), 6 figures

AI World Cup 2026: Benchmarking Large Language Models for End-to-End Football Tournament Prediction

2026 AI世界杯：用于端到端足球锦标赛预测的大语言模型基准测试

Jonaid Shianifar, Iias Faiud

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文通过AI世界杯基准测试，对10款大语言模型进行2026年FIFA世界杯端到端预测，发现淘汰赛表现决定排名，GPT-5.5 Thinking夺冠，相关成果已公开以支持后续研究。

Comments 18 pages, 8 figures, 7 tables. Project repository available in the paper

ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads

ARCHead：大语言模型输出头的激活度量残差修正

Şuayp Talha Kocabay, Talha Rüzgar Akkuş, Kamer Ali Yuksel

机构 * aiXplain, Inc.（aiXplain公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 ARCHead是一种LM-head压缩器，通过量化低秩核心、分组INT4残差及激活衍生低秩修正，将LM-head存储降3.7-3.9倍，在Qwen3-8B-Base上性能优于朴素INT4，可补充块量化器。

Comments 13 pages, 4 figures. Submitted to ACL Rolling Review (ARR). Code: https://github.com/suayptalha/archead

From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models

从单文档到跨文档：大语言模型多粒度事件分析的基准测试

Tao Wen, Shuai Shao, Pei Ke, Xu Han, Jie Zou, Guannan Li, Tao Tian, Jinjie Qiu, Lan Wang, Ke Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文推出MiGUE-Bench基准及MiGUE-Pipeline框架，通过四项核心任务评估LLMs多粒度事件分析能力，明确其能力边界与缺陷，为该领域改进提供方向。

Comments 9 pages. Published in the Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), pp. 3464-3472, 2026