语言大模型 / LLM

Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals

大型语言模型中作为地理偏见的机构声望：来自三项带自助法置信区间的析因实验的证据

Maikel Leyva-Vazquez, Florentin Smarandache

机构 * Universidad Bolivariana del Ecuador（厄瓜多尔玻利瓦尔大学） ； Universidad de Guayaquil（瓜亚基尔大学） ； University of New Mexico（新墨西哥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过三项带自助法置信区间的析因实验，发现大型语言模型在候选人评估中存在机构声望、期刊声望及国籍相关的偏见，期刊声望影响远大于机构声望，还证实了发表于《自然》的救助效应。

Comments 11 pages, 3 figures. Extended English version of an earlier two-study Spanish-language paper published in Neutrosophic Computing and Machine Learning (2026); this version adds Study 3 (journal x institution prestige) and bootstrap confidence intervals throughout

Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction

大语言模型能遵循指令，但无法同时遵循太多：组合约束满足中的相变

Mariya I. Vasileva

机构 * Meta Superintelligence Labs（元超级智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出约束饱和评估基准，发现大语言模型在同时遵循5-6个以上指令约束时可靠性崩溃，不同类型约束的性能下降幅度存在差异，失败呈近独立的乘法累积效应。

Comments 35 pages, 7 figures, 13 tables. Reviewed in the ARR May 2026 cycle

VIBE: A VAD-Informed Benchmark for Entity-Centered Affective Profiling of Large Language Model Outputs

VIBE：面向大型语言模型输出的以实体为中心的情感分析基准，基于VAD（效价-唤醒度-支配度）

Andrei Chetvergov, Alexander Evseev, Timofei Sivoraksha, Stepan Ukolov, Mikhail Solovev, Danil Sazanakov, Sergey Bolovtsov

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于VAD的VIBE基准，用于以实体为中心分析大型语言模型输出的情感，明确了测量契约，通过三个实证层面验证了相关假设，推动该领域成为规范化实践。

Comments 25 pages, 13 figures, 22 tables. Submitted to ACL Rolling Review, August 2026

Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races

人类更多样化：前沿大语言模型（LLM）在理想化AI开发竞赛中表现出极端策略

Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han

机构 * Ho Chi Minh City University of Science（胡志明市科学大学） ； Vietnam National University Ho Chi Minh City (VNU-HCM)（越南国家大学胡志明市分校） ； Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT）） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究通过多智能体博弈实验对比前沿LLM与人类在AI开发竞赛中的策略，发现LLM行动具模型特异性，需有效性检查才能判定其策略性与安全意识。

CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models

CogArena：大语言模型认知能力结构的多方法评估

Dengzhe Hou, Lingyu Jiang, Fangzhou Lin, Kazunori D Yamada

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究围绕多方法框架构建CogArena基准评估大语言模型认知能力结构，通过多模型实验，发现范式相关性多为正但组内优势不明显，冻结确认标准及复制均失败，未建立稳定五维分布，提供了结合多种要素的工作流程。

Comments 21 pages, 8 figures. Code and the procedurally generated battery: https://github.com/dengzhe-hou/CogArena

Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results

基于强化学习的大语言模型从污染检索结果中选择性采用证据

Yanyu Chen, Yue Li, Yongyi Cui, Dongsheng Shi, Lichang Dai

机构 * East China Normal University（华东师范大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对检索增强大语言模型面临的证据选择问题，引入SelectBench基准和训练集，用DAPO对Qwen3.5 - 4B后训练，在测试集上提升了严格成功率，减少了禁止内容采用，但增益有限，还指出抗注入性和统计稳健性是后续挑战。

Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach

使用大语言模型对Linux/bash考试进行自动评分：一种四层认知分类方法

Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira

机构 * Universidade de Vigo, Department of Computer Science, ESEI-Higher School of Computer Engineering（维戈大学计算机科学系ESEI高等计算机工程学院） ； IFCAE-Institute for Research in Physics, Computing and Aerospace Science（IFCAE物理、计算与航空航天科学研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估四种前沿大语言模型（GPT、Claude Opus、Gemini、GLM）在Linux/bash命令评分中的表现，采用四层认知分类法，发现Gemini 3.0 Pro配合评分标准提示达到最高人机一致性（ICC=0.888），且问题复杂度是评分难度的可靠预测因子。

Can LLMs Control Readability? A Multi-Dimensional Evaluation Framework for CEFR-Controlled Arabic Generation

LLM能否控制可读性？面向CEFR可控阿拉伯语生成的多维评估框架

Nour Rabih, Chatrine Qwaider, Ted Briscoe

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出一个多维评估框架，通过结构化提示和词汇约束，使指令跟随型LLM在CEFR可控阿拉伯语生成中达到高可读性一致性（余弦相似度0.91，可读性预测一致性0.99）。

Comments 15 PAGES, READIxTSAR WORKSHOP, LREC 2026

ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs

ToolSense: 审计LLM中参数化工具知识的诊断框架

Ashutosh Hathidara, Sai Shruthi Sistla, Sebastian Schreiber, Sahil Bansal

机构 * SAP Labs（SAP实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ToolSense诊断框架，自动生成三类基准测试，揭示参数化工具检索中知识-检索分离现象，发现模型在模糊查询下性能显著下降。

GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

GraspLLM: 面向文本属性图与LLM的零样本泛化

Hengyi Feng, Zeang Sheng, Meiyi Qiang, Yang Li, Wentao Zhang

机构 * Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GraspLLM框架，通过融合图结构理解与LLM语义能力，利用基序感知对比学习和最优上下文子图对齐，实现跨数据集和跨任务的零样本泛化。

REGARD: Regional Affective Differences in Large Language Models

REGARD：大语言模型中的区域情感差异

Andrei Chetvergov, Alexander Evseev, Mikhail Solovev, Timofei Sivoraksha, Stepan Ukolov, Valeriia Kuschenko, Maria Chistyakova, Sergey Bolovtsov

机构 * Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所） ； Russian Presidential Academy of National Economy and Public Administration（俄罗斯总统国民经济与公共管理学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究跨大语言模型对后苏联实体情感框架差异，用目标导向的效价-唤醒-优势剖析，向19个模型询问500个特定区域目标并评分验证，聚类得出行为聚类，发现效价-唤醒-优势剖析能捕捉情感强度，补充传统情感评估。

Comments 17 pages, 11 figures, 3 tables. Includes evaluation of 19 language models, two independent VAD judges, and human validation on 300 items

Calibration-Induced Degeneracy in LLM Financial Forecasting: An Audit-Trailed Case Study on Next-Day Market Risk

LLM金融预测中校准诱导的退化：关于次日市场风险的审计跟踪案例研究

Arin Mohanty

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 该研究以次日市场风险为对象，发现LLM金融预测中存在校准诱导的退化问题，提出校准可行性检查点，验证低成本基准的关键作用并终止了无效的全历史推理阶段。

Comments 13 pages, 2 figures, 6 tables

Beyond Document Retrieval: Architectural Challenges When LLM Agents Query Structured Enterprise Data

超越文档检索：LLM智能体查询结构化企业数据时的架构挑战

Sheikh Nazib Ahmed

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对企业智能体查询结构化数据的架构挑战，划分七个维度提出设计框架，经实验验证其可消除授权违规，还给出评估协议与开放问题。

Comments 9 pages, 4 tables, 2 figures

Bayesian Partner Modelling enables Adaptive Replanning for LLM Coordination

贝叶斯伙伴建模支持大语言模型协同的自适应重规划

Harsh Goel, Aditya Sai Ellendula, Vaishnav Tadiparthi, Ehsan Moradi Pari, Hossein Nourkhiz Mahjoub, Sandeep P. Chinchali

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对LLM多智能体协作中伙伴策略变化导致的重规划问题，提出BayesBeliefAgent方法，在Overcooked环境中显著缩小信念-行动差距并减少重规划次数。

Comments Preprint

Second-Order Response Laws for LLM Judges: Debiased Estimation of Prompt Instability

LLM 评判者的二阶响应定律：提示不稳定性的无偏估计

Pengbin Feng, Chunlei Meng, Daozheng Qu, Zhilin Zhang, Haoran Liu, Jiekai Wu

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 该研究针对 LLM 评判者，推导了提示不稳定性的无偏估计量，分离提示内与跨提示差异，经实验验证校正估计更准确，可单独估计提示鲁棒性。

MiDashengLM-Gen: Unified Audio Scene Generation via LLM-Driven Autoregressive Flow Matching

MiDashengLM-Gen：基于大语言模型驱动的自回归流匹配的统一音频场景生成

Xingwei Sun, Heinrich Dinkel, Gang Li, Jiahao Mei, Yadong Niu, Zerui Han, Yuepeng Jiang, Jiahao Zhou, Lichun Fan, Jian Luan

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 MiDashengLM-Gen是首个端到端训练的通用文本到音频生成模型，通过结合LLM与每token条件流匹配，在Seed-TTS等基准上大幅提升语音可懂度，且支持多语言场景。

ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral

ConfTriage：用于肺结节恶性程度分级的校准感知大语言模型分级框架，结合选择性专家模型转诊机制

Md Rabiul Islam, Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出ConfTriage框架，以校准感知LLM为核心结合专家DL后备模型，通过肺结节属性的自然语言表述实现分级，在LIDC-IDRI数据集上取得88.22%的F1分数与0.92的AUC，可高效处理多数病例并仅转诊不确定病例，为医疗决策支持提供了新路径。

Comments 14 pages, 8 figures. Currently under review

SurroPilot: An LLM-Assisted Platform for Heterogeneous Surrogate Endpoint Evaluation in Clinical Trials

SurroPilot：用于临床试验中异质性替代终点评估的大语言模型辅助平台

Xingyu Li, Peng Wei

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 SurroPilot是集成LLM与异质性中介框架的辅助平台，可通过自然语言交互完成临床试验异质性替代终点评估全流程，降低了相关方法的应用技术门槛。

Comments Submitted for journal

BioMedJImpact: A Comprehensive Dataset and LLM Pipeline for AI Engagement and Scientific Impact Analysis of Biomedical Journals

BioMedJImpact：用于生物医学期刊AI参与度及科学影响力分析的综合数据集与大语言模型（LLM）流程

Ruiyu Wang, Yuzhang Xie, Xiao Hu, Carl Yang, Jiaying Lu

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本研究构建了生物医学领域的BioMedJImpact数据集，通过三阶段LLM流程提取AI参与度，分析发现作者规模与期刊影响力正相关、AI参与度仅在2019年子集与影响因子正相关，验证了LLM流程的有效性。

SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References

SONAR：面向LLM使用者的任务感知型代码摘要评估框架（无需参考摘要）

Simantika Bhattacharjee Dristi, Matthew B. Dwyer

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 该研究提出无需参考摘要的SONAR框架，从四个维度评估代码摘要，发现正确性、抽象性对LLM性能影响显著，简洁性、流畅性影响微弱，还明确了不同LLM在各维度的优劣。

Evaluating MFU as a Proxy for GPU Power for Energy-Aware Simulation of LLM Training

评估MFU作为GPU功耗代理用于LLM训练的能效感知仿真

Niklas Enskat, Philipp Wiesner

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本研究测试MFU能否作为LLM训练的GPU功耗预测器，通过近3000次单设备训练基准测试，发现计算密集型 workload 下基于MFU的线性模型适用，特定参数拟合可大幅降低误差。

Comments Accepted at MASCOTS 2026

CodeAssay: A Multi-Metric Benchmark with Audited Ground Truth for LLM Code Generation

CodeAssay：带有审计基准真值的多指标大语言模型代码生成基准

Shahbaz Siddeeq, Muhammad Waseem, Umar Subhan Malhi, Pekka Abrahamsson

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出CodeAssay基准，涵盖185个Python任务，结合多类测试与度量，经审计后发现模型正确性标签有9.0%变化，且验证了多类LLM代码生成的评估特性。

Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking

位置偏差破坏基于大语言模型的列表式重排序中的偏好一致性

Ethan Bito, Yongli Ren, Estrid He

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究揭示基于LLM的列表式重排序存在位置偏差，引入多维度评估框架验证其会破坏偏好一致性，且均衡位置曝光无法修复该问题。

Comments Accepted at RecSys 2026

Emergence of Biased Consensus in Multi-Agent LLM Debates

多智能体LLM辩论中偏向性共识的涌现

Maya Okawa

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 该研究针对多智能体LLM辩论中集体偏向性共识的涌现问题，提出物理启发的社会动力学分析框架，经实验验证其相变规律，发现智能体异质性可抑制该现象，且见解可推广至投资等现实决策任务。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 23 pages, 12 figures

Everyone Conforms, No One Believes: Pluralistic Ignorance in LLM Agent Populations

人人遵从，无人认同：LLM智能体群体中的多元无知

Yashwanth YS

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 该研究证实LLM智能体群体中会出现多元无知，构建了多场景基准评估8种模型，发现遵从率高且级联成功率低，提示模型选择会影响模拟结果，LLM模拟或高估社会规范稳定性。

Rolling With Resistance: Preference-Optimized LLM Counselors Can Trade Goal Persistence for Relational Attunement in Motivational Interviewing

顺应阻力：偏好优化的大型语言模型（LLM）咨询师可在动机访谈中权衡目标坚持性与关系调谐

Weiying Chen, Junlong Shen, Zhexuan Tang

专题命中 评测与基准 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究基于动机访谈准则构建双轴评估框架，通过偏好优化训练LLM咨询师，发现惩罚对抗会降低目标坚持性，惩罚妥协无显著效果，仅提示控制可提升关系调谐且无目标坚持性代价。

Understanding before Naming! Enhancing LLM-based Method Name Prediction with Code Summarization

命名之前先理解！通过代码摘要增强基于大语言模型的方法名预测

Wei Liu, Weisong Sun, Tingting Xu, Hanwei Qian, Yi Zhao, Chunrong Fang, Xia Feng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对方法名预测中现有评估不能反映语义质量、基于LLM的方法与人命名过程不同的问题，通过实证研究比较多种评估器及策略，提出结合摘要和细化的SMNP方法，实验证明该方法在方法名预测上有效且鲁棒。

Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining

通过变形测试和关联规则挖掘对大语言模型生成代码进行横切安全分析

Zedong Peng, Chenggang Wang, Shangyue Zhu

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM生成代码的安全漏洞，提出结合变形测试与关联规则挖掘的框架，定义九个MRs并应用于3700个代码片段，揭示共同违反结构与横切模式，还进行提示级风险分析，发现不安全代码生成具结构化和提示依赖性，推动相关验证与干预。

Comments This work has already been accepted by IEEE 27th International Conference on Information Reuse and Integration for Data Science

TerraRepair: A Tool-Grounded LLM Agent for Infrastructure-as-Code Repair

TerraRepair：一种用于基础设施即代码修复的工具接地大语言模型代理

Minase Mekete Mengistu, Juri Di Rocco, Phuong T. Nguyen, Davide Di Ruscio

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究探讨工具接地能否改进基于LLM的Terraform修复及何时升级问题。提出TerraRepair工具接地LLM代理，通过检索上下文等操作进行修复。实验表明其能显著提高扫描器验证修复率，凸显工具接地改进修复效果，同时指出特定部署上下文是自主修复的主要限制。

Comments The paper has been peer reviewed and accepted for publication in the proceedings of the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026)

Controllability-Aware Adversarial Examples Against LLM-Based Network Traffic Classifiers

针对基于大语言模型的网络流量分类器的可控性感知对抗样本

Zhenpeng Li

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的网络流量分类器的对抗鲁棒性，提出可控性感知黑盒迁移框架，按通信语义划分特征组限制扰动，生成对抗样本并迁移到多个目标，发现LLM迁移漏洞及相关特性，验证跨架构迁移层次和交叉代理有效性。

Comments 13 pages, 5 figures