语言大模型 / LLM

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

Do LLMs Beat Nash? Testing Decentralized Coordination in Self-Play Multi-Agent Games

大型语言模型智能体能胜过纳什（均衡）吗？测试自玩多智能体游戏中的去中心化协调

Deborah Sinishaw, Qile Zhu, Edwin Meriaux, Gregory Dudek

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究测试无通信时LLM智能体能否超越纳什均衡，构建无通信博弈基准发现部分前沿托管模型可超越纳什，开放权重模型收益有限且无法迁移至多智能体团队。

Comments 5 pages, 5 figures. Submitted to the 2026 IEEE MIT Undergraduate Research Technology Conference (URTC)

RubRIX: Rubric-Driven Risk Mitigation in Caregiver-AI Interactions

RubRIX：基于评分标准的风险缓解在护理人员-AI交互中

Drishti Goel, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Ravi Karkar, Dong Whi Yoo, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RubRIX提出了一种基于评分标准的框架，用于评估护理人员-AI交互中的风险，通过实证方法减少LLM响应的风险组件，为高负担情境下的AI支持系统提供评估方法。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Task- and dataset-specific information in protein language models

蛋白质语言模型中特定任务与数据集的信息

Roman Joeres, Ilya Senatorov, Anastasia Kolchina, Dietrich Klakow, Olga V. Kalinina

机构 * Helmholtz Institute for Pharmaceutical Research Saarland（萨尔兰亥姆霍兹药物研究所） ； Saarland University（萨尔兰大学） ； Saarland Informatics Campus（萨尔兰信息学园区） ； Pharma Science Hub（制药科学中心） ； Medical Faculty, University Hospital Saarland（萨尔兰大学医院医学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究分析13个蛋白质语言模型在15个下游任务上的表现，发现其最后一层嵌入并非最优，任务与数据集特性影响各层嵌入的信息有效性，人工蛋白质任务会显著降低模型性能。

Comments 22 pages, 10 figures, 3 tables

Designing AI Pipelines for Decision-Ready ITSM Intelligence

面向决策就绪型ITSM智能的AI流水线设计

Archan Dutta, Yash Dharmadhikari, Marat Valiullin, Rahul Guha, Alexander Liss

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 该研究遵循设计科学原则设计了结合LLM标准化、HDBSCAN聚类等的AI流水线，将ITSM工单数据转化为多级决策支持内容，经评估其四项决策指标平均得分超4.0，验证了其作为以人为中心IS问题的价值。

AnchorSIPS: A Synthetic Dataset and Evaluation Resource for Evidence-Supported Psychosis-Risk Symptom Measurement

AnchorSIPS：用于证据支持的精神病风险症状测量的合成数据集与评估资源

Guilherme C. Oliveira, Stephanie Fong, Zimu Wang, Clarice Lee, Xiangyu Zhao, Duy Khoa Pham, Duong Nhu, Yiwen Jiang, Jiahe Liu, Zhongxing Xu, Dwarikanath Mahapatra, Dominic Dwyer, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； Orygen（奥瑞金） ； The University of Melbourne（墨尔本大学） ； Swinburne University of Technology（斯威本科技大学） ； University of Liverpool（利物浦大学） ； Khalifa University（哈利法大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AnchorSIPS合成数据集，基于Mini-SIPS访谈构建含1万次结构化精神病风险访谈，解决临床数据隐私问题，用于研究证据提取等，实验发现LLM基线存在细节提取不足问题。

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

How Significant Are the Real Performance Gains? An Unbiased Evaluation Framework for GraphRAG

实际性能提升有多显著？GraphRAG的无偏评估框架

Qiming Zeng, Hao Luo, Yuhao Lin, Yicheng Jin, Yuxiang Wang, Fangcheng Fu, Xiao Yan, Jiawei Jiang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Peking University（北京大学计算机学院） ； Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心） ； OceanBase 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对GraphRAG现有评估框架的不相关问题与评估偏差缺陷，提出无偏评估框架并发现代表性GraphRAG方法的性能提升远小于此前报告结果，呼吁开展科学评估。

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

TRAPSBench：视觉-语言模型可编码认知约束却无法表达

Fnu Pramono, John Cai, Sourabh Kulkarni

机构 * Meta Superintelligence Labs（元超级智能实验室） ； Reflection AI（反射人工智能公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对视觉-语言模型的认知约束表达问题，构建TRAPSBench基准并提出PECS指标，发现模型可感知不确定性却难表达，瓶颈在表达，需输出阶段干预。

Comments 10 Pages excluding Reference and Appendix, Published at COLM 2026

RAIL: An Automatic Classifier of the Artificial Intelligence Readiness Level

RAIL：一种人工智能就绪水平的自动分类器

Juan Irving Vasquez, Juan Terven, Laura-Ivoone Garay-Jimenez

机构 * CIETEC-IPN ； Instituto Politécnico Nacional（墨西哥国立理工学院） ； CICATA-QRO ； UPIITA 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RAIL分类器，将三类AI就绪框架统一为AIRL量表，通过大语言模型智能体小组裁决实现自动评估，测试显示其一致性好且避免高估。

Comments Under review at journal

RippleMem: From Isolated Retrieval to Associative Recollection for Long-Term Agent Memory

RippleMem：从孤立检索到智能体长期记忆的关联回忆

Jingbo Ji, Lingyi Li, Xilong Cheng, Yuhao Zhou, Wenji Zhang, Yuting Tan, Yunxiao Qin

机构 * Communication University of China（中国传媒大学） ； Zhilian Yinghe Technology Co., Ltd.（智联映和科技有限公司） ； State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 RippleMem是一种智能体长期记忆系统，以自适应关联回忆替代孤立检索，在LoCoMo、LongMemEval-S数据集上提升LLM-as-a-Judge准确率并降低图构建成本，性能优于现有方法。

Comments 22 pages, 4 figures

Non-Degenerate Risk Certification for Automated Security Decisions: A Decision-Contract Theory with ATT\&CK-Aligned Triage as a Worked Instance

面向自动化安全决策的非退化风险认证：以适配ATT&CK的分类为实例的决策契约理论

Zhenpeng Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本文提出决策契约理论用于自动化安全决策的非退化风险认证，以适配ATT&CK的LLM入侵检测警报分类为实例，实验验证了该方法可有效控制风险并实现较高的正确自动化率。

Comments 17 pages, 2 figures, 10 tables

AI Guardrail Survival under Single-Cycle Agentic Self-Summarization

单循环智能体自摘要下的AI安全护栏存续性

Ted Kwartler, Alan Aqrawi, Arian Abbasi

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本研究探究单循环智能体自摘要中安全规则的丢失机制，发现仅检查规则文本存在性的审计不可靠，需结合外部真实值检测，还指出仅靠LLM评判标签会反转评估结论。

Into the ORBIT for Time Series: Training Regimes for Foundation Models

面向时间序列的ORBIT：基础模型的训练机制

Hongjie Xia, Yiding Liu, Yifan Hu, Peiyuan Liu, Zewei Dong

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对时间序列基础模型训练分布控制不足的问题，提出ORBIT训练范式，结合多级采样与增量训练，训练Falcon-2.0模型并引入Rank引导跨深度对齐，在多基准测试中展现优异零样本预测性能。

Vision-Language Models are Fragile Multilingual Associators

视觉-语言模型是脆弱的多语言关联器

Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

机构 * Manipal University Jaipur（斋浦尔马尼帕尔大学） ； University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校） ； University of Salford（索尔福德大学） ； University of Manchester（曼彻斯特大学） ； Indian Statistical Institute Kolkata（印度统计研究所加尔各答分所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对视觉-语言模型的多语言关联稳定性问题，构建M²BIND基准，发现其跨语系/文字时会出现绑定崩溃，关系密切语言则表现较好，表明多语言部署的VLMs关联质量存疑。

Comments Preprint (under review). Project Page: https://ritabrata04.github.io/m2bind/

MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification

用于鲁棒跨数据集图像分类的MLLM路由异质集成模型

Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck

机构 * The Bredesen Center for Interdisciplinary Research and Graduate Education（布雷德森跨学科研究与研究生教育中心） ； University of Tennessee Knoxville（田纳西大学诺克斯维尔分校） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对跨数据集图像分类泛化难题，提出ARMDIL模型，通过MLLM智能体动态路由图像到适配的视觉骨干，兼具竞争力、高适应性与可解释性，为通用视觉系统奠定基础。

Comments 8 pages, 4 figures, 7 tables

Can Formal Specifications Be Synthesized from Tests Alone?

仅从测试能否合成形式化规格说明？

Tianhai Liu, Maximilian Müller, Tobias Hey, Vitus Lüntzel, Muhammad Minhas, Anne Koziolek, Bernhard Beckert

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 该研究提出仅用测试代码和动态执行轨迹，结合LLM与有界模型检查合成形式化规格说明的方法，在SpecGenBench基准上取得初步效果，同时指出需解决检查器兼容性等关键挑战。

Journal ref ASE 2026

Does It Render Everywhere? A Study of Cross-Environment Compatibility in MLLM-Generated Webpages

它是否在所有环境中都能渲染？对多模态大语言模型（MLLM）生成网页的跨环境兼容性研究

Ziyun Guo, Jingyu Xiao, Yuqiang Sun, Yintong Huo

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对MLLM生成网页的跨环境兼容性问题，构建WebCompat数据集并开发XCompat检测器，发现68%的网页存在兼容性问题，XCompat的F1分数达0.903且性能优于现有工具与基线方法。

SkillShapley: Boundary-Adaptive Shapley Valuation for Skill Step Attribution in LLM Agents

SkillShapley：面向大语言模型智能体技能步骤归因的边界自适应夏普利值评估方法

Chang Liu, Yuqi Zhang, Yiman Zhong, Boyi Liu, Hengjun Wang, Shuyue Wei

机构 * Beihang University（北京航空航天大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：LLM(title)；language agent(abstract)；分类 cs.AI

AI总结 SkillShapley是面向大语言模型智能体技能步骤归因的框架，将技能步骤归因建模为夏普利值估计问题，经SkillsBench实验可高效识别技能步骤价值，为智能体技能构建提供启示。

Comments 15 pages, 4 figures

OEIS Open: How many conjectures can language models turn into theorems?

OEIS Open：语言模型能将多少个猜想转化为定理？

Tom Adamczewski

机构 * Epoch AI 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究构建OEIS Open基准，发现配备最少工具的语言模型在适中预算下可自主解决部分OEIS未解决数学猜想，访问大量数学文献或复杂智能体循环未提升其性能。

Comments 26 pages, 6 figures. Code: https://github.com/epoch-research/LeanOpenProblems, results: https://github.com/epoch-research/LeanOpenProblems-results

Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation

音频语言模型是否使用副语言证据？用于响应评估的反事实审计

Kevin Miller, Arjun Chandra, Venkatesh Saligrama

机构 * Boston University（波士顿大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对用作语音转语音系统评判者的音频语言模型，提出反事实审计方法，发现其评判可靠性常被对比成功高估，需结合行为审计而非仅准确率评估。

StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

StarEmbed：在变星天文观测上对时间序列基础模型进行基准测试

Weijian Li, Hong-Yu Chen, Nabeel Rehemtulla, Ved G. Shah, Dongho Kim, Dennis Wu, Qinjie Lin, Adam A. Miller, Han Liu

机构 * Department of Computer Science, Northwestern University（计算机科学系，西北大学） ； Center for Foundation Models and Generative AI, Northwestern University（基础模型与生成AI中心，西北大学） ； NSF – Simons AI Institute for the Sky (SkAI)（国家科学基金会-斯隆人工智能天文研究所（SkAI）） ； Department of Physics and Astronomy, Northwestern University（物理与天文学系，西北大学） ； Center for Interdisciplinary Exploration and Research in Astrophysics (CIERA)（天文学跨学科探索与研究中心（CIERA）） ； Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 StarEmbed首次在变星天文观测上对时间序列基础模型进行基准测试，展示了TSFMs在天文任务中的优越性能和泛化能力。

Comments Accepted at ICML 2026

SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models

SpaRRTa：用于评估视觉基础模型空间智能的合成基准

Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

机构 * AGH University of Krakow（克拉科夫AGH大学） ； IDEAS NCBR 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 SpaRRTa通过评估视觉基础模型的空间推理能力，揭示其在不同空间任务中的表现差异，旨在推动更高效的空间意识视觉模型发展。

Comments Project page is available at https://sparrta.gmum.net/

Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists

评估大型语言模型作为合作科学家的研究完整性的诊断基础

Yash Tripathi, Silu Sharma, Sai Sidhanth Manoharan Jayanthi, Shivank Garg, Lin Li

专题命中 评测与基准 ：LLM(summary_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。

MBA: Multimodal Benchmark and Agents for Real-World Business Ideation

MBA：面向现实世界商业创意的多模态基准与智能体

Hojun Choi, Jaeyo Shin, Suin Lee, Hyunjung Shim

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究推出首个多模态商业创意基准MBA-Bench，提出MBA-b和MBA-k两种智能体，经实验其性能显著优于相关基准，为多模态商业创意智能体研究提供了重要支撑。

Comments Project page: https://hchoi256.github.io/projects/mba/ Code: https://github.com/hchoi256/MBA

Evaluation of Clinically Steerable Retinal Image Generation from Foundation Model Latent Spaces

基于基础模型潜在空间的临床可操控视网膜图像生成评估

Zuzanna A. Wakefield-Skórniewska, Bartłomiej W. Papież

机构 * Nuffield Department of Population Health, University of Oxford（牛津大学纳菲尔德人口健康系） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 该研究评估了四种视网膜基础模型的可控图像生成能力，发现其在自身框架内生成的视网膜图像优于传统潜在扩散，但与真实图像存在表征差距，需进一步对齐。

Comments MICCAI 2026 Workshop SASHIMI Submission

How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning?

基础模型在纵向MRI疾病进展推理中的表现如何？

Wafa Al Ghallabi, Ritesh Thawkar, Sara Ghaboura, Omkar Thawakar, Numan Saeed, Dana Al Nuaimi, Ajnas Alkatheeri, Salman Khan, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Health Abu Dhabi（阿布扎比卫生部） ； Fatima College of Health Sciences（法蒂玛健康科学学院） ； Linköping University（林雪平大学） 纠错

专题命中 评测与基准 ：foundation model(title)；language model(abstract)

AI总结 该研究推出Time-Aware Multi-View MRI基准，评估16个视觉-语言模型在纵向MRI疾病进展推理中的表现，发现模型在变化方向识别等方面存在缺陷，多视角输入对模型性能有特定影响。

Comments Accepted at MICCAI 2026 (Early Accept). 11 pages, 3 figures, 2 tables

Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code

野外提示：代码中事务性提示的大型分析集合

Victoria Basmov, Yoav Goldberg, Reut Tsarfaty

机构 * Bar-Ilan University（巴伊兰大学） ； Allen Institute for Artificial Intelligence（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文从GitHub收集57500个代码事务性提示样本，构建结构化本体将其结构化，分析得使用模式呈齐普夫分布，经错误分析验证标注可靠性，发布数据集及浏览界面。

Journal ref Proc. of the 20th Linguistic Annotation Workshop (LAW XX), pp. 257-308, 2026

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

大规模模型的遗忘：十亿参数语言模型中的状态精确、保留轨迹的删除

Abdullah X

机构 * Zephara AI 纠错

专题命中 评测与基准 ：language model(title)；分类 cs.AI、cs.LG

AI总结 该研究针对十亿参数语言模型，提出保留轨迹的删除方法，在Pythia、Llama模型上实现状态精确删除，但分散请求会导致高重放成本，发布相关测量作为诊断工具。

Comments 18 pages, 2 figures, 7 tables. Code and frozen research records available at https://github.com/abdullah-x-bd/unlearning (v0.3.1)

SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries

SteerBench-Work：动作边界处智能体决策的基准测试

Oguz Serdar, Cuneyt Mertayak

机构 * AgentDock 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出职场智能体动作边界决策基准SteerBench-Work，发现模型在该任务中存在过度拒绝的显著偏差，且通用能力与引导校准并不等同。