语言大模型 / LLM

No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios

没有一种模型能应对所有危害：跨安全场景的内容审核基准测试

Afshin Orojlooyjadid, Hitesh Patel

机构 * Oracle AI（甲骨文人工智能） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究测试53个模型在11个数据集的四类安全场景下的表现，发现前沿模型在部分场景落后于专用模型，实际对话安全未解决，挑战规模即安全的假设并提供模型选择框架。

Comments EMNLP 2026 Main Track

Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines

始终良好与偶尔出色：人类与机器开放式反馈质量的评分标准

Binglin Chen, Rajarshi Haldar, Max Fowler, Matthew West, Craig Zilles

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 本文针对入门编程开放式简答题反馈制定五项标准评分标准，对比前沿大语言模型OpenAI o1与9名助教的反馈，发现LLM平均表现优于助教但存在自我偏好偏差，为教育场景部署LLM反馈提供参考。

GIM: Evaluating models via tasks that integrate multiple cognitive domains

GIM：通过整合多个认知领域的任务评估模型

Rohit Patel, Alexandre Rezende, Steven McClain

机构 * Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GIM基准测试，通过整合多个认知领域的任务来评估模型，其核心方法是设计820个原创问题，结合广泛的知识和多种认知操作，从而保持推理在现实任务中的基础性，同时通过2PL IRT模型校准能力估计，发布涵盖22个模型和47种测试配置的综合排行榜，并深入研究了测试时计算与模型能力之间的权衡。

Comments 61 pages, 27 figures, 4 tables. Code: https://github.com/facebookresearch/gim ; Dataset: https://huggingface.co/datasets/facebook/gim

The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search

上下文分配定律：生成式搜索中的因果测量与闭环编排

Peiyang Liu, Xi Wang, Di Liang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学国家软件工程研究中心） ； Peking University（北京大学） ； Tencent（腾讯） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究针对RAG的证据利用测量与上下文预算分配瓶颈，提出因果留一法探针与闭环次模调度器，实现组合召回率提升16.7-20.5个百分点，确立顺序反馈驱动编排为生成式搜索的范式。

AraDetox: A Multi-Dialect Arabic Detoxification Dataset

AraDetox：多方言阿拉伯语解毒数据集

Mo El-Haj

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出多方言阿拉伯语解毒数据集AraDetox，基于GPT-5和Gemini 2.5 Flash生成海量解毒文本，经评估验证其可有效去除有害语言并保留原意，为相关研究提供公开资源。

Comments 15 pages, 6 figures

Journal ref ArabicNLP 2026 at EMNLP 2026 Conference

Hybrid Panels: Toward Human-AI Collaboration in Survey Research

混合面板：面向调查研究中的人机协作

Julia Romberg, Tobias Gummer, Gabriella Lapesa, Tanja Kunz, Claudia Wagner

机构 * GESIS - Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所（GESIS）） ； Heidelberg University（海德堡大学） ； Heinrich Heine University of Düsseldorf（杜塞尔多夫海因里希·海涅大学） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出混合面板概念，构建首个试点，将人类与LLMs结合用于调查，旨在解决调查的响应率、成本等问题，为调查研究的人机协作提供新方向。

Comments 15 pages, under review

GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI

GuardianBench：面向具身智能中潜在上下文风险的同场景指令对比基准

Zhesheng Zhang, Jiahao Lu, Wei Liu, Cong Pan, Jianhua Yang, Yixiang Chen, Hongyuan Yu, Mengqi Zhang, Kailin Lyu, Zhumin Chen, Keji He

机构 * Shandong University（山东大学） ； National University of Singapore（新加坡国立大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiaomi Corporation（小米公司） 纠错

专题命中 评测与基准 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出基于国际安全标准的同场景指令对比基准GuardianBench，发现VLMs对指令不敏感，用轻量级目标VLOS可提升其安全推理性能。

Comments 21 pages, 4 figures

NL2SHACL-Bench: A Benchmark Suite for Natural Language to SHACL Translation

NL2SHACL-Bench：面向自然语言到SHACL翻译的基准套件

Yuchen Zhou, Niels Bobet, Maribel Acosta

机构 * Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NL2SHACL-Bench基准套件，评估了四个最先进大语言模型的NL2SHACL翻译能力，发现当前模型能生成语法有效SHACL，但复杂逻辑与结构模式的语义等价约束生成仍有不足，该基准可衡量领域进展。

Comments Accepted at ISWC 2026; 18 pages, 8 figures, 2 tables

MOSAIC: Modular Orchestration for Structured Agentic Intelligence and Composition

MOSAIC：结构化智能体智能与组合的模块化编排

Yifan Bao, Xinyu Xi, Xinyu Liu, Wen Ge, Lei Jiang, Kevin Zhang, Raad Khraishi, Yihao Ang, Anthony K. H. Tung, Lukasz Szpruch, Hao Ni

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； University College London（伦敦大学学院） ； University of Edinburgh（爱丁堡大学） ； Data & Analytics, Digital X（Digital X 数据与分析部） ； Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出MOSAIC框架，通过结构化智能体编排、记忆驱动的模型选择和蓝图构建，将自动化数据科学转化为可验证、可复用的模型选择问题，在金融时间序列任务中优于AutoML和智能体基线。

Histoires Morales: A French Dataset for Assessing Moral Alignment

Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

专题命中 评测与基准 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025

CatchBench: When Can an Agent Failure Be Caught?

CatchBench：智能体故障何时能被检测？

Yue Zhao

机构 * University of Southern California（南加州大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 CatchBench是首个在同一任务-方法接口下对智能体运行前、运行中、完成后三种信息状态进行评分的基准，涵盖多类模型与配置，揭示基准分数需结合标签过程才可解释。

Comments 39 pages, 6 figures, 21 tables. Work in progress. Code and data: https://github.com/yzhao062/catchbench

KMGen: A Skill-based Approach for Synthetic Individual Patient Data Generation

KMGen：一种基于技能的合成个体患者数据生成方法

Jalen Jiang, Chufan Gao, Ethan Rasmussen, Stephen Z. Xie, Jimeng Sun

机构 * Mayo Clinic Alix School of Medicine（梅奥诊所阿利克斯医学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 KMGen是首个端到端框架，可全自动提取KM曲线并生成合成患者不良事件轨迹，在多肿瘤试验中精度达标，相关流水线已开源。

Journal ref Proceedings of Machine Learning Research 340 (2026) 1-60

Stress Testing Unlearning Algorithms

对遗忘算法进行压力测试

Noam Diamant, Ethan Fetaya, Neta Glazer

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对现有大型语言模型遗忘基准的缺陷，提出扩展WMDP的WMDP++基准，以针对性提取遗忘信息和评估边界问题性能，实现对遗忘算法更严格的压力测试。

When Persona Simulations Are Informative: Graph-Structured Signals for Pluralistic Opinion Sensing

当角色模拟具有信息性时：用于多元意见感知的图结构化信号

Taehyeon An, Jaehyeong Park, Donghyuk Shin

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出角色条件化信息性（PCI）指标，通过将角色建模为相似度图并利用Local Moran's I量化一致性，筛选合成受访者，在PVQ-RR数据集上验证其能提升潜在价值观结构的恢复效果。

All four leading LLMs talk more than they listen to personality-verified synthetic help-seekers

四大领先的大语言模型在与经人格验证的合成求助者交流时，说得多听得少

Pablo A. Fonseca, Raquel Rodríguez-Carvajal, Rafael A. Calvo

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究构建人格感知评估，发现四大领先大语言模型在为合成求助者提供危机建议时，存在说多听少、未充分探索情况就解决问题的共性，且评估覆盖了大五人格外的心理倾向。

Comments 30 pages, 6 figures, 24 tables. Data and code: https://doi.org/10.82186/9aajj-vq030

W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases

W-RAG：面向异构知识库的企业文档生成的源感知检索方法

Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对异构知识库下企业文档生成中全局排序导致的上下文失衡问题，提出源感知检索框架W-RAG，引入相关数据集并验证其可提升文档覆盖率与生成质量。

Comments 18 pages

SPAR-Hate: An Auditor-Guided Multi-Agent Framework for Bilingual Hate Speech Parsing

SPAR-Hate：一种由审核员引导的用于双语仇恨言论解析的多智能体框架

Yifan Lyu, Dianqing Lin, Xinran Li, Jiaqi Qiao, Xiujuan Xu

机构 * Dalian University of Technology（大连理工大学） ； Inner Mongolia University（内蒙古大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对结构化仇恨言论解析的文化等挑战，提出SPAR-Hate多智能体框架，分解文档为决策单元后从三视角生成判断并仲裁，在基准上实现双语仇恨解析最优结果。

Comments 16 pages, 2 figures. Submitted to EMNLP 2026

PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding

PUMA：面向文化扎根多模态理解的波兰基准测试

Sławomir Dadas, Michał Perełkiewicz, Rafał Poświata, Małgorzata Grębowiec, Bartłomiej Jaworski, Izabela Woźniakowska

机构 * National Information Processing Institute（国家信息处理研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对英语外文化多模态评估不足的问题，提出波兰多模态基准PUMA，通过900项任务评估各类模型在波兰语境下的多模态能力，发现商用模型在视觉问答表现好但音频/文档理解弱，并开源评估框架推进本地化多模态AI研究。

Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation

大语言模型（LLMs）真的能遗忘吗？通过对抗性评估揭示遗忘差距

Ayush Gupta, Hima Varshini Surisetty, Sreevidya Bollineni, Varad Ingale, Tuhina Tripathi, Abhishek Lalwani, Somya Chatterjee, Sadid Hasan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Microsoft Corporation（微软公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究针对TOFU数据集和Llama-3.2-3B-Instruct模型，引入ASR指标评估遗忘方法，发现标准指标表现优异的遗忘方法仍存在高对抗恢复风险，提出需补充对抗性压力测试作为遗忘评估的必要部分。

Comments 19 pages, 5 figures

presto: Efficient, Training-free, and Open-world Object Placement via Imaginary Search

presto：基于想象搜索的高效无训练开放世界物体放置方法

Weixuan Ding, Shang Liu, Hanyu Pei, Zeyan Liu

机构 * Wuhan University（武汉大学） ； University of Louisville（路易斯维尔大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出零样本无训练框架presto，将开放世界物体放置转化为MLLM引导的启发式搜索任务，经多基准实验及人类研究验证，其在开放世界场景中性能最优，且MLLM作为评判者的变体更具感知一致性。

Comments Accepted to ICONIP 2026

BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces

BeTaL-GBI：几何置信接口的准入感知基准调优与全栈验证

Alvin Spivey, Yu Huang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出 BeTaL-GBI 等改进方案，验证几何置信接口的架构断言，优化基准调优与见证机制，提升验证底层的可信度与审计能力。

Comments 30 pages, Geometric Belief Interface, Decentralized Cryptographic Sheaf-Enclave, GBI, DCSE, GBI-DCSE, BoundaryBench v0.1, BeTaL-GBI v0.2, GBI v2, GBI-DCSE v3

RIACT: A Responsible AI System for Personalized Study Habit Tracking and Early Burnout Signal Detection in University Students

RIACT：面向大学生的负责任AI系统，用于个性化学习习惯追踪与早期倦怠信号检测

Ria Sidhu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出负责任AI系统RIACT，结合结构化学习记录与混合AI架构，为大学生检测早期倦怠信号并生成个性化学习建议，嵌入可审计规则等负责任AI原则，还提出了倦怠信号评估框架。

Comments 11 pages. Also available on EdArXiv: https://doi.org/10.35542/osf.io/94hr5_v1

Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment -- Is English Enough?

用跨语言对齐性预测大语言模型的多语言分类与翻译性能——英语足够了吗？

Adnan Al Ali, Kathy Hämmerl, Jindřich Libovický, Alexander Fraser

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究对比分析27种跨语言对齐分数变体，提出基于PMI的翻译指标，发现用英语的跨语言对齐可相当或更好预测LLMs翻译性能，为LLMs以英语为内部枢纽语言提供新证据。

Comments Accepted to EMNLP 2026

Checkup2Action: A Multimodal Clinical Check-up Report Dataset for Patient-Oriented Action Card Generation

Checkup2Action：面向患者行动的多模态临床检查报告数据集

Sike Xiang, Shuang Chen, Kevin Qinghong Lin, Jialin Yu, Yijia Sun, Philip Torr, Amir Atapour-Abarghouei

机构 * Durham University（杜伦大学） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Checkup2Action数据集，用于生成结构化的行动卡，通过多模态检查报告生成患者导向的行动建议，评估行动的准确性、优先级和安全性。

ATP-Bench: Towards Agentic Tool Planning for MLLM Interleaved Generation

ATP-Bench: 向多模态大语言模型交错生成的代理工具规划迈进

Yinuo Liu, Zi Qian, Heng Zhou, Jiahao Zhang, Yajie Zhang, Zhihang Li, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型交错生成中事实性与创造性难以统一的问题，提出ATP-Bench基准，包含7702个问题-答案对，评估代理工具规划能力，揭示模型在交错规划中的不足。

Comments Accepted at the European Conference on Computer Vision (ECCV) 2026

Systematic Bias in Green Patent Classification: Silent Green and False Green

绿色专利分类中的系统性偏差：隐性绿色与虚假绿色

Hamid Bekamiri, Jan Auernhammer, Milad Abbasiharofteh, Jesper Lindgaard Christensen

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文针对基于CPC Y02标签的绿色专利指标，发现其存在虚假绿色与隐性绿色偏差，修正后绿色专利量降25.5%，偏差源于分类能力且低估重工业贡献，加剧ESG创新脱节。

An Interactive Agent for Requirement-Driven Candidate Sourcing

面向需求驱动型候选人挖掘的交互式智能体

Yuanpeng He, Fangjing Li, Xiangyu Ru, Kexin Sun, Kun Yang, Lijian Li, Chi-Man Pun, Qingsong Wen, Wenpin Jiao, Mingkai Guo, Yirong Feng, Daiheng Gao, Zhi Jin

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 该研究针对自然语言描述的人才挖掘任务，提出首个交互式需求驱动型候选人挖掘智能体，在21个系统和691项需求上，其广度和召回率均优于现有基线模型。

Comments 12 pages

Towards Automated Cyber Threat Intelligence Elicitation in Underground Forums

面向地下论坛中自动化网络威胁情报的获取

Lorenzo Bossi, Federico Saccani, Francesco Panebianco, Antonio Maci, Stefano Zanero, Stefano Longari, Michele Carminati

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文提出首个基于多智能体大语言模型的主动CTI获取系统DarkBot，其在受控与真实世界实验中均优于基线，可从地下论坛高效获取CTI且安全合规。

Comments 23 pages, 19 figures

XTC: Head-Aware Sampling by Excluding Top Choices

XTC：通过排除顶部选择的头感知采样

Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

机构 * Thoughtworks（Thoughtworks公司） ； Columbia University（哥伦比亚大学） ； Oracle（甲骨文公司） ； New York University（纽约大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 XTC是一种轻量头感知解码算子，通过排除部分高概率词元改善自回归语言模型的多样性-重复帕累托前沿，在多项实验中提升创意生成效果且准确率损失极小，已被多个工具采用。

Risk-Aware Reranking for Agentic Tool Retrieval

面向智能体工具检索的风险感知重排序

Qinfei Li, Xiaoxuan Dong, Jin Zhang, Dexu Yu, Wenhao Deng, Junchen Fu, Youhua Li, Hanwen Du, Chunxiao Li

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文针对智能体工具检索的风险问题，提出轻量级风险感知重排序框架，通过权衡安全与效用改善相关性-安全 tradeoff，为安全关键部署提供保守操作点。

Comments Accepted by CIKM 2026