语言大模型 / LLM

AraDetox: A Multi-Dialect Arabic Detoxification Dataset

AraDetox：多方言阿拉伯语解毒数据集

Mo El-Haj

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出多方言阿拉伯语解毒数据集AraDetox，基于GPT-5和Gemini 2.5 Flash生成海量解毒文本，经评估验证其可有效去除有害语言并保留原意，为相关研究提供公开资源。

Comments 15 pages, 6 figures

Journal ref ArabicNLP 2026 at EMNLP 2026 Conference

Hybrid Panels: Toward Human-AI Collaboration in Survey Research

混合面板：面向调查研究中的人机协作

Julia Romberg, Tobias Gummer, Gabriella Lapesa, Tanja Kunz, Claudia Wagner

机构 * GESIS - Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所（GESIS）） ； Heidelberg University（海德堡大学） ； Heinrich Heine University of Düsseldorf（杜塞尔多夫海因里希·海涅大学） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出混合面板概念，构建首个试点，将人类与LLMs结合用于调查，旨在解决调查的响应率、成本等问题，为调查研究的人机协作提供新方向。

Comments 15 pages, under review

GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI

GuardianBench：面向具身智能中潜在上下文风险的同场景指令对比基准

Zhesheng Zhang, Jiahao Lu, Wei Liu, Cong Pan, Jianhua Yang, Yixiang Chen, Hongyuan Yu, Mengqi Zhang, Kailin Lyu, Zhumin Chen, Keji He

机构 * Shandong University（山东大学） ； National University of Singapore（新加坡国立大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiaomi Corporation（小米公司） 纠错

专题命中 评测与基准 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出基于国际安全标准的同场景指令对比基准GuardianBench，发现VLMs对指令不敏感，用轻量级目标VLOS可提升其安全推理性能。

Comments 21 pages, 4 figures

Evaluation-as-Search: Adaptive Discovery of Grounding Failures in Meeting Assistants

评估即搜索：会议助手接地故障的自适应发现

Sami Khairy, Yasaman Hosseinkashi, Vishak Gopal, Ross Cutler

机构 * Microsoft（微软公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出EaS方法构建MeetingProbe基准，发现会议助手故障多源于话语语用挑战，其自适应搜索比随机探测的故障发现率高2.5倍，且公开了该基准以支持可复现评估。

EditPPT: Faithful Long-Deck Slide Editing via Structured Tool-Using Multi-Agent with Dual-Modal Validators

EditPPT：基于结构化工具使用多智能体与双模态验证器的忠实长文档幻灯片编辑

Jiheon Kim, Kyudan Jung, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出EditPPT多智能体框架，通过PowerPoint COM接口执行局部操作并结合双模态验证，在DeckEdit-Bench基准上实现高执行率等指标，解决长文档幻灯片编辑的级联错误问题。

Comments 30 pages, 7 figures, 17 tables, EMNLP 2026 submitted, under review

Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality

提示工程之外：提示词词汇敏感性及其对质量影响的系统性分析

Qipeng Xie, Zi Liang, Jiafei Wu, Yufei Chen, Weizheng Wang, Wenao Ma, Zhong Ming, Haiqin Yang, Kaishun Wu

机构 * Shenzhen Technology University（深圳技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Lab（之江实验室） ； The Chinese University of Hong Kong（香港中文大学） ； HKUST (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大型语言模型的提示词词汇敏感性开展大规模机制分析，揭示提示词性能稳定性缩放定律，提出自动化提示词优化智能体，可降低代码生成任务性能方差40.7%，为鲁棒提示工程提供可解释框架。

Metrics That Write Themselves: Evolving an Evaluator from Its Own Blind Spots

自动生成的评估指标：从自身盲点进化评估器

Xing Zhang, Yanwei Cui, Guanghui Wang, Zhihao Lin, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出EvalCEGAR方法，借鉴程序验证的反例引导抽象精化进化自动评估指标，在MBPP+等基准上缩小评分差距，效果优于人工算子且无需模型调用费用。

Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

M P V S Gopinadh

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 3 pages. Accepted at ACL 2026 Workshop on Evaluation in Practice: Methodological Rigor, Sociotechnical Perspectives, & Community Collaboration (EvalEval)

Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs

安全对齐错觉：大语言模型中的跨语言安全差距

Namya Bhatnagar

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对 LLMs 安全对齐以英语为中心导致的跨语言偏见问题，提出多语言评估基准 INCLUDE，评估十款 LLMs 后发现孟加拉语在开源模型中偏见最高、英语在开源与闭源模型中偏见表现反转的现象。

Comments 7 pages, 8 figures, submitted to IEEE SLT (Spoken Language Technology) 2026

Stability-Aware Feature Design for Robust Watermark Detection in Machine-Generated Text

面向机器生成文本鲁棒水印检测的感知稳定性特征设计

Sina Mansouri, Mohit Marvania, Abolfazl Safikhani

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对机器生成文本水印检测在多次释义及短文本场景下性能骤降的问题，提出PSS检测框架，结合多类特征与稳定性得分，在多基准数据集和多模型测试中显著提升检测AUC，且通用分类器跨域泛化性强。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea. 20 pages, 5 figures

Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence

用于脑-语言对应关系的边际正则化结构化语义对齐

Jiaqi Wang, Huawen Hu, Shu Zhang

机构 * School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。

Cross-Modal Ultrasound-MRI Learning for Fetal Brain Ventricular Volumetry and Abnormality Screening

用于胎儿脑室体积测量与异常筛查的跨模态超声-MRI学习

Yuhao Huang, Yuanji Zhang, Yuhuan Lu, Dong Ni, P. Ellen Grant, Davood Karimi

专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出跨模态学习框架VIFBA，基于超声视频实现胎儿脑室体积预测、VM严重程度分类及非VM异常筛查，性能优于基线与现有模型，为产前脑筛查提供实用方案。

Comments 17 pages, 11 figures, 6 tables

No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage

没有任务每次都失败：为什么单次审计在智能体损伤问题上存在结构性盲区

Shiven Khurdi

机构 * Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出AgentRelBench工具，发现单次智能体审计易遗漏损伤对，模型能力提升会减少损伤任务，部分模型存在宣称弃权却执行不可逆操作的情况，且所有发现均按预注册标准执行。

Comments 25 pages, 4 figures, 16 tables, 6 appendices. Code, task suite, released per-run verdicts, and a one-command reproduction of every reported number: https://github.com/shivenkk/agentrelbench

RamseyGadgets: A Graph Construction Dataset for LLMs

RamseyGadgets：面向大语言模型（LLMs）的图构造数据集

Zohair Raza Hassan, Deepak Pandita

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出新型图构造数据集RamseyGadgets，评估5个开源LLMs在其70个拉姆齐良图问题上的表现，发现LLMs在困难问题上准确率仅37.70%，Gemma-4-31B性能最优，还可用于确定提升LLMs表现的提示类型。

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

基于缩放假设的无标签智能体学习控制器能力评估

Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

机构 * Georgian 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出基于缩放假设的无标签智能体学习控制器评估框架，以教师模型与学生模型的收敛度为评分指标，验证其可作为标签缺失时控制器真实增益的有效代理。

Comments 18 pages, 6 figures. Accepted at CAMLIS 2025 (Conference on Applied Machine Learning for Information Security)

Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required

勿宣称面向基准的优化可提升通用编码能力——需要多样化评估

Egor Shibaev, Vera Kudrevskaia, Timur Galimzyanov, Mikhail Evtikhiev, Ana Terna, Rastislav Rabatin, Timur Kudashev, Timofey Bryksin, Arina Puchkova, Patrik Bartak, Egor Bogomolov, Sergey Titov

专题命中 评测与基准 ：foundation model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 该研究指出少量编码基准的优化无法提升通用编码能力，通过案例研究验证了基准排名难泛化、跨任务迁移差等问题，呼吁采用差异化评估与持续基准维护。

Comments Accepted to the DL4Code workshop @ ICLR2026

FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents

FrontierFinance：用于衡量金融智能体前沿智能的具有挑战性的基准

Yuhao Zhang, O. Ozan Koyluoglu, Thejas Venkatesh, Richard Diehl Martinez, Vishank Bhatia, Arash Alidoust, Ashwin Paranjape

机构 * Samaya AI（萨马亚人工智能公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究推出覆盖投资者全流程的FrontierFinance基准，评估发现工具框架影响智能体表现，Samaya内部系统最优，开源模型Kimi K3成本更低且接近专有模型，最难用例为筛选与发现等。

Toward Human Rights Benchmarking for LLMs: A Pilot Methodology

面向大语言模型的人权基准测试：一种试点方法

Savannah Thais, Wm. Matthew Kennedy, Abhigyan Acherjee, Matilda Wysocki, Malcolm Langford, Caitlin Kraft Buchman

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究开发了首个经专家验证的人权基准HumRightsBench，调整IRAC框架为IRAP，通过真实场景测试LLMs的人权推理能力，发现模型准确率差异显著，可推动AI评估科学发展。

Comments Best paper, honorable mention, at the ICML 2026 Workshop on AI4Law, Seoul, South Korea

TAF-MED: Multi-Turn Safety Refusal Collapse in LLMs Under Declared Self-Treatment Intent

TAF-MED：声明自我治疗意图下大语言模型的多轮安全拒绝崩溃

Waleed Jamil, Raphael Schmitt

机构 * Independent Researcher（独立研究者） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） ； Institute of General Practice, Faculty of Medicine and Medical Center, University of Freiburg（弗莱堡大学医学中心医学院普通实践研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出TAF-MED医疗安全基准，评估8个大语言模型的多轮医疗对话安全表现，发现多数模型会在后续对话中出现安全拒绝崩溃，自动评判工具与医生标注一致性较高，将公开基准支持相关研究。

CAP: A Scalable Benchmark for Evaluating Cross-Site Browser Agents with Complex Actions and Perception

CAP：用于评估具备复杂动作与感知能力的跨站点浏览器智能体的可扩展基准

Zejun Xu, Taiyi Chen, Jin Li, Yongtong Gu, Qi Cheng, Aixuan Lv, Shuai Zhu, Pengfei Zhu, Kaichen Yang, Boyu Sun, Yixian Yang, Mulong Xie, Xin Liu, Dagang Li, Xiaoteng Ma, Hongru Wang

机构 * Macau University of Science and Technology（澳门科技大学） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； FellouAI ； ARGUS Lab（ARGUS实验室） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究人员推出可扩展基准CAP，通过分解-重组流程构建420项跨站点网页任务，实验发现当前浏览器智能体在感知密集型交互上存在明显瓶颈，与真实需求差距较大。

Comments Accepted to COLM 2026. Project page: https://warriorxu0302.github.io/CAP-Bench/

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist：通过双向图对齐检测智能体技能中的不一致性

Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 SkillConsist针对智能体技能不一致检测的挑战，通过双向图对齐等技术构建基准并取得优于基线的检测性能，提升了技能一致性检测效果。

Comments 11 pages, 3 figures

DarwinX: Evolving Agent Harnesses Through Natural Selection

DarwinX：通过自然选择进化智能体控制程序

Yifan Zhang, Yutong Dai, Juntao Tan, Luyu Yang, Rishi Mullur, Thai Hoang, Zhiyuan Hu, James Zhu, Phil Mui, Silvio Savarese, Ran Xu, Zeyuan Chen

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 DarwinX是模型参数冻结时通过自然选择进化控制程序的方法，在四个基准中平均提升约17个百分点，控制程序可迁移，进化通用能力而非基准特定补丁。

An AI Scientist that Doesn't Drift: Taste, Structure, and Falsifiable Findings in a Quadruped Navigation Research Loop

不会发生漂移的AI科学家：四足机器人导航研究循环中的偏好、结构与可证伪发现

Yiwen Zhang, Eloise Zeng, Jaeha Lee, Tony Yue Yu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出一款基于自研究范式的AI科学家，通过新增实验卡片、专门子智能体和偏好神谕kkanbu的组件，解决自主研究循环漂移问题，在四足机器人导航实验中验证了框架的有效性。

An evolutionary model of animats with VLM-based subjective evaluation

基于视觉语言模型（VLM）主观评估的动物机器人进化模型

Shota Miyazaki, Takaya Arita, Reiji Suzuki

专题命中 评测与基准 ：language model(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出将VLM主观评估融入遗传算法的框架，使虚拟软体机器人同步进化形态与运动，实验显示该方法可加快种群收敛，且VLM主观选择的结果与人类评估倾向相似。

Comments 18 pages, 12 figures, 2 tables. This manuscript has been accepted for publication in Artificial Life and Robotics following peer review

Journal ref Shota Miyazaki, Takaya Arita and Reiji Suzuki: An evolutionary model of animats with VLM-based subjective evaluation, Artificial Life and Robotics (2026). https://link.springer.com/article/10.1007/s10015-026-01135-4

Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers

超越序列顺序：面向Transformer的句法感知位置嵌入

Haris Riaz, Hyungji Kim, Mihai Surdeanu

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 评测与基准 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出句法感知位置嵌入SiPE，将句法先验注入Transformer，使模型在SyntaxGym、GLUE基准分别提升10.3%、8.2%，困惑度降9.0%，在句法监督与推理成本间建立新帕累托前沿。

Comments 21 pages, 9 figures

FormBharo: Designing and Evaluating a Voice Agent for Conversational Form Filling in Rural India

FormBharo：为印度农村设计和评估用于对话式表单填写的语音助手

Aman Dalmia, Sanskriti Midha, Jigar Doshi

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对印度农村无法读写的人群开发了语音助手FormBharo，结合LLMs与规则控制完成表单填写，发布了相关基准数据集，通过端到端评估确定最优模型配置以平衡准确性、成本与延迟。

From Economic Agents to Agentic Economies: A Systems Blueprint for Economic World Models

从经济智能体到智能体经济：经济世界模型的系统蓝图

Jiale Han, Xiang Li, Jing Qian, Wenyuan Gu, Pin Gao, Ye Luo, Hongyuan Zha, Dacheng Tao, Benyou Wang, Lin William Cong

机构 * Shenzhen Loop Area Institute（深圳河套学院） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； University of Hong Kong（香港大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出经济世界模型（EWM）的六级能力阶梯实施蓝图，旨在加速可作为人类决策沙箱与AI智能体基础的下一代高保真经济模拟环境开发。

Comments Project page: https://github.com/FreedomIntelligence/Awesome-Economic-World-Models

Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages

英语源多语言检索增强生成（RAG）系统的隐私风险所在：五种查询语言下的阶段分解审计

Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究针对英语源多语言RAG系统，通过含五种查询语言的两阶段防御审计发现，非英语语言仍存在残留PII泄露，附加黄金文档可阻断多数残留单元，后续计划开展独立MT与非Qwen判别器的复现工作。

FinReportBench: Measuring and Improving Institution-Grade Financial Report Generation

FinReportBench：衡量与提升机构级财务报告生成能力

Yinghao Tang, Tan Zhenwei, Yiyao Wang, Wanli Gu, Xiaolu Zhang, Jun Zhou, Wei Chen

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出FinReportBench基准，发现大型语言模型生成机构级财务报告的瓶颈在于报告身份认同与机构完整性，通过基准引导的技能蒸馏可显著提升模型相关指标。

Comments 9 pages, 9 figures

FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables

FinProBench：基于专业交付物衍生的角色基准评估金融AI智能体

Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究推出FinProBench金融AI智能体基准及RGRC角色基准构建流程，实验显示RGRC在角色专业化角色评估上优于仅提示方法，角色级复用基准可大幅减少工作量。