语言大模型 / LLM

Bit-Accurate FPGA Evaluation of Learned Feature Gating in a Fixed-Point Fourier-Feature Automatic Modulation Classifier

定点傅里叶特征自动调制分类器中学习特征门控的比特精确FPGA评估

Gawthaman Senthilvelan, Luthira Abeykoon

专题命中 评测与基准 ：post-training(abstract)；分类 cs.LG

AI总结 研究在定点傅里叶特征自动调制分类器中学习特征门控的效果，通过特定架构和训练方法，在FPGA上评估其对分类准确率及硬件资源的影响，发现学习门控增加成本且未提升准确率。

Comments 8 pages

Evaluating RAG for French immigration law: a benchmark and baseline study

评估法国移民法的RAG：一项基准和基线研究

Annia Abtout, Julien Delaunay, Monika Ewa Rakoczy

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究法国国际招聘的法律框架，通过公开基准比较参数化语言模型基线与密集检索增强在两种模型规模下对52个合成档案的效果，发现检索能改进行政指导，凸显检索基础的重要性，推动混合检索策略研究。

Journal ref International workshop on AI for Human Resources and Public Employment Services (ECML-PKDD 2026)

When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents

当低字符错误率还不够时：对乌拉圭历史文档视觉语言OCR系统中幻觉的分析

Marina Gardella, Camilo Mari{ñ}o, Diego Belzarena, Ignacio Ram{í}rez, Gregory Randall, Jean-Michel Morel

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 研究乌拉圭历史文档视觉语言OCR系统，在Berrutti数据集上对比传统OCR与VLM方法，发现VLM虽CER和WER优，但存在系统性失败模式，揭示了定量性能与转录保真度差距，强调需超越字符级准确性的评估框架。

Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation

智能云诱饵：一种用于自主入侵调查的欺骗驱动框架

Mohan Manivannan, Dalal Alharthi

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究针对云遥测使入侵理解困难的问题，提出云诱饵人工智能代理框架，通过会话聚合运算符、动态提示生成等方法，在十个AWS S3场景测试中效果良好，能压缩调查路径，多数场景可完全重建，且延迟短。

DriveDNA: A Large-Scale Multimodal Naturalistic Driving Dataset and Benchmark for Driving Style Identification

DriveDNA：用于驾驶风格识别的大规模多模态自然驾驶数据集及基准测试

Yuhang Wang, Lingyao Li, Hao Zhou

机构 * University of South Florida（南佛罗里达大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究引入DriveDNA数据集及基准测试用于驾驶风格识别，定义驾驶风格为车辆在相似条件下的特定行为模式，通过三个核心任务评估，对比多种基线方法得出学习表示更优，视频模型有路线泄漏问题，强调可靠评估需考虑多方面因素。

A Few Words Go a Long Way: Language Guided Robot Policy Synthesis

寥寥数语，成效显著：语言引导的机器人策略合成

Daphne Chen, Archit Ritesh Jain, Eric Goossen, Emma Romig, Michael Murray, Nick Walker, Maya Cakmak

机构 * University of Washington（华盛顿大学） ； Microsoft Research（微软研究院） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对视觉-语言-动作模型难以解释等问题，提出ARCHITECT框架，利用大语言模型编码代理合成模块化机器人程序，通过人类自然语言修正引导策略并积累技能库，在机器人基准评估中表现出色，提供了新的机器人学习方案。

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

ObsDriveBench：具有可观测性意识的恶劣天气下多模态理解基准测试

Qiao Yan, Yihan Wang, Zhenghao Xing, Jiaqi Xu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（香港中文大学医学智能与扩展现实研究所） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究恶劣天气下视觉语言模型在多模态输入时的表现，引入ObsDriveBench基准测试，通过可观测性元标注等构建含多类问题的测试集，实验发现现有模型性能降，还引入ObsDrive模型提升其在多方面的鲁棒性。

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

用于多模态情感解释的令牌-区域引导交叉注意力融合

Musa Tur Farazi, Nufayer Jahan Reza

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 针对孟加拉语模因政治意图检测难题，引入多模态交叉注意力融合框架，利用视觉语言模型提取文本，经跨模态多头注意力机制合成特征，还整合政治词汇表，实验表明该方法显著优于基线，Macro-F1达0.94，有效实现文本语义基于视觉证据。

AI-generated Images Challenge Visual Trust in High-risk Scenarios

人工智能生成的图像在高风险场景中挑战视觉信任

Yi-Zhi Wang, Yichen Xiao, Linan Yue, Weibo Gao, Yichao Du, Pengfei Fang, Shimin Di, Min-Ling Zhang

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究聚焦人工智能生成图像在高风险场景下对视觉信任的挑战，提出SafeIMG基准，涵盖12个安全场景。评估专门探测器和视觉语言模型，发现它们检测可靠性不足，模型解释覆盖低，表明当前探测器在多方面欠缺，难以可靠评估此类图像。

Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents

用于工业4.0智能体评估的合成场景生成

Sagar Chethan Kumar, Rohith Kanathur, Dhaval Patel, Kaoutar El Maghraoui

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对工业智能体基准测试场景有限问题，扩展AssetOpsBench并引入ScenarioGeneratorAgent管道，通过多种优化方式提高可扩展性，实现智能电网变压器场景生成的高效优化，有效扩展工业智能体基准测试且保证场景质量。

Comments 19 pages, 3 appendices

A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility

一种用于科学设施的校正智能混合RAG及基于操作的评估

Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对科学设施操作知识难覆盖问题，提出APS - RAG平台，融合多种检索通道并添加校正智能循环，构建APS - Bench数据集评估。结果显示该平台提升关键信息召回率，交叉编码器重排器作用显著，还发布相关资源，为设施操作提供可信AI辅助工作流程。

Dynamic Capability Scoping for Enterprise AI Agents: A Synthetic Dataset and Three-Source Permission Architecture

企业人工智能代理的动态能力范围界定：一个合成数据集和三源权限架构

Halil Burak Noyan

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究企业人工智能代理动态能力范围界定问题，提出三源权限架构，包括基于角色的上限等，贡献含600个企业任务提示的合成数据集，经验证可推动策略优化，还发布相关内容支持对动态范围界定机制的评估。

Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

SceneActBench: Can Agents Act on the 3D Scenes They See?

SceneActBench：智能体能否对其所看到的3D场景采取行动？

Yifei Zhao, Xiangxin Zhou, Wenhao Yang, Jiaqi Tang, Pu Jian, Huanjin Yao, Jiarui Yao, Haowei Lin, Chunchao Guo, Zhuo Chen, Wenkai Lyu, Jianzhu Ma, Xueqian Wang, Wenxi Zhu

机构 * Tencent Hunyuan（腾讯混元） ； THU（清华大学） ； NJU（南京大学） ； HKUST（香港科技大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； PKU（北京大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究视觉语言模型智能体在3D场景行动能力，提出SceneActBench基准测试，涵盖五个3D任务，通过特定指标评估智能体输出，分析不同配置得分及失败情况，为评估智能体在多对象3D场景行动提供依据。

Dynamic Commonsense Coordination for Empathetic Response Generation

用于移情响应生成的动态常识协调

Zhengyu Qi

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL

AI总结 研究移情响应生成问题，提出含三个互补模块的动态常识协调框架DCC，能整合常识表示、过滤低相关性关系及动态检索记忆，实验表明其可提升情绪分类准确率、响应多样性等，生成更好的响应。

Benchmarking Text-to-SQL under Role-Based Access Control

基于角色的访问控制下的文本到SQL基准测试

Yang Fei, Yangfan Jiang, Yin Yang, Xiaokui Xiao

机构 * National University of Singapore（新加坡国立大学） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究基于角色的访问控制下文本到SQL的基准测试问题，提出含现实RBAC约束的综合基准测试框架，通过大语言模型辅助工作流程及人工审核等增强基准，应用该框架研究发现部分高分系统在有访问约束时性能因RBAC违规而大幅下降。

Comments Accepted at ACM SIGMOD 2027

Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings

真实优先：智能体记忆的纵向评估工具及记忆架构排名中的任期交叉

Quentin Spencer

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL

AI总结 研究大型语言模型智能体记忆基准问题，提出颠倒流程的评估方法，通过合成虚构语料库嵌入新特征，对五种记忆架构基准测试，发现排名随历史长度反转，分层架构表现最佳，发布开源库Veracium。

Comments 25 pages, 2 figures. Code: https://github.com/veracium-ai/Veracium

Automated Synthesis and Adversarial Validation of Executable Causal Research Pipelines

可执行因果研究管道的自动合成与对抗验证

Irena Girshovitz, Dan Zeltzer, Ran Gilad-Bachrach

专题命中 评测与基准 ：LLM(abstract)；分类 cs.LG

AI总结 研究聚焦自动化研究系统隐性失败问题，核心方法是提出ARA框架，集成多环节到统一管道，将自然语言问题转化为可执行代码并评估。主要贡献是改变失败模式，强调有效性优先的自动化科学系统评估应综合考量答案准确性及因果声明合理性。

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

CRAG-MM诊断：实现对知识密集型视觉问答的逐阶段分析

Hanseok Oh, Parishad BehnamGhader, Benno Krojer, Hyunji Lee, Paul Liang, Siva Reddy, Verna Dankers

机构 * New York University（纽约大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； MIT（麻省理工学院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。

Comments Accepted to ECCV 2026

Rushes: A Human Preference Dataset for Pluralistic Alignment

Rushes：用于多元对齐的人类偏好数据集

Michael Xu, Jorge Leandro, Sudha Rao, Weijia Xu, Nebojsa Jojic, Gabriel DesGarennes, Chris Quirk, Bill Dolan

机构 * Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：RLHF(abstract)；分类 cs.CL

AI总结 该研究引入Rushes数据集，通过游戏界面收集用户与AI叙事交互数据。核心方法是分析用户选择模式，以量化非随机偏好。主要贡献是定位其为多元对齐诊断基准，揭示现有模型在捕捉个性化参与信号上的不足，助力相关研究。

IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests

IssueTrojanBench：针对恶意问题请求对人工智能编码代理进行基准测试

Ankur Singh, Jinqiu Yang, Tse-Hsun Chen

机构 * Concordia University（康科德大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对恶意问题请求对人工智能编码代理进行基准测试，通过构建包含多种攻击类别和交付向量的新型基准IssueTrojanBench，发现现代编码代理存在关键漏洞，强调需更强安全机制保护。

Comments 10 pages, 4 figures, 4 tables

Evaluating and Mitigating Gender Bias in Pre-trained Embeddings for ML-based Recruitment

评估和减轻基于机器学习的招聘中预训练嵌入的性别偏见

Farnaz Faramarzi Lighvan, Lynn Houthuys

机构 * AI Lab, Vrije Universiteit Brussel（人工智能实验室，布鲁塞尔自由大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 研究基于机器学习的招聘中预训练嵌入的性别偏见问题，通过在合成数据集上评估模型、采用多任务对抗学习框架及多目标模型选择，发现清理性别可减少但未消除泄露，对抗学习能改善公平性，是补充策略。

Comments Accepted for presentation at the TRUST-AI 2026 Workshop, held in conjunction with IJCAI/ECAI 2026, Bremen, Germany

EvoDRC: A Self-Evolving Agentic Framework for Automated DRC Violation Repair

EvoDRC：一种用于自动修复DRC违规的自进化智能体框架

Bing-Yue Wu, Chia-Tung Ho, Haoyu Yang, Brucek Khailany, Vidya A. Chhabria

机构 * Arizona State University（亚利桑那州立大学） ； NVIDIA Corporation（英伟达公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 针对先进节点物理设计中DRC闭合瓶颈问题，EvoDRC提出自进化智能体框架，利用参考设计知识和目标设计经验初始化并进化修复技能，将布局分解后分配智能体，通过工具反馈和知识数据库提升修复效果，实验显示总体减少73.5%。

DBMol: Design of High-Affinity, Target-Specific Small Molecules through Structure Prediction Models

DBMol：通过结构预测模型设计高亲和力、靶向特异性小分子

Yiming Qin, Kai Yi, Miruna Cretu, Sjors H. W. Scheres, Pietro Liò, Pascal Frossard

机构 * EPFL（洛桑联邦理工学院） ； MRC-LMB（医学研究委员会分子生物学实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 研究旨在利用结构预测模型设计高亲和力小分子。核心方法是引入DBMol框架，经交替优化和投影过程，结合结构预测模型优化分子。主要贡献是有效优化亲和力代理，提高口袋覆盖率，保持分子多样性，在无参考配体监督下有竞争力。

Benchmarking Deep Learning Approaches for AEC Engineering Drawing Layout Detection and Information Extraction

用于AEC工程图纸布局检测和信息提取的深度学习方法基准测试

Tianyang Huang, Alessio Lombardi, Ahmed Elnagar, Ahmed Zalouk, George Paul, Sepehr Najjarpour, Arvid Sigurdsson, Khalid Ismail, Mohamed Ragab, Edlira Vakaj

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 研究针对AEC图纸信息提取难题，构建特定数据集，对五种深度学习架构进行基准测试，RF-DETR和Qwen3-VL表现出色，而通用预训练模型有域干扰，为AEC自动化信息提取奠定技术基础。

Comments 2026 European Conference of Computing in Construction (EC3 2026), 8 pages

Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio

融合嵌入：文本、图像、视频和音频的统一嵌入空间

Abdul Basit Tonmoy, Kazi Fardinul Hoque, Md. Shahrier Islam Arham, Arman Luthra

机构 * Eximius Labs（卓越实验室） ； Wabash College（瓦贝什学院） ； Skop Intelligence Co.（斯科普智能公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL

AI总结 研究旨在构建文本、图像、视频和音频统一嵌入空间。提出融合嵌入家族，第一代训练参数少的连接器，第二代添加模态门控深度适配器，无需成对视听数据实现音频-图像检索，探索设计空间并公开相关资源。

Comments 23 pages, 5 figures. Models: https://huggingface.co/EximiusLabs/fusion-embedding-1-2b-preview and https://huggingface.co/EximiusLabs/fusion-embedding-2-2b-preview. Code: https://github.com/Eximius-Labs/fusion-embedding

Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network

构建欧洲多语言评估数据集：EMT网络中的MMLU本地化项目

Pilar Sánchez-Gijón, Susana Valdez, Sofía Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL

AI总结 DGT与EMT合作将MMLU数据集本地化至11种欧洲语言，既为大语言模型评估打造更具包容性基准，又为硕士生提供专业培训，还突显了相关方法、管理及工作流程方面的挑战。

Journal ref Proceedings of the 3rd International Conference on New Trends in Translation and Interpreting Technology, June 24 - 27, 2026, Dubrovnik, Croatia

SysAdmin: Measuring Instrumental Power-Seeking in Frontier AI

SysAdmin：衡量前沿人工智能中工具性权力寻求行为

Mana Azarm, Qiyao Wei, Rahul Nambiar

机构 * University of San Francisco（旧金山大学） ； University of Cambridge（剑桥大学） ； Propensity Labs（倾向实验室） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究引入SysAdmin基准，把前沿语言模型设为Linux沙盒中的系统管理员，从五个维度衡量其权力寻求倾向，评估七个前沿模型，发现当前模型自发权力寻求行为少，但有其他失败模式，阳性对照验证了测量敏感性。

ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions

ESCUCHA：用于异构声学条件的西班牙语语音基准测试

Fernando López, Ana Ayala, Guillermo Segovia, Fernando Ibáñez, Ana Martínez, Pablo Gómez, Jordi Luque

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。

Comments Under review

When to Use Extra Context: Evidence-Grounded Terminology Adaptation for Simultaneous Speech Translation

何时使用额外上下文：基于证据的术语适应在同步语音翻译中的应用

Zeyu Yang, Satoshi Nakamura

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL

AI总结 研究同步语音翻译中额外上下文的使用，提出基于证据的术语适应框架EGTA，通过构建术语记忆、选择候选术语来调整决策空间，无需全模型微调，在多个指标上有提升，改进与特定论文证据对齐有关。

It Matters How You Say It: Exploring Rhetorical Patterns for AI-Assisted Information Evaluation

表达方式很重要：探索用于人工智能辅助信息评估的修辞模式

Sadra Sabouri, Zeinabsadat Saghi, Jordan Lee Boyd-Graber, Jonathan May, Jonathan K. Kummerfeld, Souti Chattopadhyay

机构 * Department of Computer Science, University of Southern California（计算机科学系，南加州大学） ； Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学） 纠错

专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL

AI总结 研究人工智能辅助信息评估中修辞模式，通过主体内研究考察八种修辞模式，发现支架式解释与最高准确率提升相关，对抗条件也能适度提高准确率，还探讨了设计不同修辞风格对话代理的意义及相关权衡。

Comments 13 pages, 6 figures, 1 table