Amazon（亚马逊）

Pluralis v0.1: Towards a Multicultural, Multimodal, Multilingual Benchmark for AI Risk and Reliability

Pluralis v0.1：迈向用于人工智能风险与可靠性的多元文化、多模态、多语言基准测试

Alicia Parrish, Rajat Shinde, Sanket Badhe, Xinyi Bai, Sree Bhargavi Balija, Hua-Rong Chu, Emilio Ferrara, Armstrong Foundjem, Rajat Ghosh, Aakash Gupta, Xuanli He, Ong Chen Hui, Minji Jung, Madhangi Karimanal, Faiza Khan Khattak, Boryoung Kim, Eugenia Kim, Liliya Lavitas, Seok Min Lim, Victor Lu, Jim Moirangthem, Dhivya Nagasubramanian, Deepak Pandita, Sita Rajagopal, Geetha Raju, Evgeniia Razumovskaia, Aravind Reddy, Federico Ricciuti, Nobin Sarwar, Sungpil Shin, Sunayana Sitaram, Snehal Thorat, Tharindu Cyril Weerasooriya, Jasmijn Bastings, Joachim Baumann, Kongtao Chen, Murali Emani, Mariya Hendriksen, Jiho Jin, Jun Seong Kim, Younghoon Ko, Alicja Kwasniewska, Minjae Lee, Tom Wei-cyuan Lin Kashyap Ramanandula Manjusha, Junho Myung, Junyeong Park, Roma Patel, Shyam Ratan, Sudarsun Santhiappan, Priyanka Suresh, Tuesday, Ksheeraj Sai Vepuri Laura Amortegui-Ordonez, Claire Dennis, Minsuk Kahng, Chris Knotz, Alice Oh, Balaraman Ravindran, Soojung Ryu William Bartholomew, Hiwot Tesfaye, Lora Aroyo

机构 * Google DeepMind（谷歌DeepMind） ； University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校） ； Google（谷歌） ； University of Missouri Columbia（密苏里大学哥伦比亚分校） ； Chunghwa Telecom Laboratories（春木电信实验室） ； University of Southern California（南加州大学） ； Polytechnique Montreal（蒙特利尔理工学院） ； Nutanix ； ThinkEvolve Labs（ThinkEvolve实验室） ； UCL（伦敦大学学院） ； Infocomm Media Development Authority（信息通信媒体发展局） ； Monark Health（Monark健康） ； Seoul National University（首尔国立大学） ； Microsoft（微软） ； Centre for Responsible AI (CeRAI), Wadhwani School of Data Science and AI (WSAI), Indian Institute of Technology Madras（负责任人工智能中心（CeRAI）、瓦达威人工智能学校（WSAI）、印度理工学院马德拉斯分校） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Microsoft Research India（微软印度研究院） ； Stanford University（斯坦福大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Oxford（牛津大学） ； KAIST（韩国科学技术院） ； Yonsei University（延世大学） ； Amazon（亚马逊） ； UIUC（伊利诺伊大学香槟分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Xenoscube Inc.（Xenoscube公司） ； Korea AI Safety Institute (K-AISI)（韩国人工智能安全研究所（K-AISI）） ； MLCommons ； CommonGround ； Artifex Labs（Artifex实验室） 纠错

AI总结 研究针对现有AI安全评估框架忽视文化差异问题，构建多语言多模态数据集Pluralis v0.1，从文化优先视角引入新评估范式，提出Judge - Pluralis集成，揭示特定地区失败模式，为多语言多元文化评估提供基础和创新起点。

Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attention

提出并关注：通过多令牌局部注意力实现无训练的多模态大语言模型接地置信度

Daniel Shalam, Emanuel Ben Baruch, Avi Ben Cohen, Tal Remez

机构 * Amazon（亚马逊） 纠错

AI总结 研究多模态大语言模型接地置信度问题，提出无训练的多令牌局部注意力（MTLA）方法，通过在声称区域内求和并跨预测令牌聚合恢复更强接地信号，在多模型家族和模态中提升了幻觉AUROC及零样本检测AP。

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

SpanUQ：用于大语言模型生成的跨度级不确定性量化

Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang

机构 * Amazon（亚马逊） ； Northeastern University（东北大学） 纠错

AI总结 研究大语言模型生成的跨度级不确定性量化问题，提出SPANUQ轻量级探测器，通过混合贝塔分布估计不确定性，经特殊训练方式构建基准。实验显示其在不确定性质量、速度及错误定位上表现出色，且能在多个大语言模型上通用。

Comments The project page is available at https://damon-demon.github.io/SpanUQ.html

BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

BaFCo：用于复杂孟加拉语表格理解的文档理解基准

Abu Tyeb Azad, Ishita Sur Apan, Fahim Ahmed, Sumaiya Karim Katha, Ezharuddin Jubaer, Armun Alam, Pranjal Kumar Nandi, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

机构 * Wichita State University（威奇托州立大学） ； Center for Computational & Data Sciences（计算与数据科学中心） ； University of Dhaka（达卡大学） ； Amazon GenAI（亚马逊生成式人工智能） 纠错

AI总结 针对孟加拉语表格理解因高质量标注数据稀缺受限的问题，引入BaFCo基准数据集，涵盖多领域复杂表格。定义细粒度标注模式，评估多种MLLMs，发现其理解孟加拉语表格有局限，尤其在定位细粒度实体方面。

Comments Accepted at the 19th European Conference on Computer Vision (ECCV), 2026

Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

大多数大语言模型的从众现象无需说话者：在同伴压力基准测试中测量无说话者底线

Yibo Hu, Jiaming Qu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Amazon（亚马逊） 纠错

AI总结 研究大语言模型从众现象，发现多数从众在去除同伴后仍存。因标准提示混杂线索致现有基准无法分辨。引入无来源条件测试，发现其在多数案例中致有害修正，还揭示来源框架对底线的调节作用及相关问题，强调从众基准测试应先测无说话者底线。

Video-Text Temporal Localization via Multi-Scale Convolution and Dynamic Routing

通过多尺度卷积和动态路由实现下一代网络的语义视频通信

Gengtian Shi, Jinze Yu, Chenhao Wu, Shaofei Wang, Eiji Fukuzawa, Junjie Tang, Hiroshi Onoda, Jiang Liu

机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院） ； Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成人工智能创新中心） ； Amazon（亚马逊） 纠错

AI总结 针对视频流量增长需求，提出语义视频通信框架，用多尺度时间卷积编码器捕捉运动模式，基于胶囊的动态路由机制优化关联，多任务学习统一组件，在实验中取得显著改进。

Comments Accepted at the AAAI 2026 Workshop on AI for Time Series (AI4TS)

SEVRA-BENCH: Social Engineering of Vulnerabilities in Review Agents

SEVRA-BENCH：审查智能体中的社会工程漏洞

Rui Melo, Riccardo Fogliato, Sean Zhou, Pratiksha Thaker, Zhiwei Steven Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Core AI（微软核心人工智能） ； Amazon AWS（亚马逊AWS） ； Databricks 纠错

AI总结 提出SEVRA-BENCH基准，通过社会工程攻击框架评估LLM代码审查智能体拒绝恶意PR的能力，发现闭源与开源模型间存在显著安全差距。