多模态大模型

Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots

评估具有视觉语言动作能力的机器人的不确定性和质量

Pablo Valle, Chengjie Lu, Shaukat Ali, Aitor Arrieta

机构 * Mondragon University（蒙dragon大学） ； Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究针对具有视觉语言动作能力的机器人，采用八个不确定性指标和五个质量指标，通过大规模实证研究评估其有效性，发现部分指标与人类评估有相关性且能区分任务执行质量，挑战了仅依赖成功率的评估做法。

From Raw IDs to Semantic Planning: How Recommender Systems Utilize Information at Scale

从原始ID到语义规划：推荐系统如何大规模利用信息

Changhong Jin, Shiqiu Yang, Roger Zhe Li, Yingjie Niu, Aghiles Salah, Mete Sertkan, Zheng Ju, Xingsheng Guo, Huifeng Guo, Ruihai Dong, Barry Smyth

专题命中 多模态Agent ：multimodal(abstract)

AI总结 探讨推荐系统如何利用信息，分析原始ID主导早期发展及语义信息封装于ID的原因，引入语义规划为未来方向，指出转变需在模型设计、评估及协调多方目标等方面做出改变。

GhostShell: Streaming LLM Function Calls for Concurrent Embodied Programming

GhostShell：用于并发实体编程的流式大语言模型函数调用

Jian Gong, Youwei Huang, Bo Yuan, Ming Zhu, Zhou Liao, Jianhang Liang, Juncheng Zhan, Jinke Wang, Hang Shu, Zihao Xu, Mingyue Xiong, Yanjun Ye, Yufan Zu, Yang Zhou, Yihan Ding, Xuannian Chen, Xingyu Lu, Runjie Ban, Bingchao Huang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究提出GhostShell方法，利用大语言模型进行实体系统的流式和并发行为编程。通过定义函数令牌及多通道调度算法协调调用，在机器人原型上评估，该方法在任务完成率等方面表现出色，尤其在协调并发动作上优势明显。

Comments 22 pages, 7 figures, conference

Governing Generative AI Across Financial Institutions: A Framework for Generative AI Risk Control

跨金融机构治理生成式AI：符合SR 26-2要求的生成式AI风险控制框架

Dennis Mao, Alessandra Lin, Yixin Kang, Yiqing Wang

机构 * Citigroup（摩根大通） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对SR 26-2未覆盖生成式AI的治理难题，本文提出兼容该监管规则的GAICF框架，将模型风险管理原则转化为分层控制结构，助力金融机构合规管控生成式AI应用。

MCP Pitfall Lab: Exposing Developer Pitfalls in MCP Tool Server Security under Multi-Vector Attacks

MCP陷阱实验室：在多向攻击下暴露MCP工具服务器安全漏洞的开发人员陷阱

Run Hao, Zhuoran Tan

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出MCP Pitfall Lab框架，通过可复现的场景验证开发人员陷阱，评估MCP工具服务器在多向攻击下的安全性和修复效果。

Rethinking Gaussian Trajectory Predictors: Calibrated Uncertainty for Safe Planning

重新思考高斯轨迹预测器：为安全规划校准不确定性

Fatemeh Cheraghi Pouria, Mahsa Golchoubian, Katherine Driggs-Campbell

机构 * Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系） ； Department of Mathematical and Computational Sciences, University of Toronto（多伦多大学数学与计算科学系） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出了一种新的损失函数，通过核密度估计校准高斯轨迹预测器的不确定性，以提高安全规划性能。

VERITAS: A Multi-Agent Co-Scientist for Verifiable Image-Derived Hypothesis Testing

VERITAS：通过智能系统进行图像派生假设检验的可验证认知推理

Lucas Stoffl, Benedikt Wiestler, Johannes C. Paetzold

专题命中 多模态Agent ：multimodal(abstract)

AI总结 VERITAS通过多智能体系统自主测试自然语言假设，生成可审计的证据链，通过四阶段工作流和认知证据标签框架提升医学影像研究的可验证性，达到81.4%的准确率。

Comments 43 pages, 5 figures. Code available at https://github.com/LucZot/veritas

Monte Carlo Tree Search with Tensor Factorization for Optimization Problems in Robotics

基于张量分解的蒙特卡洛树搜索用于机器人优化问题

Teng Xue, Yan Zhang, Amirreza Razmjoo, Sylvain Calinon

机构 * Idiap Research Institute（Idiap研究机构） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑分校） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出TTTS算法，利用张量分解压缩决策树分支间的隐式相关性，以线性复杂度降低MCTS的计算和存储开销，在逆运动学、运动规划、多阶段操作等任务中实现高效全局优化。

Comments 25 pages, 17 figures

Earth Science Foundation Models: From Perception to Reasoning and Discovery

地球科学基础模型：从感知到推理与发现

Xiangyu Zhao, Bo Liu, Yuehan Zhang, Zelin Song, Wanghan Xu, Feng Liu, Fengxiang Wang, Ben Fei, Fenghua Ling, Wangxu Wei, Wenlong Zhang, Xiao-Ming Wu

机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文综述了地球科学基础模型，探讨了其从感知到多模态推理及科学发现的能力演进，并总结了其在大气、水圈、岩石圈等领域的广泛应用。

Super-Resolution Structured-Illumination X-Ray Microscopy based on Fourier Decomposition

基于傅里叶分解的超分辨结构照明X射线显微镜

Stefan Schwaiger, Lennart Forster, Martin Dierolf, Franz Pfeiffer, Benedikt Günther

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出一种超分辨X射线显微镜方法，通过结构照明编码高频信息，利用傅里叶分解解码，实现2.2倍分辨率提升，并扩展至显微断层成像，同时获取相位衬度和暗场图像。

State Backdoor: Towards Stealthy Real-world Poisoning Attack on Vision-Language-Action Model in State Space

状态后门：针对状态空间中视觉-语言-动作模型的隐蔽现实世界投毒攻击

Ji Guo, Wenbo Jiang, Yansong Lin, Yijing Liu, Ruichen Zhang, Guomin Lu, Aiguo Chen, Xinshuo Han, Hongwei Li

机构 * Laboratory Of Intelligent Collaborative Computing, University of Electronic Science and Technology of China（智能协同计算实验室，电子科学与技术大学） ； National Key Laboratory of Wireless Communications, University of Electronic Science and Technology of China（无线通信国家重点实验室，电子科学与技术大学） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科学与技术大学） ； College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（计算机科学与技术学院，南京航空航天大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出状态后门攻击，利用机器人手臂初始状态作为触发器，通过偏好引导遗传算法优化触发器的隐蔽性和有效性，在五个VLA模型和五个真实任务中实现超过90%的攻击成功率。