多模态大模型

NVAITC AI Scientist: A Governed End-to-End Research System -- A Hypertension GWAS Case Study

NVAITC人工智能科学家：一个受治理的端到端研究系统——以高血压全基因组关联研究为例

Eddie Huang, Ken Liao, Iven Fu, Yang-Hsien Lin, Chao-Shun Zhan, Andy Liao, Virginia Chen, Johnson Sun, Pika Wang, Richard Huang, Jiun-Cheng Jiang, Ting-Yuan Liu, Hsing-Fang Lu, Ray Y. Lee, Chi-Chou Liao, Simon See, Fuu-Jen Tsai

机构 * Department of Medical Research, China Medical University Hospital（中国医药大学附设医院医学研究部） ； Master Program for Digital Health Innovation, China Medical University（中国医药大学数字健康创新硕士项目） ； Laboratory for Statistical and Translational Genetics, RIKEN Center for Integrative Medical Sciences（理化学研究所综合医学科学中心统计与转化遗传学实验室） ； AI-Driven Genomic Medicine and Drug Discovery Lab, China Medical University Hospital（中国医药大学附设医院人工智能驱动的基因组医学与药物发现实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究以高血压GWAS为例，介绍受治理的端到端智能研究系统NAIS，其集成多种功能。通过真实数据验证，NAIS能支持生物医学发现，规划队列提取等，重现高血压基因座，在药物性肝损伤预测中也有成果，可产生与专家主导流程相当的输出。

Comments 22 pages, 6 figures, 4 tables

Affordance-Based Manipulation Planning with Text Goals and Sim-to-Real Generalisation via Real-to-Sim Image Conversion

基于文本目标和通过实到模拟图像转换实现从模拟到现实泛化的基于可供性的操纵规划

Solvi Arnold, Rin Karashima, Tadashi Adachi, Takafumi Mochizuki, Kimitoshi Yamazaki

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究提出基于可供性识别与动作效果预测的操纵规划系统，通过多模态目标匹配模块评估候选计划，能跟踪遮挡物体位置。还用图像转换模块辅助，分别评估模块性能并展示集成系统在模拟与硬件上的规划能力。

Comments 14 pages, 10 figures

Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning

Switch-Reasoner：通过强化学习在多任务混合中学习何时思考

Yiyang Fang, Pei Fu, Jinjie Li, Jian Liang, Wenke Huang, Ruijie Luo, Shaojie Zhang, Jian Luan, Yi R. Fung, Mang Ye

机构 * Wuhan University（武汉大学） ； Xiaomi Inc（小米公司） ； Wuhan University of Technology（武汉理工大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在异构多任务中“先思考后回答”范式的低效及训练后学习何时思考不稳定的问题，提出基于GRPO的Switch-Reasoner框架，通过双层调节机制实现推理模式自适应选择，实验验证其能减少不必要推理并平衡准确率与效率。

Aleena: Alignment Agent for Research Software Engineering Collaborations

Aleena：用于研究软件工程协作的对齐代理

Kshitij Dani, Cordero Core, Landung Setiawan, Carlos Garcia Jurado Suarez, Anshul Tambay, Vani Mandava, Anant Mittal

机构 * eScience Institute（eScience研究院） ； University of Washington（华盛顿大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 研究软件协作中决策易失依据致相关人员心智模型不同，提出智能AI可支持对齐与跟踪。介绍开源的Aleena，以GitHub为协作平台，转化交互为结构化记录，揭示风险等，还阐述其动机、设计、原型及场景。

Comments 8 pages, 5 figures. AgenticSE @ KDD '26: Agentic Software Engineering (SE 3.0): The Rise of AI Teammates, KDD 2026 Workshop

HumAIN: Human-Aware Implicit Social Robot Navigation

HumAIN：人类感知的隐式社交机器人导航

Daeun Song, Nhat Le, Jeffrey Chen, Mohammad Nazeri, Amirreza Payandeh, Rohan Chandra, Reuth Mirsky, Ross Mead, Ling Xiao, Xuesu Xiao

机构 * Ewha Womans University（梨花女子大学） ； George Mason University（乔治梅森大学） ； University of Virginia（弗吉尼亚大学） ； Tufts University（塔夫茨大学） ； Semio（Semio公司） ； Hokkaido University（北海道大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 研究提出HumAIN框架，通过知识蒸馏将隐式社交线索融入机器人导航规划。利用基于Transformer的教师模型学习强大表示，蒸馏到轻量级学生模型。实验表明该方法能有效提升轨迹预测指标，在资源受限平台实现类人导航意识。

Comments 8 pages, 4 figures. Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

AgoraSim: A Hybrid Agent-Based Modeling Framework

AgoraSim：一个基于混合智能体的建模框架

Chung-Chi Chen

机构 * Human-Agent Ally Lab (HAA Lab)（人机协作实验室（HAA实验室）） ； National Institute of Informatics, Japan（日本国立信息学研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对大语言模型智能体模拟输出易被过度解读及难与社会动态比较的问题，提出AgoraSim框架，能将文本等解析为可编辑配置，运行混合智能体群体并比较场景，通过多种接口公开，助用户检查轨迹、比较假设及识别需验证的案例。

Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

Image2Sim：通过生成神经模拟器扩展具身导航

Zihan Wang, Seungjun Lee, Yinghao Xu, Gim Hee Lee

机构 * National University of Singapore（新加坡国立大学） ； HKUST（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对具身导航缺乏优质交互环境的问题，提出Image2Sim实时神经模拟框架，通过解耦3D空间锚定与观察合成构建环境，能大规模生成相关数据，训练的导航模型在基准测试中有提升且可迁移，为具身导航提供实用训练基础。

Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

Light-Omni：基于长期记忆的智能视频理解中的反射优于推理

Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan

机构 * Nanjing University（南京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对智能视频理解中先进智能体依赖迭代推理成本高的问题，提出Light-Omni框架，通过双重上下文状态实现反射式轻量级视频理解，经实验验证其有效性，性能优于M3-Agent且能增强现有MLLMs。

Comments Project Page: https://clare-nie.github.io/Light-Omni

HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

HiMe：用于长距离视觉-语言-动作控制的分层具身记忆

Li Ji, Siyin Wang, Pengfang Qian, Xiaopeng Yu, Yihai Tian, Zhaoye Fei, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 针对视觉-语言-动作模型处理非马尔可夫任务的不足，提出HiMe分层具身记忆框架，解耦智能为高频执行器等，引入动态知识系统，平衡实时执行与思考规划冲突，提升长距离任务成功率。

Embodied Operators and Benchmarking: Toward Reusable and Deployable Embodied Intelligence Systems

具身算子与基准测试：迈向可复用和可部署的具身智能系统

Junwu Xiong, Jiaxuan Gao, Wei Chai, Renxing Chen, Yuzhen Li, Yu Guo, Yucheng Guo, Mingxi Luo, Wenyang Ma, Yiyun Mou, Yifei Zhang, Chen Zhou, Yongjian Guo

机构 * JDT ； Tsinghua University（清华大学） ； Tianjin University（天津大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究具身智能系统中可复用功能模块即具身算子，明确其定义边界、构建分类法，提出多维度基准框架，探讨加速及挑战，为具身智能系统提供基础。

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR：用于端到端自动驾驶的大规模闭环强化学习

Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究中心） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究端到端自动驾驶，针对现有基于视觉语言动作模型的策略多采用模仿学习致闭环规划性能欠佳的问题，提出CLEAR系统，用强化学习进行闭环训练，设计异构管道增加并行模拟环境数量，性能优于先前方法。

EAGLE-360: Embodied Active Global-to-Local Exploration in 360$^\circ$

EAGLE-360: 360°环境中的具身主动全局到局部探索

Jingtao Xu, Zizhuo Lin, Jianwen Sun, Yi Yang, Yawei Luo

机构 * Zhejiang University（浙江大学） ； Central China Normal University（华中师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对多模态大模型在360°全景主动视觉搜索中因极地畸变和连续拓扑建模不足导致的效率低下问题，提出EAGLE-360框架，通过全局先验引导局部探索，结合RoPE Rolling位置编码和GRPO训练，实现近8倍精度提升。

Comments Preprint

QFedAgent: Quantum-Enhanced Personalized Federated Learning for Multi-Agent Activity Recognition

QFedAgent: 量子增强的个性化联邦学习用于多智能体活动识别

Quoc Bao Phan, Tuy Tan Nguyen

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； FAMU-FSU College of Engineering, Florida State University（佛罗里达州立大学工程学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出QFedAgent混合量子-经典个性化联邦学习框架，通过变分量子电路融合模块减少参数开销，在非独立同分布多模态数据上实现97.7%准确率。

BaRA: Budget-constrained and Reliable Web Data Collection Agent

BaRA: 基于BFS与反思的网络数据收集代理

Soojeong Lee, Joseph Lee, Yongseong Cho, Sunjae Kim, Youngwoo Moon, Kyungwoo Song

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出BaRA框架，结合有界广度优先搜索和历史自反思，在固定交互预算下高效收集网站级数据，在链接发现和可下载多模态提取上优于现有方法。

OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping

OmniView-Space: 通过多视角空间映射增强空间推理

Xudong Li, Mengdan Zhang, Peixian Chen, Jiaxi Tan, Zihao Huang, Jingyuan Zheng, Yan Zhang, Xiawu Zheng, Xing Sun, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） ； Tencent Youtu Lab（腾讯优图实验室） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出OmniView-Space框架，通过多视角空间映射、工具引导的自我中心推理和认知图蒸馏，解决多模态大模型在多步空间推理中的参考框架动态重锚问题，在单/多图像基准上达到最优性能。

Xiaomi-GUI-0 Technical Report

Xiaomi-GUI-0 技术报告

Wanxia Cao, Chengzhen Duan, Pei Fu, Pengzhi Gao, Niu Lian, Fazhan Liu, Hui Liu, Heng Qu, Qinzhuo Wu, Zhehao Yu, Tongbo Chen, Shiqi Cui, Anan Du, Shukai Jia, Yuanfa Li, Wei Liu, Yike Liu, Wenchao Lu, Zhenbo Luo, Haoyuan Sun, Jiatong Sun, Cheng Tan, Yajie Wang, Changqiao Wu, Tao Xiong, Jiahui Yang, Yuxuan Yuan, Ruoceng Zhang, Shaojie Zhang, Jian Zhu, Jian Luan, Cong Zou

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Xiaomi-GUI-0，一种在真实移动设备上训练和评估的原生多模态GUI智能体，通过真实设备主导的混合基础设施、多源训练数据和渐进式三阶段训练，在真实任务中实现72.0%成功率，显著提升执行稳定性和异常状态识别。

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

ReGRPO: 用于工具使用智能体的反思增强策略优化

Binjie Zhang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show Lab） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出ReGRPO框架，通过反思数据引擎和联合优化反射令牌与纠正动作，提升工具使用智能体在故障后的恢复能力，在GTA和GAIA上取得最佳效果。

Rethinking Foundation Model Collaboration: Enhancing Specialized Models through Proxy Task Reasoning

重新思考基础模型协作：通过代理任务推理增强专用模型

Hongyi Lin, Yang Liu, Jinhua Zhao, Xiaobo Qu

机构 * School of Vehicle and Mobility, Tsinghua University（清华大学车辆与运载学院） ； Department of Urban Studies and Planning, Massachusetts Institute of Technology（麻省理工学院城市研究与规划系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出FAT框架，将基础模型与专用模型协作视为任务分解而非替代，通过代理任务（如选择或验证）提升结构化预测性能，在多个任务上优于直接使用基础模型回归。

ELEVATE: Designing Human-Centered GenAI Virtual Tutors for Scalable and Inclusive Education

ELEVATE：面向可扩展与包容性教育的人本生成式AI虚拟导师设计

Lorenzo Stacchio, Michele Giordano, Daniele Berardini, Primo Zingaretti, Emanuele Frontoni

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出ELEVATE框架，通过本地执行、多模态3D虚拟形象与教师治理层，实现隐私保护、低成本的生成式AI虚拟导师，解决云端文本聊天机器人存在的隐私、成本和数字鸿沟问题。

Agentic AI Enhances Physician Trust in Clinical Decision Making

智能体AI增强医生在临床决策中的信任

Zhiling Yan, Zhe Fang, David J King, Ann Pongsakul, Eashan Adhikarla, Hui Ren, Sunyang Fu, Quanzheng Li, Lifang He, Xiang Li, Hongfang Liu, Yonghui Wu, Lichao Sun

机构 * Department of Computer Science and Engineering, Lehigh University（里海大学计算机科学与工程系） ； Department of Epidemiology, Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院流行病学系） ； Department of Medicine, Division of Cardiology, University of Florida（佛罗里达大学医学院心脏病学系） ； McGovern Medical School, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心麦戈文医学院） ； Department of Radiology, Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院放射学系） ； McWilliams School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学院） ； Department of Health Outcomes & Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学医学院健康结果与生物医学信息学系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究通过医生评估多模态临床病例，发现智能体AI相比非智能体基线显著提升医生的认知和行为信任，尤其在治疗规划任务中，但存在对错误输出的过度依赖。

Comments Accepted by AMIA 2026 Annual Symposium

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

推进全模态具身智能体：从孤立技能到日常物理自主

Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出OmniAct框架，通过分层异步架构统一规划、记忆和验证，实现机器人在非结构化环境中的持久自主，在40项真实任务中提升成功率并降低token消耗。

Socratic agents for autonomous scientific discovery in high-dimensional physical systems

用于高维物理系统中自主科学发现的苏格拉底式智能体

Xianrui Zeng, Pengfei Liu, Yirui Zang, Yang Shen, Fei Yu, Chunlei Yu, Minghao Liu, Yang Du

机构 * Hangzhou Institute for Advanced Study（杭州高等研究 institute） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Institute of Optics and Fine Mechanics（上海光学精密机械研究所） ； Department of Thoracic Surgery（胸外科部门） ； Shanghai Pulmonary Hospital（上海 pulmonary 医院） ； School of Medicine（医学院） ； Tongji University（同济大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出多智能体AI科学家AHOIS，通过苏格拉底式诘问实现闭环实验中的自主科学发现，在高维多模光纤平台上自主验证随机干涉编码假设、发现自适应稀疏测量策略并诊断故障模式。

Comments 27 pages,5 figures

Agentic Collaborative Cognition for Zero-Shot 3D Understanding

零样本3D理解的智能体协作认知

Wenxin Wang, Bo Zhang, Feng Chen, Zixuan Wang, Wen Li, Changsheng Li, Yinjie Lei

机构 * Sichuan University（四川大学） ； Adelaide University（阿德莱德大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出协作多智能体框架，通过规划智能体补充视角和感知智能体构建结构化认知地图，实现零样本3D理解，在6个基准上达到最优性能。

Comments Accepted by ECCV 2026. Project page: https://zhangbo135.github.io/agentic-collaborative-cognition/

Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization

具有开放词汇理解的紧凑对象级表示用于室内视觉重定位

Zhaopeng Cui, Jiarui Hu, Jingbo Liu, Boming Zhao, Xiyue Guo, Boyin Feng, Haocheng Peng, Yujun Shen, Hujun Bao, Guofeng Zhang

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 提出OpenReLoc系统，利用基础模型实现多模态开放词汇语义匹配、基于DIOU的参考帧选择和双路径2D ICP损失，仅用对象单元实现室内视觉重定位，提升可解释性和准确性。

Comments Accepted by RA-L 2026

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

NoContactNoWorries: 通过视觉和本体感觉估计手内灵巧操作的接触

Soham Patil, Avirup Das, Sourabh Bhosale, Spandan Roy

机构 * Robotics Research Center (RRC), International Institute of Information Technology (IIIT), Hyderabad, India（印度海得拉巴国际信息技术研究所机器人研究中心） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种基于Transformer的多模态框架，融合RGB-D视觉和机器人本体感觉推断二值接触状态，作为手物交互的伪触觉信号，支持下游强化学习实现手内物体重定向并泛化至新物体。

Comments Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS) 2026

NavWM: A Unified Navigation World Model for Foresight-Driven Planning

NavWM：一种用于前瞻性规划的统一导航世界模型

Yanghong Mei, Longteng Guo, Ming-Ming Yu, Guiyu Zhao, Xingjian He, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北京航空航天大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出NavWM统一导航世界模型，通过潜在世界令牌提取几何与语义先验，结合锚点多模态轨迹预测框架生成多样化动作空间，利用视觉前瞻评估最优路径，在多种机器人数据集上显著提升未来状态生成与零样本导航成功率。

Comments 13 pages, 5 figures, accepted to ECCV 2026

Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

基于全局地图与局部视图的多视角3D推理的密集奖励

Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea（韩国科学技术院人工智能研究生院） ； KRAFTON, Republic of Korea（韩国KRAFTON公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出DR-MV3D框架，通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督，提升跨视图推理一致性。

Comments ECCV 2026

EmbodiedUS-FS: Fast Slow Intelligence for Ultrasound Robotics

EmbodiedUS-FS：用于超声机器人的快速慢速智能

Fangzhuo Zhang, Xinyu Wang, Xiao Yang, Jinchang Zhang

机构 * independent researcher（独立研究员） ； Shanghai World Foreign Language Academy（上海世界外国语中学） ； University of Wyoming（怀俄明大学） ； SUNY Binghamton（纽约州立大学宾汉姆顿分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种分层快慢思考的具身超声系统，通过慢脑进行意图解析和任务规划，快脑融合多模态反馈优化局部动作，并集成安全防护机制，在动态临床环境中提高任务成功率并减少安全违规。

ASCII Art Turns LLMs into VLA Controllers

ASCII艺术将LLMs转化为VLA控制器

Yitao Jiang, Roy Xing, Luyang Zhao, Brian Plancher, Muhao Chen, Devin Balkcom

机构 * Dept. of Computer Science, Dartmouth College（达特茅斯学院计算机科学系） ； Dept. of Electrical and Computer Engineering, Clemson University（克莱姆森大学电气与计算机工程系） ； Dept. of Mechanical and Aerospace Engineering, University of Houston（休斯顿大学机械与航空航天工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 通过ASCII表示将视觉观察渲染为文本输入，仅使用文本LLM即可实现VLA式控制，在2D操作任务中表现良好，提供轻量级可解释的模态桥接。

SwarmX: Agentic Scheduling for Low-Latency Agentic Systems

SwarmX: 面向低延迟智能体系统的智能调度

Yeqi Huang, Yanwei Ye, Guomin Chen, Wenhao Su, Bin Gong, Jialian Li, Zhan Lu, Yangshen Deng, Xuan Sun, Le Xu, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SwarmX系统，通过调度专用神经预测器捕获提示、设备、运行时和目标模型特征，结合路由器与缩放器实现尾延迟感知决策，在近千GPU和百万CPU核的生产部署中，相比现有调度器将尾延迟降低61.5%，吞吐量提升2倍。

Comments 14 pages