AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
第一人称视角下用于手部检测的多模态RGB和事件数据集
机构 * Zurich University of Applied Sciences（苏黎世应用科技大学）
专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV
AI总结 针对移动机器人系统中传统相机在暗光下运动模糊的问题，提出利用事件相机与RGB相机结合的多模态手部检测方法，并通过合成事件数据集实现与现有方法相当的性能。
WHU-Infra3D：面向3D路边基础设施清单的全栈多模态数据集与基准
机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)（信息工程测绘遥感国家重点实验室） ； Wuhan University（武汉大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 提出WHU-Infra3D多模态基准数据集，覆盖三城市53.8公里，融合全景图像与LiDAR点云，提供2D-3D实例关联和跨帧跟踪，支持基础设施状态诊断与属性识别，填补自动化维护数据集空白。
AudioProcessBench: 音频基础推理中过程错误识别的基准
机构 * Monash University（墨尔本大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学-利物浦大学） ； Orygen（Orygen研究所） ； University of Melbourne（墨尔本大学）
专题命中 多模态评测 ：multi-modal(abstract)；omni-modal(abstract)
AI总结 提出AudioProcessBench基准，用于评估音频-语言模型在推理步骤中的过程错误识别能力，涵盖步骤正确性、错误类型检测和链级聚合三种范式。
ChartREG++：面向多样化指代线索和多目标指代的图表指代表达式定位基准与改进
机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 针对现有图表指代表达式定位基准的局限，提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准，并利用代码驱动合成流水线生成像素级实例掩码，训练实例分割模型集成到多模态定位框架，显著提升性能。
视觉语言模型像工程师一样推理吗？一个基准测试与分阶段评估
机构 * Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 提出工程视觉问答基准EngVQA和8阶段自动评估框架，揭示当前视觉语言模型在工程推理中的显著局限，并验证了自动化评估与人工评分的高度一致性。
Comments 9 pages (main text), 4 figures, 2 tables; 50 pages total including appendix. The first two authors contributed equally
Sigma-Branch: 用于动态推理的分层单路径网络重构，减少活跃参数
机构 * Graduate School of Science and Technology, Keio University（Keio大学理工学院）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.AI
AI总结 提出Sigma-Branch框架，通过分层二叉树结构将预训练密集网络重构为共享主干、分层路由器和专用叶子，利用激活聚类初始化并微调，推理时仅执行单一路径，在CIFAR-100/ResNet-50等任务上减少58-60%活跃参数，性能损失小于1.72个百分点。
大型语言模型通过文化不平等的基线感知城市
机构 * Centre for Advanced Spatial Analysis (CASA), UCL, London, UK（高级空间分析中心（CASA），伦敦大学学院，英国） ； School of Architecture, Tsinghua University, Beijing, China（清华大学建筑学院，北京，中国） ； Department of Computer Science, UT Austin, Austin, TX, USA（得克萨斯大学奥斯汀分校计算机科学系，奥斯汀，德克萨斯，美国）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 本研究通过全球平衡的街景样本测试前沿LLM的城市感知，发现中性提示实际上偏向欧美文化，且文化提示能改变情感评价但无法恢复人类语义多样性。
GCA框架：面向海湾合作委员会国家的数据集与气候决策支持智能体管道
机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德人工智能大学） ； University of Missouri（密苏里大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 提出GCA框架，包含GCC国家多模态数据集GCA-DS和工具增强型智能体GCA，通过领域微调和工具集成提升气候决策可靠性。
ChartAgent: 一种用于复杂图表问答中视觉基础推理的多模态智能体
机构 * J.P. Morgan AI Research（摩根大通人工智能研究）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出ChartAgent框架，通过迭代分解查询为视觉子任务并利用图表专用视觉工具（如绘制注释、裁剪区域）进行空间域推理，在ChartBench和ChartX上取得最先进性能，尤其对无标注图表提升显著。
Comments Accepted at ACL 2026 (Main Conference). Also presented as an oral paper at the NeurIPS 2025 Multimodal Algorithmic Reasoning Workshop (https://marworkshop.github.io/neurips25/)
数据记者智能体：将数据转化为可验证的多模态故事
机构 * University of Oxford（牛津大学） ； Stanford University（斯坦福大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 提出多智能体框架Data2Story，通过证据链验证声明并自动生成多模态文章，在18篇文章上评估，证明其在透明性和可审计性上接近人类记者。
Comments Project page: https://data2story.github.io Github: https://github.com/QinghongLin/data2story-skill
面向计算机使用代理的历史感知视觉基础批评家
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。
Comments Code: https://github.com/G-JWLee/HiViG
超越API：探索多模态大语言模型在物理工具使用中的极限
机构 * Singapore Management University（新加坡管理大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出PhysTool-Bench基准，评估多模态大语言模型在真实场景中识别物理工具并规划使用的能力，发现最强模型仅完成21%任务，揭示感知与规划双重缺陷。
基于基础模型的机器人在患者和老年人护理中的探索
机构 * Cornell University（康奈尔大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 本文综述了基于基础模型的护理机器人在设计特征、用户体验和护理效果方面的现状，指出当前系统多用于语音交互，多模态和物理自主性有限，并呼吁向护理特定评估标准和负责任自主性发展。
Baichuan-M4：面向持续照护的临床级医疗智能体系统
机构 * Baichuan AI（百川智能） ； THUBPM Group, Tsinghua University（清华大学THUBPM课题组）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出Baichuan-M4临床级医疗大模型，通过统一运行时、持续照护强化学习框架和临床工具层三大支柱构建智能体系统，在多项医疗评估中取得领先结果，幻觉率降至3.3%。
基于傅里叶分解的超分辨结构照明X射线显微镜
专题命中 多模态Agent ：multimodal(abstract)
AI总结 提出一种超分辨X射线显微镜方法，通过结构照明编码高频信息，利用傅里叶分解解码，实现2.2倍分辨率提升，并扩展至显微断层成像，同时获取相位衬度和暗场图像。
RespiraMFM：一种用于呼吸道疾病识别的对比音频-语言对齐多模态基础模型
机构 * The Ohio State University（俄亥俄州立大学） ； University of Southern California（南加州大学） ； University of Chicago（芝加哥大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)
AI总结 提出RespiraMFM多模态基础模型，通过对比音频-文本对齐策略整合呼吸音与临床信息，在监督和零样本任务中分别提升AUROC 9.15%和20.98%。
Comments ACL 2026 Main Conference
缓解流形偏离：面向可信MLLM解码的不确定性感知子空间校正
机构 * Nanyang Technological University（南洋理工大学）
专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI
AI总结 提出MGAP方法，通过SVD构建语言先验子空间并自适应衰减投影分量，在抑制幻觉的同时保持语义结构，优于现有解码基线。
Comments ICML 2026 regular
面向智能金融系统的统一多模态框架：整合强化学习、高频交易和博弈论方法与跨模态情感分析
机构 * Henan University, International Eurasia College（河南大学，国际欧亚学院） ； City University of Hong Kong, College of Business（香港城市大学，商学院） ； Northeastern University, School of Electronic and Information Engineering（东北大学，电子与信息工程学院）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(title)；分类 cs.AI
AI总结 提出统一框架整合PPO、高频预测、上下文学习、博弈论和跨模态情感分析，在多个金融任务上平均提升20%以上性能。
无配对数据的跨模态知识蒸馏：理论基础与算法
机构 * School of Information and Communications Technology, Hanoi University of Science and Technology, Hanoi, Vietnam（信息与通信技术学院，河内科学技术大学，越南河内） ； School of Electrical Engineering and Computer Science, Washington State University, Pullman, US（电气工程与计算机科学学院，华盛顿州立大学，华盛顿州普尔曼）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；multi-modal(abstract)；分类 cs.AI
AI总结 提出无配对数据下的跨模态知识蒸馏框架，通过特征对齐和标签对齐两种分布对齐机制，实现跨模态知识迁移，理论保证且实验效果显著。
ARM: 一种具有统一离散表示的自回归大型多模态模型
机构 * Shanghai Key Lab of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Youtu Lab, Tencent（腾讯优图实验室） ； Meta AI ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出ARM模型，通过离散语义视觉分词器将图像映射为紧凑token序列，结合自回归建模和强化学习，统一实现图像理解、生成和编辑，并提升任务性能与跨任务协同。
Comments technical report
每个多模态证据一个令牌：面向资源受限问答的潜在记忆
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出潜在记忆范式，将每个证据压缩为单个高维潜在令牌，通过统一训练实现高效检索与生成，在资源受限场景下以3-10倍令牌节省达到竞争性问答性能。
5% > 100%: 平坦性偏好是您进行多模态参数高效微调所需的一切
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang University（浙江大学） ； ETH Zürich（苏黎世联邦理工学院） ； Anhui University of Science and Technology（安徽理工大学） ； Tsinghua University（清华大学） ； State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 揭示参数高效微调方法中普遍存在的平坦性偏好，即少量尖锐维度主导泛化，并提出FlatPO方法优化这些维度以提升泛化性能。
无监督多模态图模型用于地理社交分析
专题命中 多模态训练与对齐 ：multimodal(title,abstract)
AI总结 本文提出无监督多模态图模型，整合语义与地理信息，提升灾难管理和舆论监控中的内容分析效果。
融合卫星图像与平面地图的跨视角定位
机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出一种融合卫星图像与平面地图的模块，通过跨模态条件化和补丁级融合规则，将定位误差降低30.13%。
让ViT说话：生成式语言-图像预训练
机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出GenLIP框架，通过语言建模目标直接训练ViT从视觉token预测语言token，无需对比学习或额外文本解码器，实现简单、可扩展且性能优异的视觉编码器。
Comments 27 pages, 11 figures. Code and models are available at https://github.com/YanFangCS/GenLIP
KFC-KWS: 基于CTC的关键帧融合用于用户自定义关键词唤醒
机构 * School of Electronics and Information Engineering, Hangzhou Dianzi University（杭州电子科技大学电子信息学院） ； School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 提出KFC-KWS多模态框架，利用CTC引导的关键帧选择对齐音频、音素和文本模态，通过交叉注意力融合关键帧与全句表示，在LibriPhrase上达到98.73% AUC，困难子集上97.65% AUC和7.75% EER，有效区分易混淆关键词。
Comments Accepted by Interspeech 2026
时空图Transformer用于金属增材制造中的3D邻域交互与质量预测
机构 * Department of Industrial Engineering（工业工程系）
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 提出一种时空图Transformer，通过加权网络表示和双注意力机制建模3D邻域交互，显著提升金属增材制造质量预测性能。
Comments Submitted to Journal of Intelligent Manufacturing, 23 pages, 10 figures, 2 tables
面向增材制造的领域自适应大语言模型
机构 * Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)
AI总结 本文通过约5000万token的小型数据集对开源大语言模型进行领域自适应预训练和指令微调，构建多模态领域自适应模型，在增材制造基准测试中达到90%以上准确率。
GRAR: LiDAR点云中玻璃引起的反射伪影去除
机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； School of Design, Hunan University（湖南大学设计学院） ； School of Finance and Statistics, Hunan University（湖南大学金融与统计学院）
专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出两阶段框架，先利用多模态视觉基础模型和几何线索精确分割玻璃区域，再基于物理驱动的反射感知局部-全局几何相似性描述符去除反射伪影，在多个公开数据集上优于现有方法。
SPACE: 面向多模态大语言模型的无源代理锚点概念擦除
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出SPACE框架，首个针对多模态大语言模型的无源机器遗忘方法，通过文本引导的代理锚点选择和双约束语义隔离，在不访问目标数据的情况下擦除概念，并保持模型性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈