AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
PTEI：在大语言模型中整合人格特质以提高情商
机构 * Telecom SudParis, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院） ； Aberystwyth University（阿伯里斯特威斯大学）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 研究针对大语言模型在复杂情感推理中不如人类的问题，提出PTEI框架，通过提取人格特质并用于人格感知提示引导模型推理，结合对比学习优化检索系统，经实验验证其能增强模型情感理解能力，与CoT推理结合可进一步提升准确率。
FedMosaic：通过参数适配器进行联邦检索增强生成
机构 * SKLCCSE Lab Beihang University Beijing China（SKLCCSE实验室 北航） ； Department of Data Science City University of Hong Kong Hong Kong China（数据科学系 香港城市大学） ； Beijing Advanced Innovation Center Beihang University Beijing China（北京先进创新中心 北航） ； Beihang University（北航） ； City University of Hong Kong（香港城市大学）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 研究针对隐私敏感领域，解决联邦检索增强生成中高存储通信及适配器聚合问题。核心方法是提出FedMosaic框架，聚类文档成多文档适配器并选择性聚合。主要贡献是准确率提高，存储和通信成本降低，且不共享原始文档。
Comments 11 pages
SynthDocBench：用于长上下文视觉文档理解的可控基准测试
专题命中 文档图表理解 ：vision language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题，引入SynthDocBench基准测试，通过组合设计控制多因素，端到端生成多样长文档，评估模型发现三种现有基准未暴露的失败模式，揭示模型或过度拟合基准工件。
Comments 29 Pages, 27 Tables, 13 Figures, Accepted at COLM 2026
MonkeyOCRv2：用于文档人工智能的视觉-文本基础模型
机构 * Huazhong University of Science and Technology（华中科技大学） ； Kingsoft Office（金山办公软件）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 研究针对主流视觉编码器难以应用于文档图像的问题，提出MonkeyOCRv2模型。通过构建大型文档图像预训练语料库及采用联合预训练策略，在多个文档分析任务中提升性能，并验证其作为视觉编码器在文档解析和理解任务中的有效性。
ChartSync：视觉逻辑级联图表编辑的基准测试
机构 * Jianghan University（江汉大学） ； HiThink Research（海思睿研） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Zhejiang University（浙江大学）
专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV
AI总结 研究针对生成式图像编辑模型处理结构化统计图的困难，提出视觉逻辑级联编辑任务。引入ChartSync基准测试，含多种图表类别和任务类型。通过两层框架评估模型，发现开源与专有模型能力差距，分析误差以指导多模态架构发展，数据集和代码已公开。
UniRec-0.1B：具有1亿参数的统一文本和公式识别
机构 * Fudan University（复旦大学）
专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV
AI总结 研究旨在实现文本和公式的统一识别，提出含1亿参数的UniRec-0.1B模型。通过构建大规模数据集，应对层次结构变异性和语义纠缠等挑战，引入分层监督训练和语义解耦分词器。实验证明该模型优于同类，且速度大幅提升，有效且高效。
Comments Accepted by ECCV 2026
在重要时刻思考：用于社交导航的基于RL策略的条件VLM推理
机构 * Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究社交机器人导航中强化学习策略缺乏语义推理能力的问题，提出HUMA混合架构，动态平衡RL策略与VLM的优势。在基准测试中任务成功率提高，减少碰撞，消融研究验证组件，实际部署证明方法可行。
Comments CoRL 2026 submission. 15 pages, 7 figures
UniLM-Nav：零样本最后一英里导航的统一框架
机构 * Tsinghua University（清华大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peking University（北京大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)
AI总结 研究移动操作中最后一英里导航问题，提出UniLM-Nav统一框架，通过多模态大语言模型后端分解任务为视图选择、功能接地和姿态推理，在OVMM基准上优于现有方法，还验证了在实际机器人上的适用性。
Comments Project page: https://unilm-nav.github.io
StructAgent：利用统一因果结构驾驭长时程数字智能体
机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； Aether AI Lab（以太人工智能实验室）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对长时程任务中智能体任务进展难解释、验证和恢复的问题，提出StructAgent框架，通过统一因果结构维护任务进展并规范工作流程，实验证明其能提升多种模型性能且具有通用性。
让它简单：视觉-语言-动作模型的单步动作生成
机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG
AI总结 针对视觉-语言-动作（VLA）模型，提出通过偏置训练时间分布至高频噪声状态，实现无需教师模型、蒸馏或辅助目标的单步动作生成，性能可匹配十步解码。
Comments 13 pages, 10 figures
TS-Mask VLA：用于视觉-语言-动作模型的具有有效桥接的二维时空掩码
机构 * Institute of Cyber-Systems and Control, Zhejiang University（浙江大学网络系统与控制研究所） ； Tongji University（同济大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对视觉-语言-动作模型问题，提出TS-Mask VLA框架，基于离散扩散动作专家和时空二维掩码策略，在模拟基准和现实任务实验中表现出色，验证了设计有效性。
Comments 9 pages, 5 figures, accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
MAGIC：利用大语言模型生成具有可导航多场景的游戏世界并感知过渡
机构 * Department of Computer Science and Engineering（计算机科学与工程系）
专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.AI
AI总结 研究利用大语言模型生成多场景游戏世界时面临的问题，提出MAGIC系统，通过四阶段管道将自然语言提示转化为可运行项目，解决跨场景一致性等问题，在新基准测试中表现出色，生成可执行项目且过渡识别指标优。
EDAR：学习用于机器人操作的环境相关动作表示
机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院智能信息处理上海市重点实验室） ； TeleAI, China Telecom（中国电信天翼人工智能公司）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 研究针对机器人操作中动作表示难的问题，提出EDAR方法，将动作令牌与可执行控制结构和预期视觉后果关联，通过实验证明该方法能改善下游策略学习，突出环境相关动作表示的重要性。
使用具有迭代重新规划的基础模型进行零售商店中的移动操作任务规划
机构 * TCS Research, Tata Consultancy Services Ltd.（塔塔咨询服务公司TCS研究院）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)
AI总结 研究零售场景补货问题，利用大语言模型和视觉语言模型，结合定制移动操作平台、用户驱动提示及反馈迭代重新规划方法纠错，在模拟环境验证端到端系统，为零售自动化提供了新的任务规划方案。
XR-1：通过学习统一的视觉-运动表示实现多功能的视觉-语言-动作模型
机构 * Beijing Innovation Center of Humanoid Robotics, Beijing, China（北京人形机器人创新中心，北京，中国） ； School of Mechanical Engineering and Automation, Beihang University, Beijing, China（北京航空航天大学机械工程及自动化学院，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，SCSE，北京航空航天大学，北京，中国） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，北京大学，北京，中国）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)
AI总结 XR-1通过学习统一的视觉-运动表示，解决视觉-语言-动作模型在低级动作生成和跨数据源领域差距的挑战，提出三阶段训练方法并验证了其在多种机器人和任务上的优越性能。
Comments Accepted to ICML2026 as Oral
镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)
AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。
用于隐私保护的针对视觉语言模型的不可察觉且可逆的对抗性示例
机构 * School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院） ； College of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Software and engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV
AI总结 研究针对视觉语言模型基于文本的隐私攻击问题，提出CloakDiff框架，结合扩散对抗编辑与可逆网络生成不可察觉的对抗性示例，设计EDM启发式采样提高保真度，实验证明该框架能实现多模态隐私保护且具高视觉质量和可逆性。
Comments Accepted by ACM MM 2026
MED-DSLC：通过域监督和对数校准进行多专家域分类
机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校）
专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 研究针对视觉语言模型在多域零样本分类中存在的问题，提出MED-DSLC方法，结合域监督训练和域内对数缩放，恢复全局对数可比性，是轻量级方案，经实验验证可提升准确率、鲁棒性和可扩展性。
Comments Accepted to ECCV 2026. Code is available at https://github.com/Leonard-Zeng/MED-DSLC
SpurLens：多模态大语言模型中虚假线索的自动检测
机构 * Department of Computer Science University of Maryland（计算机科学系大学马里兰大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG
AI总结 研究多模态大语言模型中虚假偏差，介绍SpurLens管道，利用GPT-4和开放集目标检测器自动识别虚假视觉线索，揭示虚假关联导致的两种失败模式，验证发现并探索缓解策略，呼吁提高评估方法和策略以增强MLLMs可靠性。
深度偏差：对大型视觉语言模型中社会偏差的自适应深度探测
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI
AI总结 研究大型视觉语言模型中社会偏差问题，提出DeepBias自适应框架，通过“生成-演化-探测”循环及智能体深度探测偏差，构建DeepBiasBench基准，实验证明其有效性，为LVLM安全评估建立进化范式。
安全响应很重要：输出感知安全护栏减轻多模态大语言模型中的过度拒绝
机构 * Lanzhou University（兰州大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.LG
AI总结 研究多模态大语言模型安全机制权衡问题，提出输出感知安全护栏范式，通过在模型隐藏状态空间预测及多实例对比学习训练分类器，减少过度拒绝，匹配安全性能，保留模型效用与安全能力。
Comments Accepted to ECCV 2026!
以何种代价节省内存？反向传播替代方案研究
机构 * College of Information and Computer Sciences, University of Massachusetts, Amherst（信息与计算机科学学院，马萨诸塞大学阿默斯特分校） ； Adobe, San Jose（Adobe公司，圣乔斯）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.LG
AI总结 研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现，发现FmAD和ZO虽省内存但有计算成本等问题，带检查点的BP在多方面更优，纠正了此前关于LLM优化的片面基准测试观点。
Comments Accepted to ICML 2026
温度如何塑造检索增强生成中的意识形态话语？
机构 * Wichita State University（威斯康星州立大学） ； São Paulo Catholic University（圣保罗天主教大学）
专题命中 幻觉与鲁棒性 ：grounding(abstract)
AI总结 研究探讨温度对检索增强生成中意识形态话语的影响，通过对新冠治疗文章语料库应用词汇多维分析，让模型在不同温度下回答意识形态问题并评估，发现RAG框架易转移意识形态话语，中等温度下话语对齐最高，低温时下降。
SpaceDrive: 在基于视觉语言模型的自动驾驶中引入空间感知
机构 * Mercedes-Benz AG（梅赛德斯-奔驰集团） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； TU Munich（慕尼黑工业大学） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； University of Stuttgart（斯图加特大学） ； UCLA（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：VLM(title,summary_cn)；vision language model(abstract)；分类 cs.CV
AI总结 本文提出SpaceDrive框架，通过将空间信息作为显式位置编码来增强基于VLM的自动驾驶系统对精细3D空间关系的理解，从而提升规划精度和开放环性能。
寻找开放性的要素：用大型视觉语言模型复现 Picbreeder
机构 * New York University（纽约大学） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV、cs.AI
AI总结 本研究通过用前沿视觉语言模型替代人类用户复现 Picbreeder，探索人工智能在无引导发现中的开放性能力，并分析系统输出与人类基线在系统发育复杂性、视觉和语义显著性及新颖性上的差异，同时研究探索性噪声、行为多样性和叙事动量等因素的影响。
Comments 26 pages, 21 figures, to be published at GECCO 2026
Journal ref Proceedings of the Genetic and Evolutionary Computation Conference (GECCO '26), July 13-17, 2026, San José, Costa Rica. ACM, 2026
BARD：通过高效渐进性块合并和分阶段蒸馏桥接自回归与扩散视觉-语言模型
机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型，实现在大块规模下性能恢复与解码效率提升。
基于部分-整体语义代表性与不确定性引导的组合对齐超几何视觉语言模型
机构 * Dept. of Electrical and Computer Engineering（电子与计算机工程系） ； INMC & IPAI（INMC与IPAI） ； Seoul National University（首尔国立大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(summary_cn)；分类 cs.CV、cs.AI
AI总结 本文提出UNCHA方法，通过超几何不确定性建模部分-整体语义代表性，提升超几何VLM对多物体场景的组合结构理解能力，实现零样本分类等任务的最先进性能。
Comments Accepted to CVPR 2026
视觉-语言模型中基于情境的可及性计算
机构 * Dissensus AI ； King’s College London（伦敦国王学院）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 本研究揭示视觉-语言模型中可及性计算的高度情境依赖性，通过大规模实验显示超过90%的词汇描述受情境影响，提出动态本体投影方法替代静态世界建模。
Comments 33 pages, 13 tables, 3 figures. Code available at: https://github.com/studiofarzulla/semantic-vision
零努力图像到音乐生成：一种可解释的基于RAG的视觉语言模型方法
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science（香港科学大学） ； The Hong Kong Polytechnic University Hong Kong China（香港理工大学香港中国） ； The University of Hong Kong Hong Kong China（香港大学香港中国）
专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.AI
AI总结 本文提出一种基于RAG的视觉语言模型方法，实现图像到音乐生成，通过ABC记谱法连接文本与音乐模态，并利用多模态检索增强生成和自反思技术，提供高可解释性且低计算成本的音乐生成方案。
工业机器人操作中视觉语言动作模型的LoRA微调效率研究
机构 * Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学） ； Siemens AG（西门子股份公司） ； Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.LG
AI总结 研究工业机器人操作中VLA模型的LoRA微调效率，通过在四个精密装配任务上评估，发现特定LoRA配置不比FFT差，r = 32时性能饱和，均匀分配即可，冻结VLM等会降性能，该方法可减少VRAM且无性能损失。
Comments 12 pages, 5 figures, 3 tables. Accepted at the International Conference on Artificial Neural Networks (ICANN 2026); to appear in Springer LNCS
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈