多模态大模型

Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition

运动增强外观：用于微手势在线识别的RGB-骨架门控残差融合

Jialin Liu, Xinwen He, Pengyu Liu, Jiale Shi, Huaijuan Zang, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT), Hefei, China（合肥工业大学计算机与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出DyFADet+双流RGB-骨架框架，通过门控残差模块自适应融合骨架运动与RGB特征，实现微手势在线识别，在SMG数据集上F1达40.88，排名第二。

Comments 13 pages, 2 figures

Fusing Satellite Imagery and Planimetric Maps for Cross-View Localization

融合卫星图像与平面地图的跨视角定位

Quang Long Ho Ngo, Zimin Xia, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种融合卫星图像与平面地图的模块，通过跨模态条件化和补丁级融合规则，将定位误差降低30.13%。

Next-Token Prediction Learns Generalisable Representations of Sleep Physiology

下一个词预测学习睡眠生理学的可泛化表示

Jonathan F. Carter, Lionel Tarassenko

机构 * Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出Hypnos模型，通过下一个词预测目标，从多模态生理信号中学习可泛化表示，在睡眠阶段分类和房颤检测等任务上显著优于现有基础模型。

Optical Reasoning: Rethinking Images as an Expressive Reasoning Medium Beyond Text

光学推理：重新思考图像作为超越文本的表达性推理媒介

Yutong Bian, Dongjie Cheng, Heming Xia, Yongqi Li, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出光学推理概念，将图像作为独立推理媒介，通过排版和图形两种变体实现，在语言和多模态任务中匹配或超越文本推理，同时减少推理令牌。

Personalization Meets Safety:Mechanisms,Risks,and Mitigations in Personalized LLMs

个性化与安全的交汇：个性化大语言模型中的机制、风险与缓解措施

Yanyan Luo, Xue Han, Ruiqiao Bai, Xin Huang, Yitong Wang, Qian Hu, Qing Wang, Chunxu Zhao, Jie Liu, Cong Geng, Lehao Xing, Pengwei Hu, Junlan Feng

机构 * China Mobile Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动九天人工智能技术（北京）有限公司） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文首次对个性化大语言模型进行安全导向的综述，从用户表征、个性化范式和评估三个维度组织，提出统一的安全风险分类，并分析各范式下的脆弱性及缓解策略。

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

SSAFE: Simple and Strong AI-Generated Image Detection via Frozen Vision Encoders

SSAFE: 通过冻结视觉编码器实现简单而强大的AI生成图像检测

Seunghyun Lee, Byoungkwon Kim, Jaehyun Nam, Kyungmin Lee, Jinwoo Shin

机构 * KAIST（韩国科学技术院） ； Google Cloud AI（谷歌云AI） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文发现冻结的多模态视觉编码器在嵌入空间中自然分离真实与合成图像，通过线性分类器即可实现强检测性能，并提出一种表示感知的数据策展策略，仅用10K图像训练，在多个基准上表现优异。

Comments Preprint. 22 pages, 10 figures, supplementary material included

Reinforcement Learning for Flow-Matching Policies with Density Transport

基于密度传输的流匹配策略强化学习

Boshu Lei, Kostas Daniilidis, Antonio Loquercio

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出在线强化学习算法RLDT，利用Stein变分梯度下降构建传输场，微调预训练流匹配策略，通过期望目标估计稳定训练，在连续控制任务中优于基线方法。

Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models

基于视觉基础模型的注意力一致纵向医学视觉问答

Jialin Wu, Qianru Zhang, Georges El Fakhri, Xiaofeng Liu

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Yale Biomedical Imaging Institute（耶鲁大学生物医学成像研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种注意力引导的编码器-解码器框架，通过轻量级配准和自适应掩码生成，结合辅助损失函数，实现胸部X光片的纵向医学视觉问答，在Medical-Diff-VQA基准上取得优异性能。

Comments Accepted to CVPR 2026 Workshop PHAROS-AIF-MIH

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 6448-6458

Semantic-Structural Alignment for Generative Pictorial Charts

生成式图形图表的语义-结构对齐

Zhida Sun, Yulin Zhang, Zheng Gu, Min Lu, Bongshin Lee, Daniel Cohen-Or, Hui Huang

机构 * Visual Computing Research Center (VCC), College of Computer Science and Software Engineering (CSSE) Shenzhen University China（视觉计算研究中心（VCC）、计算机科学与软件工程学院（CSSE）深圳大学中国） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出一种生成式框架，通过多模态扩散变压器中的结构对齐和语义对齐机制，实现兼具艺术表现力和结构保真度的图形图表自动合成。

Comments 11 pages, 17 figures, Accepted to ACM TOG

SAGE-Net: Semantics-Augmented Geometric Encoder for Material Property Prediction

SAGE-Net：用于材料属性预测的语义增强几何编码器

Guanghui Zhang, Yuxuan Yao, Kieran B. Spooner, Jun Yin, Dan Han, David O. Scanlon, Lijun Zhang

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(comments)

AI总结 研究针对材料属性预测，提出语义增强几何编码器网络SAGE-Net，通过语义引导消息传递将晶体学语义注入几何消息传递，在多基准测试中表现出色，能有效捕捉晶体学特征，是深度集成多模态材料学习的通用可转移框架。

Comments 29 pages, 5 figures, multi-modal network

APPROVE: Visual End-User-in-the-Loop Robot Programming with LLMs

APPROVE：结合大型语言模型的面向视觉端用户的机器人编程

Bijan Kavousian, Miray Özakkas, Josefine Monnet, Oliver Petrovic, Christian Brecher

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 APPROVE是一种结合LLMs的多模态端用户机器人编程框架，通过Blockly可视化程序并支持用户确认、修改或拒绝，还可存储复用已确认功能，解决了现有系统透明度不足、意图对齐差、复用有限的问题，提升了用户信任与编程灵活性。

Comments Accepted for publication in Procedia CIRP, Proceedings of the 20th CIRP Conference on Intelligent Computation in Manufacturing Engineering (ICME 2026)

Role-Conditioned Sub-Token Routing for Efficient Vision-Language-Action Policies

用于高效视觉-语言-动作策略的角色条件子令牌路由

Wei Jiang, Wei Wang

机构 * Futurewei Technologies（未来智能技术公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对VLA模型推理成本高的问题，提出RoleSub方法，通过角色条件子令牌路由压缩视觉和语言表示，在匹配视觉-KV预算下多数场景优于仅令牌控制，结合压缩后总KV仅为原始的9.2-11.3%且控制性能强。

Comments 12 pages, 5 tables

Retrieval-guided Twin Fusion with Similarity-aware Contrast for Molecule-Text Alignment

基于检索的双融合与相似度感知对比的分子-文本对齐方法

Shunshun Gu, Shengqi Qiu, Hang Zhou, Xiao Luo

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 针对现有分子-文本对齐方法忽略子结构与文本细粒度语义关系的问题，提出RISEN方法，通过检索构建孪生分子并结合相似度感知对比学习，在基准数据集上取得更优性能。

Making two action heads agree: coordination mechanisms and a runtime collapse certificate for flow-matching policies

让两个动作头达成一致：流匹配策略的协调机制与运行时崩溃证书

Jinhui Sun, Wei Zhou, Bowen Yang, Xinliang Xiao, Li Yang

机构 * School of Automation, Nanjing University of Science and Technology（南京理工大学自动化学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对流匹配策略的双动作头多模态误报问题，提出四类协调机制并推导机会校正协调边界，在LIBERO-Plus等测试中验证了残差为最强故障信号。

UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity

UniFed-VLM：面向多异质性视觉语言模型的联邦指令调优

Pengyu Wang, Baochen Xiong, Xiaoshan Yang, Yifan Xu, Zhang Qimeng, Haifeng Chen, Changsheng Xu

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架，含FedCSA与TCoD组件，在多基准数据集上优于现有FL方法。

FedADB: Class Anchor-Driven Dual-Branch Federated Learning for Mitigating Forgetting

FedADB：用于缓解遗忘的类别锚驱动双分支联邦学习

Zhenyan Liu, Hua Zhang, Haoran Gao, Qi Li, Hongliang Zhu, Huiyu Zhou, Zongliang Shen, Yanxin Xu, Jiahui Wang

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对联邦学习中跨客户端数据异质性导致的全局知识遗忘问题，提出FedADB框架，通过类别锚与双分支机制平衡全局一致性与本地优化，在多数据集上提升了准确率与收敛速度。

Comments Accepted to appear in Proceedings of the 34th ACM International Conference on Multimedia (MM '26)

MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity

MedMix：模态异质性下的专业化一致联邦稀疏混合专家模型

Adiba Orzikulova, Dong Min Kim, Jaehong Yoon, Sung-Ju Lee

机构 * KAIST（韩国科学技术院） ； NTU Singapore（新加坡南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对联邦多模态医疗AI的客户端与样本级模态异质性问题，提出MedMix框架，通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合，在多模态医疗数据集上取得最优平均F1值，严重异质性下提升显著。

QUARTZ: Qualitative Understanding via Accessible Representation and Visualization

QUARTZ：通过可访问表示与可视化实现定性理解

Omar Khan, JooYoung Seo

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对盲人和低视力研究者无法访问定性数据可视化的问题，提出基于网络的QUARTZ系统，通过用户研究揭示相关障碍并提出设计准则，以提升该群体参与定性研究的可访问性。

Comments 24 pages, accepted at ASSETS 2026

Observation geometry for uncertainty-aware Hamiltonian inference and experimental design in quantum magnets

量子磁体中不确定性感知哈密顿量推断与实验设计的观测几何

Roy Liu, Venugopal Ranganathan, David Dahlbom, Shizhou Xu, Tianyu Zhang, Yuan Ni, Daniel M. Pajerowski, Garrett Granroth, Thomas Strohmer, Matthew B. Stone, Andrew F. May, Mark D. Lumsden, Joshua J. Turner, Yongqiang Cheng, Zhantao Chen

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究提出AI赋能的不确定性感知哈密顿量推断与自适应实验设计框架，结合哈密顿量条件神经代理等方法，通过NiPS₃的中子散射测量验证，为量子材料表征与实验设计提供通用策略。

Particle-Based Conformal Prediction for Contact-Aware Uncertainty Calibration in Stratified Configuration Spaces

分层构型空间中接触感知不确定性校准的基于粒子的保形预测

Luís Marques, Kristian Popov, Dmitry Berenson

机构 * University of Michigan（密歇根大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对机器人接触障碍物时运动模型不准确、未来构型分布异常的问题，提出CaPTURe算法，实现了接触与非接触场景下的指定覆盖率要求，任务成功率较最佳基线提升30%。

Comments 31 pages, 10 figures, 5 tables. Accepted at COPA 2026 (Conformal and Probabilistic Prediction with Applications). Project page: https://um-arm-lab.github.io/capture/

Conformal Fusion Under Missing Modalities

缺失模态下的共形融合

Alireza Moayedikia

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出MCCF架构，解决缺失模态下的多模态融合问题，该架构兼具模态缺失鲁棒性与校准不确定性，在多基准测试中表现出良好的覆盖率与精度性能。

A Six-Dimensional Taxonomy of Post-Training Adaptation Techniques with Applications in AI Governance

用于人工智能治理的后训练适应技术的六维分类法

Fardin Afdideh, Fernando Seoane, Farhad Abtahi

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本综述构建了后训练适应技术的六维分类法，梳理技术间关系，为AI治理提供术语支持，并指出该领域的开放挑战。

Decoupling Perception from Description: Computation-Grounded Representation Alignment between Multivariate Time Series and Language

感知与描述解耦：多变量时间序列与语言间的计算基础表示对齐

Xinran Feng, Yi Xie, Chao Zhang, Ruikun Li, Wanyun Ling, Ziyue Li, Chenxi Liu

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对多模态时间序列语言对齐的三难困境，提出CGTime模型，通过计算处理感知、LLM处理描述，在多变量理解任务上优于更大的通用模型。

Comments 46 pages, 9 figures, including supplementary material. Submitted to AAAI 2027. Xinran Feng and Yi Xie contributed equally

How Much Reconstruction Does Quantum Machine Learning Need? Late Fusion of Independently Trained Quantum Subcircuits

量子机器学习需要多少重构？独立训练量子子电路的后期融合

Prabhjot Singh, Adel N. Toosi, Rajkumar Buyya

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对电路切割量子机器学习中重构成本过高的问题，提出后期融合方法，其准确率与完全重构差距极小但成本指数级降低，且鲁棒性更强，是重构的高效替代方案。

Comments 11 pages, 6 figures. Includes technical appendix

Picometre-scale real-time drift correction in TEM and STEM by dynamic control of the specimen stage for atomic-resolution imaging

用于原子分辨率成像的透射电子显微镜（TEM）与扫描透射电子显微镜（STEM）中通过动态控制样品台实现皮米级实时漂移校正

Christophe Gatel, Julien Dupuy, Teresa Hungria, Martin J. Hytch

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本研究开发无需硬件修改的动态控制软件框架，通过控制样品台实现皮米级实时漂移校正，提升TEM、STEM成像质量，支持原子分辨率成像及各类实验应用。

Comments 27 pages, 9 figures. Submitted to Ultramicroscopy Christophe Gatel: Writing original draft, Software, Methodology, Investigation, Data treatment, Conceptualization, Resources, Funding acquisition. Julien Dupuis: Software, Conceptualization, Methodology. Teresa Hungria: STEM experiment, Review & editing. Martin Hytch: Review & editing, Data treatment, Resources, Funding acquisition

Agent-Native Task-Oriented Communication with Joint Token Compression Coding and Modulation

面向智能体原生的任务导向通信：联合令牌压缩编码与调制

Zhuoran Xiao, Yihang Huang, Tianyu Jiao, Xiaohua Xu, Yin Xu

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 该研究针对无线令牌通信系统的原生设计缺口，提出AI原生语义通信框架JTCM，通过两阶段训练实现任务导向的令牌传输，可降低传输开销并提升任务精度与鲁棒性。

Comments This paper is accepted by IEEE Globecom 2026, to appear

CAAT: Contact-Aware Attention Scaling and Tactile Masking for Data-Efficient Contact-Rich Manipulation

CAAT：用于数据高效接触丰富型操作的接触感知注意力缩放与触觉掩码方法

Jiaming Jiang, Yuzhe Huang, Hao Liang, Pei Lin, Shengcheng Luo, Fanrong Dong, Jiaping Wu, Chenxi Xiao, Wanlin Li, Ziyuan Jiao

机构 * ShanghaiTech University（上海科技大学） ； Beihang University（北京航空航天大学） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） ； Zhejiang University（浙江大学） ； BUPT（北京邮电大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 该研究针对接触丰富型操作中视觉-触觉策略缺乏接触感知先验的问题，提出CAAT框架，通过注意力缩放和动态触觉掩码提升策略性能，在仿真和真实实验中均显著优于现有方法。

Comments 11 pages, 6 figures

Foundation Models for Astrophysics

天体物理学领域的基础模型

Xiaosheng Zhao, Yuan-Sen Ting

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 本章介绍面向天文领域的基础模型，阐述其核心是可迁移表示，指出当前天文领域此类模型的可迁移性验证案例较少，未来需进一步探索提升路径。

Comments Invited chapter for the edited book "Machine Learning Techniques for Astrophysics and Cosmology" (Eds. Cosimo Bambi, Vinay Kashyap, Swarnim Shashank, Naoki Yoshida, Springer Singapore, expected in 2026). Submitted version

Persistent Convolution: A Topological Framework for AI Alignment Testing and Semantic Space Characterization

持久卷积：用于AI对齐测试和语义空间表征的拓扑框架

Tyler Ashoff, Jordan Rodu

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 本研究开发了一种基于拓扑的多模态对齐测试，以提升不透明AI模型部署、选择与比较的可解释性，助力AI对齐测试与语义空间表征。

Comments Code available at github.com/tylerashoff/persiscope (PyPI: persiscope)