多模态大模型

A Multi-Modal Sensor Fusion Instrument for Measuring Regional Human Mobility: The Distributed Human Data Engine (DHDE)

多模态传感器融合仪器用于测量区域人类流动性：分布式人类数据引擎（DHDE）

Amil Khanzada, Takuji Takemoto

机构 * Headquarters for Regional Revitalization, University of Fukui, Japan（复兴地区总部，福井大学，日本） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 提出分布式人类数据引擎（DHDE），通过融合边缘AI相机、数字意图信号、行为记录和气象数据，解决外围区域人类流动性测量中传感器稀疏和行为异质性问题，验证了稀疏传感器补偿方法，并发现“低活力悖论”。

Comments 32 pages, 4 figures, 3 tables. Pre-print of a manuscript submitted for peer review (v2)

MOTOR: Learning ID-free Item Representation with Token Crossing for Embedding-based Multimodal Recommendation

MOTOR：基于令牌交叉的无ID多模态物品表示学习用于嵌入推荐

Kangning Zhang, Jiarui Jin, Yingjie Qin, Ruilong Su, Jianghao Lin, Yong Yu, Weinan Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出MOTOR框架，用可学习共享多模态令牌替代物品ID嵌入，通过产品量化和令牌交叉网络实现语义共享与冷启动改进。

Comments Accepted by ECML-PKDD 2026

SODA-CitrON: Static Object Data Association by Clustering Multi-Modal Sensor Detections Online

SODA-CitrON：通过在线聚类多模态传感器检测实现静态物体数据关联

Jan Nausner, Kilian Wohlleben, Michael Hubner

机构 * Jan Nausner, Kilian Wohlleben, Michael Hubner 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出SODA-CitrON方法，通过在线聚类多模态传感器检测实现静态物体的数据关联，同时估计位置并维持持久跟踪，优于现有方法在F1分数、位置RMSE、MOTP和MOTA指标上。

Comments 8 pages, 5 figures; \c{opyright} 2026 IEEE. Accepted for the 2026 International Conference on Information Fusion (FUSION 2026)

SMA: Who Said That? Auditing Membership Leakage in Semi-Black-box RAG Controlling

SMA：谁说的？半黑盒RAG控制中的成员泄露审计

Shixuan Sun, Siyuan Liang, Jianjie Huang, Jingzhi Li, Xiaochun Cao

机构 * Sun Yat-Sen University（孙中山大学） ； Nanyang Technological University（南洋理工大学） ； University of Chinese Academy of Science（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对半黑盒RAG控制中的成员泄露问题，提出首个源感知成员审计SMA，通过零阶优化归因估计机制与跨模态归因技术，实现生成内容的细粒度来源归因，为复杂生成系统的数据来源审计提供新视角。

HumanOmni-Speaker: Identifying Who said What and When

HumanOmni-Speaker: 识别说话者说了什么以及何时

Detao Bai, Zhiheng Ma, Xihan Wei

机构 * Tongyi Lab Alibaba Group（阿里云实验室） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 本文提出HumanOmni-Speaker，通过视觉注册说话人辨识与识别方法，解决多人物对话中说话者身份与时间的识别问题，实现端到端的多模态协同。

Multi-Representation Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition

多表示几何层次融合：一种用于鲁棒三维地点识别的隐式子图驱动框架

Xiaohui Jiang, Haijiang Zhu, Chade Li, Ning An

机构 * College of Information and Technology, Beijing University of Chemical Technology（信息与技术学院，北京化工大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Research Institute of Mine Artificial Intelligence, China Coal Research Institute（矿山人工智能研究院，中国煤炭科研院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV

AI总结 针对激光雷达地点识别中描述子不稳定与表示脆弱性问题，本文提出隐式神经点驱动的多表示几何层次融合框架，在多数据集上实现鲁棒性能，平衡了精度、效率与内存占用。

scMIR: a vision-language foundation model for single-cell light microscopy image representation

scMIR：用于单细胞光学显微镜图像表示的视觉语言基础模型

Yifan Shang, Jiahui Tan, Xiangxiang Zeng, Renjie Zhou

专题命中 多模态训练与对齐 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对单细胞光学显微镜图像分析难题，提出scMIR模型，通过自监督图像重建与文本引导跨模态对齐，在多图像文本对上预训练，在多种复杂任务中表现出色，优于现有方法，具备强泛化能力，能推动高通量表型分析工作流程标准化和自动化。

Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

骨架到图像编码：通过视觉预训练模型实现骨架表示学习

Siyuan Yang, Jun Liu, Hao Cheng, Chong Wang, Shijian Lu, Hedvig Kjellstrom, Weisi Lin, Alex C. Kot

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Lancaster University（兰卡斯特大学） ； Hebei University of Technology（河北工业大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； VinUniversity（文大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出S2I编码，将骨架序列转换为图像状数据，首次利用视觉预训练模型进行自监督骨架表示学习，统一异构骨架格式，在多个数据集上验证了有效性。

Comments Submitted to IJCV, under review

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

Hierarchical Pre-Training of Vision Encoders with Large Language Model

基于大语言模型的视觉编码器分层预训练

Eugene Lee, Ting-Yu Chang, Jui-Huang Tsai, Jiajie Diao, Chen-Yi Lee

机构 * University of Cincinnati（辛辛那提大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL、cs.AI；multimodal foundation model(comments)

AI总结 本文提出HIVE框架，通过引入视觉编码器与大语言模型间的分层交叉注意力机制，提升视觉语言对齐，改进特征融合与表征学习，实验表明其在图像分类和多模态任务中表现优异。

Comments 17 pages, 14 figures, accepted to Computer Vision and Pattern Recognition Conference (CVPR) Workshops 2026. 5th MMFM Workshop: What is Next in Multimodal Foundation Models?

Journal ref In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7415-7424) 2026

Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer

健康基础模型中的涌现符号结构：提取、对齐与跨模态迁移

Gajendra Katuwal, Advait Koparkar, Salar Abbaspourazad, Anshuman Mishra, Sarvesh Kirthivasan

机构 * Apple（苹果公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)

AI总结 本文提出一种训练后框架，通过分解冻结嵌入以提取可解释的符号，用于对齐嵌入空间。在PPG和加速度计数据上验证，发现符号能选择性关联健康状况和生理属性，并支持跨模态迁移。

Comments 8 pages, Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, 4 main figures

Journal ref Mechanistic Interpretability Workshop at the 43 rd International Conference on Machine Learning, Seoul, South Korea, 2026

SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs

SafeNexus：在多模态大语言模型（MLLMs）中发现与调控模态通用安全神经元

Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin, Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SafeNexus是一种跨模态安全对齐框架，通过定位并调控模态通用安全神经元，提升多模态大语言模型在跨模态威胁下的安全性，且能保留模型效用。

Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

自预训练（SPT）真的有助于改进医疗时间序列的诊断吗？

Omar Coser, Antonio Orvieto, Paolo Soda, Loredana Zollo

机构 * Università Campus Bio-Medico di Roma（罗马生物医学大学校园大学） ； Umeå University（于默奥大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 该研究探究自预训练（SPT）对Transformer在医疗时间序列诊断任务的影响，发现SPT可提升分类准确率0-6个百分点，是无需修改架构的通用有效策略。

Comments 21 pages, 7 figures,4 tables

NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

NormGuard: 流匹配强化学习中保持奖励的范数约束

Tianlin Pan, Lianyu Pang, Cheng Da, Huan Yang, Changqian Yu, Kun Gai, Wenhan Luo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Kuaishou Technology（快手科技） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对流生成器强化学习后训练中感知质量下降的问题，提出NormGuard方法，通过铰链惩罚约束速度范数，在保持奖励的同时提升图像质量和真实性。

Comments v5: Fixed PDF rendering compatibility issue affecting Apple PDFKit (macOS Preview/iOS PDF viewer). No changes to technical content compared to v4

Fusion-Poly: A Polyhedral Framework Based on Spatial-Temporal Fusion for 3D Multi-Object Tracking

Fusion-Poly: 一种基于时空融合的多边形框架用于3D多目标跟踪

Xian Wu, Yitao Wu, Xiaoyu Li, Zijia Li, Lijun Zhao, Lining Sun

机构 * State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人与系统国家重点实验室，哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Fusion-Poly通过整合异步LiDAR和相机数据，提出一种时空融合框架，提升3D多目标跟踪的轨迹一致性与更新频率。

Prompt-Calibrated SAM 3 for Open-Vocabulary Remote Sensing Semantic Segmentation

Prompt-Calibrated SAM 3 用于开放词汇遥感语义分割

Yanghui Song, Nanqing Liu, Haonan Yin, Yingjie Gao, Chengfu Yang, Qi Ming

机构 * School of Information Science and Technology, Yunnan Normal University（云南师范大学信息科学与技术学院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； College of Computer Science, Beijing University of Technology（北京工业大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出ProC-SAM3方法，通过离线提示池、缓存文本嵌入和存在引导残差融合，解决开放词汇遥感语义分割中提示语义覆盖不足、冗余编码和噪声传播问题，在8个基准上平均mIoU达56.1%。

Comments 5 pages, 5 figures. Accepted for publication in IEEE Geoscience and Remote Sensing Letters (GRSL)

Journal ref IEEE Geoscience and Remote Sensing Letters, vol. 23, 2026, Art. no. 3713378

CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

CF-Net：用于矛盾/犹豫识别的具有说话者归一化和确定性加权的冲突融合

Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对无约束视频中矛盾和犹豫检测的挑战，提出CF-Net，用特定主干编码多模态流，经归一化和冲突融合模块处理，结合多种训练方法，在相关数据集上取得了较好成绩。

Comments 6 pages, 3 figures, 3 tables, 26 references

ToDMA: Large Model-Driven Massive Token Communications for Semantic Multiple Access

ToDMA：用于语义多址接入的大模型驱动海量令牌通信

Li Qiao, Mahdi Boloursaz Mashhadi, Zhen Gao, Robert Schober, Deniz Gündüz

机构 * The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； University of Surrey（Surrey大学） ； Friedrich-Alexander-University Erlangen-Nurnberg（埃森哲-亚琛工业大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出ToDMA，一种大模型驱动的语义多址接入方案，将无源随机接入与上下文感知令牌处理结合，用于海量令牌通信。通过压缩感知检测令牌及估计信道状态信息，利用上下文模型恢复冲突令牌，能降低接入延迟并保持令牌恢复与语义重建质量。

Comments Submitted to IEEE journals

TUNI: Unifying Pre-training and Fine-tuning with Modality-Aware Mutual Learning and Rectification for RGB-T Semantic Segmentation

TUNI：基于模态感知互学习和矫正的RGB-T语义分割统一预训练与微调框架

Xiaodong Guo, Xianda Guo, Tong Liu, Zhihong Deng, Yanlun Peng, Xiang Li, Wujie Zhou

机构 * School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； School of Computer Science, Wuhan University（计算机学院，武汉大学） ； Great Wall Motor（长城汽车） ； School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出TUNI框架，通过模态感知互学习与矫正统一预训练和微调，解决RGB-T语义分割中多模态特征提取融合、模态依赖不平衡及热信息利用不足问题，在五个数据集上优于15种SOTA模型。

Comments This paper is an extended version of the authors' work previously presented at the ICRA conference. To appear in IEEE Transactions on Circuits and Systems for Video Technology. DOl: 10.1109/TCSVT.2026.3701706

IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal

IB-HFN: 信息瓶颈驱动的SAR-光学融合网络用于高保真云去除

Haojun Guo, Fan Feng, Ziquan Wang, Yongsheng Zhang, Ying Yu

机构 * Institute of Geospatial Information, Information Engineering University（测绘信息研究院，信息工程大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出IB-HFN网络，通过双流骨干、空间信息瓶颈融合模块和联合优化策略，抑制SAR散斑噪声并保留光学细节，实现高保真云去除。

SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

SlideAgent：用于多页视觉文档理解的分层代理框架

Yiqiao Jin, Rachneet Kaur, Zhen Zeng, Sumitra Ganesh, Srijan Kumar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； J.P. Morgan AI Research（摩根大通AI研究） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL

AI总结 提出SlideAgent，一种用于多模态多页文档（如幻灯片）理解的分层代理框架，通过全局、页面和元素三级推理构建结构化表示，在专有和开源模型上分别提升7.9%和9.8%的准确率。

Comments ACL 2026 Main Conference. https://slideagent.github.io/

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs

GrAInS：基于梯度的大语言模型和视觉语言模型推理时引导方法

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对推理时引导LLMs和VLMs的方法局限，提出GrAInS。该方法基于梯度归因识别关键令牌构建引导向量，推理时调整激活。实验显示其性能优于微调及现有基线，能在保持模型流畅性和通用能力的同时提升多项指标。

Comments Accepted to ACL 2026

Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe

Uni-OPD：基于双视角方案的统一策略内蒸馏框架

Wenjin Hou, Shangpin Peng, Weinong Wang, Zheng Ruan, Yue Zhang, Zhenglin Zhou, Mingqi Gao, Yifei Chen, Kaiqi Wang, Hongming Yang, Chengquan Zhang, Zhuotao Tian, Han Hu, Yi Yang, Fei Wu, Hehe Fan

机构 * Zhejiang University（浙江大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； LLM Department, Tencent（腾讯大模型部门） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)

AI总结 针对策略内蒸馏存在的信息状态探索不足、教师监督不可靠问题，提出跨大语言与多模态大模型的统一框架Uni-OPD，经多域实验验证其通用性与有效性。

Falsehood and Impossibility Are Different Directions in an AI's Representation of Language

AI对语言的表征中，虚假与不可能是不同的方向

Yoon Pyo Lee

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过对Gemma 3 4B IT模型的激活分析，发现其内部能区分语言的不可能性与虚假，但将偶然虚假混同于矛盾，且不可能性表征与真值、语义异常表征方向不同。

PEER: Unified Process-Outcome Reinforcement Learning for Structured Empathetic Reasoning

PEER：统一的过程-结果强化学习用于结构化共情推理

Yunxiao Wang, Meng Liu, Sicheng Zhao, Lizi Liao, Liqiang Nie

机构 * Shandong University（山东大学） ； Shandong Jianzhu University（山东建筑大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PEER，通过结构化共情推理框架提升情感支持对话的 empathy、策略一致性及人性表现，采用GRPO与UnifiReward模型，结合数据增强减少重复。

UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation

UP-Fuse：基于不确定性引导的激光雷达-摄像头融合用于3D全景分割

Rohit Mohan, Florian Drews, Yakov Miron, Daniele Cattaneo, Abhinav Valada

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 UP-Fuse通过不确定性引导的融合框架，提升激光雷达与摄像头在3D全景分割中的鲁棒性和准确性。

Like a Baby: Visually Situated Neural Language Acquisition

像婴儿一样：视觉情境下的神经语言习得

Alexander G. Ororbia, Ankur Mali, Mary Alexandria Kelly, David Reitter

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉情境对神经语言模型下一词预测的好处，引入多模态神经架构，微调预训练BERT嵌入，发现多模态环境下语言模型表现更好，符合情境认知理论，不同语言和模型中视觉情境训练优势明显。

Comments Final submission (camera-ready), accepted to ACL 2019

AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning

AnchorPrune：用于视觉令牌剪枝的相关性锚定上下文扩展

Kyuan Oh, Bumsoo Kim

机构 * Chung-Ang University（崇实大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对大型视觉语言模型推理成本高、视觉令牌冗余问题，提出无需训练的AnchorPrune框架，通过构建相关性锚点并扩展，自适应确定锚点大小，分配预算恢复上下文，提升了模型的准确率与效率，尤其在严重压缩下效果显著。

Comments ECCV 2026

Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction

Li-ViP3D++：基于查询的可变形相机-激光雷达融合用于端到端感知与轨迹预测

Matej Halinkovic, Nina Masarykova, Alexey Vinel, Marek Galinski

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Slovak University of Technology（斯洛伐克技术大学） ； Halmstad University（哈马比大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Li-ViP3D++通过引入查询门控可变形融合技术，实现了端到端感知与轨迹预测，提升了自动驾驶系统的鲁棒性和效率。

Comments Published in IEEE Access. The version of record is available at DOI: 10.1109/ACCESS.2026.3709080

Journal ref IEEE Access, vol. 14, pp. 102999-103012, 2026