多模态大模型

SpatialFly: Implicit 3D Prior-Guided Visual Reparameterization for Continuous UAV Vision-and-Language Navigation

SpatialFly：基于几何的表示对齐用于城市环境中无人机视觉与语言导航

Wen Jiang, Kangyao Huang, Li Wang, Wang Xu, Wei Fan, Jinyuan Liu, Shaoyu Liu, Hanfang Liang, Hongwei Duan, Bin Xu, Xiangyang Ji, Huaping Liu

机构 * School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Tsinghua University（清华大学） ； Department of Automation, Tsinghua University（清华大学自动化系） ； School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院） ； Jianghan University（江汉大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SpatialFly框架，通过几何引导的2D表示对齐机制，解决无人机在复杂3D环境中的视觉与语言导航问题，实验表明其在路径对齐和运动稳定性方面优于现有方法。

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything：利用噪声异构源扩展度量深度预训练

Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

机构 * Li Auto Inc（李自动公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。

Comments Accepted to ECCV 2026. Project Page: https://metric-anything.github.io/metric-anything-io/

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

基于置信度蒸馏的门控关系对齐用于高效视觉语言模型

Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

机构 * Department of Information Technology（信息科技系） ； Electrical Engineering, ETH Zurich, Zurich, Switzerland（电气工程，苏黎世联邦理工学院，苏黎世，瑞士） ； Qualcomm AI Research, Amsterdam, the Netherlands（高通人工智能研究，阿姆斯特丹，荷兰） ； Department of Electrical, Electronic and Information Engineering（电气、电子与信息工程系） ； University of Bologna, Bologna, Italy（博洛尼亚大学，博洛尼亚，意大利） ； School of Electrical and Electronic Engineering（电气与电子工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出GRACE框架，通过信息瓶颈原理统一知识蒸馏与量化感知训练，使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器，在INT4量化下实现性能超越FP16基线并接近教师模型，同时显著降低内存和提升吞吐量。

Comments Accepted to the International Conference on Machine Learning (ICML 2026)

Attention at Rest Stays at Rest: Breaking Visual Inertia for Cognitive Hallucination Mitigation

静止的注意力保持静止：打破视觉惯性以缓解认知幻觉

Boyang Gong, Yu Zheng, Fanye Kong, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出惯性感知视觉激发（IVE）方法，通过建模视觉注意力的动态响应性，打破多模态大模型中的视觉惯性，从而缓解需要对象间关系推理的认知幻觉。

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

Remask, Don't Replace: Token-to-Mask Refinement in Diffusion Language Models

重新标记，而非替换：扩散大语言模型中的令牌到标记细化

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出Token-to-Mask（T2M）方法，通过重新标记可疑令牌而非覆盖来提升扩散大语言模型的准确性，在AIME 2025和CMATH上分别提升13.33和8.56个百分点。

Virtual Sensing to Enable Real-Time Monitoring of Inaccessible Locations & Unmeasurable Parameters

虚拟传感实现不可达位置与不可测参数的实时监测

Kazuma Kobayashi, Farid Ahmed, Jaewan Park, Subhankar Sarkar, Seid Koric, Souvik Chakraborty, Syed Bahauddin Alam

机构 * Plasma & Radiological Engineering Department, Grainger College of Engineering, Nuclear, University of Illinois Urbana-Champaign（等离子体与辐射工程系，格拉inger工程学院，核能，伊利诺伊大学厄巴纳-香槟分校） ； Mechanical Science and Engineering Department, Grainger College of Engineering, University of Illinois Urbana-Champaign（机械科学与工程系，格拉inger工程学院，伊利诺伊大学厄巴纳-香槟分校） ； National Center for Supercomputing Applications, Urbana, IL, USA（国家超级计算应用中心，伊利诺伊州厄巴纳，美国） ； Department of Applied Mechanics, Indian Institute of Technology Delhi, New Delhi, India（应用力学系，印度理工学院德里，新德里，印度） ； Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（Yardi人工智能学院，印度理工学院德里） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 针对能量系统中物理传感器无法部署的实时监测问题，提出基于神经算子的虚拟传感框架MIMONet，将稀疏边界测量映射到内部场，在多种热流体系统中实现亚毫秒级高精度推理。

Comments New analysis and results are added

GSBF: Gaussian Splatting for Environment-Aware Beamforming

GSBF：面向环境感知波束成形的高斯溅射

Yijie Bian, Wei Guo, Zixin Wang, Shenghui Song, Jun Zhang, Khaled B. Letaief

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究针对传统波束成形依赖瞬时CSI导致开销高的问题，提出GSBF方法，通过3D高斯表示刻画环境，利用Bi-SG核与电磁光栅化合成波束，仿真显示其性能优于EBA且延迟更低。

Seeing is Coding: On the Effectiveness of Vision Language Models in Code Understanding

CodeOCR: 关于视觉语言模型在代码理解中的有效性

Yuling Shi, Chaoxiang Xie, Zhensu Sun, Yeheng Chen, Chenxu Zhang, Longfei Yun, Chengcheng Wan, Hongyu Zhang, David Lo, Xiaodong Gu

机构 * Shanghai Jiao Tong University China ； Hohai University China ； Singapore Management University Singapore ； Imperial College London United Kingdom ； East China Normal University \& Shanghai Innovation Institute China ； Chongqing University China ； Shanghai Jiao Tong University ； Hohai University ； Singapore Management University ； Imperial College London ； East China Normal University \& Shanghai Innovation Institute ； Chongqing University 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文探讨多模态大语言模型在代码理解中的有效性，发现其可通过图像压缩显著提升效率，并在代码克隆检测等任务中表现出更强的抗压缩能力。

Comments ISSTA 2026 camera ready. Code and data are available at https://github.com/YerbaPage/CodeOCR

Constitutional On-Policy Safe Distillation

宪法性在策略安全蒸馏

Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Yi Liu, Xingjun Ma, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。

SALLIE: Generation-Free Hidden-State Detection of Jailbreaks and Prompt Injections Across Text and Vision

SALLIE：防范潜在语言与图像攻击

Guy Azov, Ofer Rivlin, Guy Shtar

机构 * Intuit 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 SALLIE是一种轻量级运行时检测框架，通过机制可解释性提取模型内部激活信号，有效应对文本和图像攻击，无需性能降级或架构修改。

Comments 17 pages, 5 figures, 17 tables. Preprint under review. v2: substantially revised - new title expansion, reworked method presentation, added calibration-regime analysis (shared / threshold-only / fully calibrated) and matched-protocol comparison with RCS-KCD; technical appendices A-H now included

Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models

解耦相似性用于大视觉-语言模型中的任务感知token剪枝

Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

机构 * Wuhan University（武汉大学） ； University of Exeter（埃克塞特大学） ； Chinese Academy of Sciences（中国科学院） ； Xi'an University of Electronic Science and Technology（西安电子科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DeSAP方法，通过解耦相似性实现精准任务感知token剪枝，提升大视觉-语言模型的效率与性能，实验表明在不同基准和架构上均优于现有方法。

Comments Accepted at ACM Multimedia 2026. Camera-ready version

Afford-X: Generalizable and Slim Affordance Reasoning for Task-oriented Manipulation

Afford-X：面向任务型操作的通用且轻量化的可供性推理模型

Xiaomeng Zhu, Yuyang Li, Leiyao Cui, Pengfei Li, Huan-ang Gao, Yixin Zhu, Hao Zhao

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； Institute for Al Industry Research, Tsinghua University（清华大学人工智能产业研究院） ； Department of Computer Science, Tsinghua University（清华大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究人员推出LVIS-Aff数据集，开发了Afford-X可供性推理模型，其性能优于现有非LLM方法和此前会议论文结果，参数紧凑、推理速度快，可部署于本地设备助力机器人任务导向型操作。

DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing

DragonCrawl：一种用于可扩展移动端到端测试的生成式意图框架

Sowjanya Puligadda, Mengdie Zhang, Ali Zamani, Dhruva Dixith Kurra, Eric Chen, Juan Marcano

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 DragonCrawl是基于GPT-4o多模态的移动端到端测试框架，通过验证用户流程阻止问题提交，缩短测试入门时间，节省大量维护工作量，实现规模化持续质量保证。

Comments 12 pages, 6 figures, 6 pages

Attention Fusion for Bridge Deck Delamination Detection

多传感器注意力网络用于混凝土桥面亚表面脱层自动检测

Alireza Moayedikia, Amirhossein Moayedikia

机构 * Department of Business Technology and Entrepreneurship, Swinburne University of Technology（斯winburne技术大学商业技术与创业系） ； Swinburne University of Technology（斯winburne技术大学） ； University of Sydney（悉尼大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出多传感器注意力网络用于混凝土桥面亚表面脱层检测，通过整合GPR和IRT数据，提升自动化检测性能。

Deformable Medical Image Registration with KAN-based Implicit Neural Representations

基于KAN的隐式神经表示的可变形医学图像配准

Nikita Drozdov, Marat Zinovev, Dmitry Sorokin

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出基于KAN的INR框架KAN-IDIR与RandKAN-IDIR，用于无需数据集级训练的逐对优化可变形医学图像配准，在多模态医学图像上实现高准确性、低开销与稳定性，适用于临床研究。

Comments Accepted at Machine Learning and Knowledge Extraction

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院） ； Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系） ； McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

OmniScope：用于全模态大语言模型的模态解耦令牌压缩

Jinsen Su, Yongdong Luo, Yuexiao Ma, Yibo Hu, Meiguang Jin, Xiawu Zheng

机构 * Media Analytics and Computing Lab, Xiamen University（厦门大学媒体分析与计算实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对全模态大语言模型令牌压缩问题，提出无需训练的OmniScope框架，以查询为语义锚点分别估计音频和视频相关性，分配特定模态预算并采用相应策略处理，在多基准和模型规模上效果佳，实现加速和内存减少，提出跨模态推理设计原则。

Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

图像推理中的测试时感知扩展：解决图像推理中的 grounding 困境

Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

机构 * Tsinghua University（清华大学） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 TTSP 框架，通过测试时扩展感知解决图像推理中的 grounding 困境，通过生成多个感知轨迹并过滤不可靠轨迹来提升细粒度视觉推理能力。

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG：面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University, China（清华大学） ； Kunming University of Science and Technology, China（昆明理工大学） ； NiuTrans Research, Shenyang, China（沈阳NiuTrans研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出EfficientGraph-RAG框架，通过显式定义检索状态（TAM、MARS、SMP三个机制）实现结构化状态管理，在多个基准上提升答案质量并降低大模型token消耗。

When Does Visual Token Pruning Improve Calibration? The Role of Evidence Coverage in MLLMs

视觉标记修剪能否提高校准？关于多模态大语言模型中置信度的实证研究

Kaizhen Tan, Yang Feng, Heqing Du, Hanzhe Hong, Siru Tao, Xin Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文研究视觉标记修剪对模型校准的影响，通过POPE和ScienceQA-IMG数据集评估不同修剪策略下的ECE、Brier分数和AURC，发现修剪能提升校准而非仅牺牲效率，且基于显著性的修剪方法效果较差。

PRIMA: Pre-Training with Risk-Integrated Image--Metadata Alignment for Medical Diagnosis with LLM-Based Feature Aggregation

PRIMA：通过大语言模型进行风险集成图像-元数据对齐的医学诊断预训练

Yiqing Wang, Chunming He, Ziyun Yang, Maria Woodward, Ming-Chen Lu, Mercy Pawar, Leslie Niziol, Sina Farsiu

机构 * Department of Biomedical Engineering, Duke University（杜克大学生物医学工程系） ； Department of Ophthalmology and Visual Sciences, University of Michigan（密歇根大学眼科与视觉科学系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出PRIMA框架，通过检索增强生成策展风险-疾病关联专家语料库优化文本编码器，用双编码器预训练策略及四个互补损失函数弥合模态差距，融合特征用于疾病分类，性能优于其他方法。

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLN：通过分层记忆系统增强开源零样本视觉-语言导航的可靠性

Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。

Comments 9 pages, 7 figures

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

超越多样性：将视觉令牌剪枝视为子空间重建以实现高效视觉语言模型

Jaeyeon Lee, Shunjie Wen, Dong-Wan Choi

机构 * Inha University（延世大学） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。

Constrained latent state modeling: A unifying perspective on representation learning under competing constraints

受限潜在状态建模：在竞争约束下表示学习的统一视角

Gwenolé Quellec

机构 * LaTIM UMR 1101 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出受限潜在状态建模（CLSM），统一了表示学习中在竞争约束下的核心原则与方法，揭示了潜在状态的内在耦合关系与根本权衡。

Comments Companion repository containing the reference implementation, reproducible experiments, documentation, and model cards: https://github.com/gwenole-quellec/clsm

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

变分推测解码：从令牌似然到序列接受的草稿训练再思考

Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract_cn)；分类 cs.AI

AI总结 提出变分推测解码（VSD），将草稿训练视为对潜在提议（草稿路径）的变分推断，通过最大化目标模型接受的边际概率来优化，结合路径级效用和期望最大化过程，显著提升解码效率。

SubQuad: Near-Quadratic-Free Structure Inference with Distribution-Balanced Objectives in Adaptive Receptor framework

SubQuad：在自适应受体框架中利用分布平衡目标的近二次自由结构推断

Rong Fu, Zijian Zhang, Kun Liu, Jiekai Wu, Xianda Li, Simon Fong

机构 * University of Macau（澳门大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Southampton（南安普顿大学） ； Juntendo University（顺天堂大学） ； University of Bologna（博洛尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 SubQuad通过结合抗原感知的近子二次检索、GPU加速的亲和力核、学习多模态融合和公平性约束聚类，解决大规模群体适应性免疫谱分析中的二次成本和数据不平衡问题，提升效率与公平性。

Comments 27 pages, 9 figures. In the previous version, Juntendo University was erroneously listed as the affiliation; we must clarify that this paper has absolutely no relation to Juntendo University. Therefore, we have replaced this affiliation in the new version

SemICP: Semantic Non-Rigid Point Cloud Registration with Elastic Energy Regularization

SemICP：基于弹性能量正则化的语义非刚性点云配准

Wanwen Chen, Qi Zeng, Carson Studders, Zongze Li, Jamie J. Y. Kwon, Tara Kemper, Emily H. T. Pang, Eitan Prisman, Septimiu E. Salcudean

机构 * Department of Electrical and Computer Engineering, University of British Columbia（电气与计算机工程系，不列颠哥伦比亚大学） ； Faculty of Medicine, University of British Columbia（医学院，不列颠哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对计算机辅助干预中点云配准问题，提出SemICP框架，结合语义信息点匹配与变形正则化，经多数据集测试，相比其他方法降低多种距离误差，结合AI分割后为多模态配准提供有效管道。

Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation

酿造更强的特征：多光谱地球观测的双教师蒸馏

Filip Wolf, Blaž Rolih, Luka Čehovin Zajc

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅纳大学计算机与信息科学学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出双教师对比蒸馏框架，用于多光谱地球观测，通过结合多光谱和光学教师，实现跨模态表示学习，提升多光谱和光学数据的性能。

Comments Accepted to CVPR 2026 as Highlight

Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings

超越并行跟踪：交互式多特征融合驱动非侵入性脑记录的语义重建

Boda Xiao, Xiran Xu, Songyi Li, Yujie Yan, Xihong Wu, Heping Cheng, Jing Chen

机构 * Center for BioMed-X Research, Academy for Advanced Interdisciplinary Studies,Peking University（北京大学生物医学前沿创新中心、前沿交叉学科研究院） ； Speech and Hearing Research Center, School of Intelligence Science and Technology,Peking University（北京大学智能科学与技术学院言语听觉研究中心） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） ； National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University（国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究所、北京大学生命科学联合中心、未来技术学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CL

AI总结 研究针对非侵入性脑记录语义重建中表征不匹配问题，引入多特征融合框架，通过交互式门控机制结合静态与动态表征，经实验对比线性连接和非线性交叉注意力等方法，证明交叉注意力融合性能最佳，提供了新的脑到文本解码方法。