多模态大模型

TransTac: Visuo-Tactile Modality Transition via Ultraviolet-Encoded Transparent Elastomers

TransTac: 通过紫外编码透明弹性体实现视觉-触觉模态转换

Lingyue Yang, Bin Fang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 提出一种透明紫外编码双目视觉触觉传感器TransTac，结合视觉观察与标记触觉重建，通过先验引导的Delaunay立体匹配算法实现鲁棒稀疏三角化，在零样本触觉图像识别上达到83.3%准确率，并显著增强跨模态对齐。

Comments Accepted at IEEE International Conference on Robotics and Automation (ICRA) 2026. 8 pages, 7 figures

ImageAuditor: Membership Inference Attack against Image-based Retrieval-Augmented Generation

ImageAuditor: 针对基于图像的检索增强生成系统的成员推理攻击

Jinghuai Zhang, Pengyue Yu, Zhexiao Lin, Kunlin Cai, Fnu Suya, Yuan Tian

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 提出首个针对基于图像的检索增强生成（IRAG）的成员推理攻击方法ImageAuditor，通过奖励引导策略优化解决跨模态检索和判别信号提取两大挑战，在仅需四次查询时AUROC超过80%。

Tokenizing Loops of Antibodies

抗体环的标记化

Ada Fang, Robert G. Alberstein, Simon Kelow, Frédéric A. Dreyer

机构 * Harvard University（哈佛大学） ； Prescient Design, Genentech（Prescient Design，基因泰克） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 提出Igloo多模态抗体环标记器，通过对比学习编码主链二面角和序列，高效检索相似环结构，提升H3环识别性能5.9%，并集成到蛋白质语言模型中改善抗体设计。

Comments 21 pages, 7 figures, 10 tables, code available at https://github.com/prescient-design/igloo

DECKER: Domain-invariant Embedding for Cross-Keyboard Extraction and Recognition

DECKER: 跨键盘提取与识别的域不变嵌入

Bikrant Bikram Pratap Maurya, Nitin Choudhury, Daksh Agarwal, Arun Balaji Buduru

机构 * IIIT-Delhi（印度德里理工学院） ； Guru Gobind Singh Indraprastha University（戈克辛格印度教大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对键盘声学侧信道攻击的跨键盘、跨用户和噪声环境泛化问题，提出包含四阶段域不变击键推理框架DECKER，并构建了多维度数据集HEAR，实验表明该方法在跨键盘和跨用户场景下显著提升击键识别性能。

Comments Accepted to AsiaCCS'26

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

面向移动操作的动态弹性时空语义记忆与混合定位

Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

机构 * School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程及自动化学院） ； Department of Systems Engineering, City University of Hong Kong（香港城市大学系统工程系） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 提出DREAM框架，通过在线构建时空语义体素记忆、冗余感知记忆剪枝和混合定位，实现无预建地图的动态室内移动操作，将长时任务成功率提升至55%-70%。

Comments Code, CAD model, and real-robot demonstrations are available at https://bjhyzj.github.io/dream-web

Polaris: Coupled Orbital Polar Embeddings for Hierarchical Concept Learning

Polaris: 用于层次概念学习的耦合轨道极坐标嵌入

Sahil Mishra, Srinitish Srinivasan, Sourish Dasgupta, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi, New Delhi, India（印度理工学院德里分校，新德里，印度） ； Indian Institute of Technology Delhi, Abu Dhabi, UAE（印度理工学院德里分校，阿布扎比，阿联酋） ； KDM Lab, Dhirubhai Ambani University Gandhinagar, Gujarat, India（KDM实验室，迪鲁布希阿姆巴尼大学冈丁加尔，古吉拉特邦，印度） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 提出Polaris极坐标超球面嵌入框架，通过角度和半径分离语义与层次，结合局部约束、全局正则化和不确定性感知非对称目标，在多种层次结构扩展任务中显著提升检索性能。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

A Triple-Modal Contrastive Learning Framework with Sequence, Graph, and 3D Features for Drug-Target Interaction Prediction

一种融合序列、图和3D特征的三模态对比学习框架用于药物-靶标相互作用预测

Le Xu, Xi Zhang, Dan Luo, Ting Wang, Xuan Lin

机构 * School of Computer Science, Xiangtan University, Xiangtan 411105, China（湘潭大学计算机科学学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 提出TriMod-DTI框架，通过融合药物和蛋白质的1D序列、2D图和3D结构，并采用三模态对比学习策略对齐潜在空间表示，从而提升药物-靶标相互作用预测性能。

Comments 12 pages, 5 figures, ISBRA 2026

From Head to Tail: Asymmetric Knowledge Transfer in Long-tail Recommendation with Generative Semantic IDs

从头到尾：利用生成式语义ID进行长尾推荐中的非对称知识迁移

Chenyi Yan, Ruocong Tang, Xing Fang, Yang Huang, He Guo, Jing Wang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对长尾推荐中的数据不平衡问题，提出AKT-Rec框架，利用多模态大模型生成语义ID，通过聚类引导的自适应嵌入和层次化特征聚合实现从头到尾的非对称知识迁移，在工业数据集和在线A/B测试中显著提升性能。

Comments 5 pages, 1 figure

Hierarchical Contrastive Learning for Multi-Domain Protein-Ligand Binding

多领域蛋白质-配体结合的分层对比学习

Shuo Zhang, Rongqi Hong, Huifeng Zhang, Jian K. Liu

机构 * University of Birmingham, UK（英国伯明翰大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本研究提出HCLBind框架，通过分层对比学习方法，解决多领域蛋白质-配体结合亲和力预测问题，核心方法是分离几何表示学习与亲和力回归，并采用新颖的分层诱饵策略，结合领域门控图注意力网络和跨模态注意力，提升领域界面优先级，实验表明HCLBind能有效学习判别界面特征并提供鲁棒的不确定性估计。

Comments Accepted by ISBRA2026

MSAlign: Aligning Molecule and Mass Spectra Foundation Models for Metabolite Identification

MSAlign: 用于代谢物鉴定的分子和质谱基础模型对齐方法

Paul Krzakala, Gabriel Melo, Camille Lançon, Charlotte Laclau, Rémi Flamary, Etienne Thévenot, Florence d'Alché-Buc

机构 * LTCI, Télécom Paris & CMAP, Ecole Polytechnique, Institut Polytechnique de Paris（LTCI，巴黎电信学院及巴黎高等技术学院的联合机构，CMAP，巴黎高等理工学院，巴黎高等技术学院） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等技术学院） ； CEA, INRAE, MetaboHUB, Université Paris-Saclay（CEA，国家核能研究中心，法国农业研究机构，代谢组学枢纽，巴黎萨克雷大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本研究提出MSAlign方法，通过多模态对齐技术对齐分子和质谱基础模型，以提高代谢物鉴定的准确性，并解决了数据分割策略中的分布偏移问题。

A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability

一种面向运行时变异的流水线并行训练的准备驱动运行时

Ruitao Liu, Xinyang Tian, Shuo Chen, Tingrui Zhang, Guang Yang, Alan Zhao, Wei Xu

机构 * Tsinghua University（清华大学） ； Scitix AI 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种准备驱动的流水线运行时，以解决流水线并行训练中由于运行时变异导致的阶段对齐问题和空闲泡现象，通过非绑定提示顺序来优化当前就绪工作的排序，从而提高资源利用率。

Comments 29 pages, including appendices

LSM-VEC: A Large-Scale Disk-Based System for Dynamic Vector Search

LSM-VEC：一种大规模磁盘基系统用于动态向量搜索

Shurui Zhong, Dingheng Mo, Siqiang Luo

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 LSM-VEC结合分层图索引与LSM树存储，实现高效的动态向量搜索，支持出地更新，降低I/O开销，实验显示其在大规模数据集上优于现有磁盘基ANN系统。

Comments 12 pages, 8 figures

MetaGEM: Bottom-Up Reconstruction of Genome-Scale Metabolic Networks via Deep Enzyme-Metabolite Anchoring

MetaGEM：通过深度酶-代谢物锚定进行底-up式基因组尺度代谢网络重建

Weiyu Xiao, Jiangbin Zheng, Stan Z. Li

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 MetaGEM通过酶作为物理锚点，将系统级网络推断转化为酶-代谢物相互作用预测，实现了基因组尺度代谢网络的高效重建，并在多个菌种中生成了功能代谢模型。

Comments 21 pages, 5 figures, 3 tables

Finite-size scaling of hetero-associative retrieval in continuous-signal-driven Ising spin systems

异关联记忆在连续信号驱动的伊辛自旋系统中的有限尺寸缩放

Andrea Ladiana

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出多层伊辛框架，结合几何保持的连续到伊辛编码器与Kanter-Sompolinsky伪逆记忆耦合，实现跨模态回忆，并验证有限尺寸修正对存储容量的影响。

JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning

JEDI: 联合嵌入扩散世界模型用于在线基于模型的强化学习

Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 JEDI通过联合嵌入扩散方法，构建了首个端到端的潜在扩散世界模型，提升了在线基于模型的强化学习效率与性能，减少了显存占用并加快了训练速度。

Physics-informed neural particle flow for the Bayesian update step

具有物理信息的神经粒子流用于贝叶斯更新步骤

Domonkos Csuzdi, Tamás Bécsi, Olivér Törő

机构 * Department of Control for Transportation and Vehicle Systems, Faculty of Transportation Engineering and Vehicle Engineering, Budapest University of Technology and Economics（交通运输与车辆系统控制系，交通运输工程与车辆工程学院，布达佩斯技术与经济大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种物理信息神经粒子流框架，通过将先验到后验密度函数的log-homotopy轨迹与密度演变的连续性方程结合，推导出主PDE，用于无监督训练，提高高维非线性估计的计算效率和鲁棒性。

Agents Should Replace Narrow Predictive AI as the Orchestrator in 6G AI-RAN

智能体应取代窄预测AI作为6G AI-RAN的协调者

Pranshav Gajjar, Vijay K Shah

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文主张为实现Level 5自主6G网络，AI-RAN应从碎片化的窄预测模型转向多模态大语言模型作为核心推理智能体，通过提升LLM作为认知操作系统，动态翻译人类意图并自主诊断网络异常。

Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

对比图像-元数据预训练用于材料透射电子显微镜

Georgia Channing, Debora Keller, Marta D. Rossell, Philip Torr, Stig Helveg, Henrik Eliasson

机构 * Hugging Face ； University of Oxford（牛津大学） ； Empa Dübendorf（Empa杜宾根） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出CIMP模型，通过对比图像与元数据实现对低剂量图像的去噪，实验表明其在去噪效果上优于现有方法。

JARVIS: An Evidence-Grounded Retrieval System for Interpretable Deceptive Reviews Adjudication

JARVIS：一种基于证据的可解释欺骗性评论裁决检索系统

Nan Lu, Leyang Li, Yurong Hu, Rui Lin, Shaoyi Xu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出JARVIS框架，通过混合密集-稀疏多模态检索和证据图结构，提升可解释性欺骗性评论裁决的精度和召回率，实验显示其在精度和召回率上均有显著提升。

Unified Data Discovery across Query Modalities and User Intents

跨查询模态和用户意图的统一数据发现

Tingting Wang, Shixun Huang, Zhifeng Bao, J. Shane Culpepper, Shazia Sadiq, Volkan Dedeoglu, Reza Arablouei

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出UniDisc框架，支持自然语言和表格查询，统一处理多样用户意图，通过上下文信号学习鲁棒表征，实现在不同数据发现场景中的统一相关性评估。

Personalized Multi-Interest Modeling for Cross-Domain Recommendation to Cold-Start Users

面向冷启动用户的跨域推荐的个性化多兴趣建模

Xiaodong Li, Jiawei Sheng, Jiangxia Cao, Xinghua Zhang, Wenyuan Zhang, Yong Sun, Shirui Pan, Zhihong Tian, Tingwen Liu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出NF-NPCDR框架，通过个性化偏好编码器和共同偏好编码器捕捉用户多兴趣偏好，结合随机自适应解码器提升冷启动用户推荐性能。

Adaptable phase retrieval for coherent transition radiation spectroscopy based on differentiable physics information

基于可微物理信息的适应性相位恢复用于相干跃迁辐射光谱学

Ritz Ann Aguilar, Maxwell LaBerge, Andreas Doepp, Alexander Debus, Zewu Bi, Michael Bussmann, Arie Irman, Ulrich Schramm, Jeffrey Kelling

机构 * Institute of Radiation Physics, Helmholtz-Zentrum Dresden-Rossendorf（辐射物理研究所，德累斯顿-罗斯托克研究中心） ； Centre for Advanced Laser Applications, Ludwig-Maximilians-Universität München（先进激光应用中心，慕尼黑路德维希-马克西米利安大学） ； Center for Advanced Systems Understanding, Görlitz（先进系统理解中心，戈尔茨） ； Technische Universität Dresden（德累斯顿技术大学） ； Technische Universität Chemnitz（切恩茨技术大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于可微物理信息的相位恢复方法，用于解决相干跃迁辐射光谱学中束流剖面恢复问题，通过梯度下降优化傅里叶相位并结合物理先验约束，提升重建精度和鲁棒性。

Comments 17 pages, 8 figures

AI-Augmented Bibliometric Framework: A Paradigm Shift with Agentic AI for Dynamic, Snippet-Based Research Analysis

增强型文献计量框架：基于代理AI的范式转变用于动态、片段式研究分析

Adela Bara, Simona-Vasilica Oprea

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一个生成式多代理AI框架，通过自然语言指令实现动态代码基文献计量分析，无需专业编程技能，支持多模态全文检索、代理探索和动态指标创建，突破传统工具的限制。

IoDResearch: Deep Research on Private Heterogeneous Data via the Internet of Data

IoDResearch：通过互联网的数据进行私有异构数据的深度研究

Zhuofan Shi, Zijie Guo, Xinjian Ma, Gang Huang, Yun Ma, Xiang Jing

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出IoDResearch框架，通过将异构资源转化为FAIR合规的数字对象，提升私有数据的检索效率和可重用性，实验表明其在检索、问答和报告生成任务中优于现有基线方法。

Comments Accepted to ICASSP 2026

Structure-guided molecular design with contrastive 3D protein-ligand learning

基于结构的分子设计与对比学习3D蛋白质-配体学习

Carles Navarro, Philipp Tholke, Gianni de Fabritiis

机构 * Acellera Labs（Acellera实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出结合对比学习3D结构编码与自回归分子生成的统一框架，用于解决结构导向分子设计中的挑战，生成具有优良结合性质的候选分子。

ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis

ATRIE：面向基于人物驱动语音合成的鲁棒推理与情感自适应调优

Aoduo Li, Haoran Lv, Shengmin Li, Sihao Qin, Hongjian Xu

机构 * Guangdong University of Technology（广东工业大学） ； South China University of Technology（华南理工大学） ； Shenzhen Polytechnic University（深圳职业技术大学） ； University of Macau（澳门大学） ； Huizhou University（惠州市大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出ATRIE框架，通过分离静音音色和动态语调生成，实现人物特征的稳定保留与情感表达，实验表明其在生成和跨模态检索上达到SOTA水平。

Comments 10 pages, 6 figures. Accepted to ACM ICMR 2026

UniCon: Unified Framework for Efficient Contrastive Alignment via Kernels

UniCon：通过核方法实现高效的对比对齐统一框架

Hangke Sui, Yuqing Wang, Minh N Do

机构 * Department of Electrical & Computer Engineering, The Grainger College of Engineering, UIUC（电气与计算机工程系，格拉inger工程学院，伊利诺伊大学香槟分校） ； Siebel School of Computing and Data Science, The Grainger College of Engineering, UIUC（计算与数据科学学院，格拉inger工程学院，伊利诺伊大学香槟分校） ； Coordinated Science Laboratory, University of Illinois Urbana-Champaign (UIUC)（协调科学实验室，伊利诺伊大学香槟分校） ； VinUni-Illinois Smart Health Center（VinUni-伊利诺伊智能健康中心） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 UniCon通过引入对比相似度权重矩阵S(γ)，提供了一种统一的对比对齐框架，实现了闭式全局解，替代了 minibatch反向传播，提升了效率并保持了通用性和性能。

Comments 33 pages, 8 figures, 8 tables. Accepted by The Fourteenth International Conference on Learning Representations (ICLR) 2026

A Sketch+Text Composed Image Retrieval Dataset for Thangka

用于唐卡的草图+文本组合图像检索数据集

Jinyu Xu, Yi Sun, Jiangling Zhang, Qing Xie, Daomin Ji, Zhifeng Bao, Jiachen Li, Yanchun Ma, Yongjian Liu

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出CIRThan数据集，包含2287张高质量唐卡图像，每张图像配有人工绘制的草图和三级语义描述，支持联合表达结构意图和多级语义的组合查询，用于推动文化遗址和知识特定视觉领域的草图+文本组合图像检索研究。

Comments 9 pages

Robust parameter inference for Taiji via time-frequency contrastive learning and normalizing flows

为Taiji探测器开发鲁棒参数推断方法：通过时频对比学习和归一化流

Tian-Yang Sun, Bo Liang, Ji-Yu Song, Song-Tao Liu, Shang-Jie Jin, He Wang, Ming-Hui Du, Jing-Fei Zhang, Xin Zhang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种结合时频多模态融合编码器和对比学习的鲁棒参数推断框架，用于Taiji探测器中的大质量黑洞双星参数推断，通过生成高保真合成瞬态数据提升训练效率，验证了深度学习在空间引力波观测中的有效性。

Comments 15 pages, 8 figures

Concrete Jungle: Towards Concreteness Paved Contrastive Negative Mining for Compositional Understanding

具体丛林：迈向由具体性铺就的对比负样本挖掘以实现组合理解

Eun Woo Im, Dhruv Madhwal, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出ConcretePlant，通过增强具体性术语的修改来提升对比学习信号，解决负样本生成中的梯度失衡问题，提出Cement损失函数以动态校准惩罚，实现更有效的组合理解。

Comments 10 pages