多模态大模型

Template-Fitting Meets Deep Learning: Redshift Estimation Using Physics-Guided Neural Networks

模板拟合与深度学习的结合：利用物理引导的神经网络进行红移估计

Jonas Chris Ferrao, Dickson Dias, Pranav Naik, Glory D'Cruz, Anish Naik, Siya Khandeparkar, Manisha Gokuldas Fal Dessai

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种结合模板拟合与深度学习的红移估计方法，通过物理引导的神经网络融合光谱数据与图像数据，实现高精度红移估计。

Tencent Advertising Algorithm Challenge 2025: All-Modality Generative Recommendation

腾讯广告算法挑战2025：全模态生成推荐

Junwei Pan, Wei Xue, Chao Zhou, Xing Zhou, Lunan Fan, Yanbo Wang, Haoran Xin, Zhiyu Hu, Yaozheng Wang, Fengye Xu, Yurong Yang, Xiaotian Li, Junbang Huo, Wentao Ning, Yuliang Sun, Chengguo Yin, Jun Zhang, Shudong Huang, Lei Xiao, Huan Yu, Irwin King, Haijie Gu, Jie Jiang

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文介绍了腾讯广告算法挑战2025，通过两个全模态数据集TencentGR-1M和TencentGR-10M，推动生成推荐研究，提供大规模真实数据和评估方法，旨在促进工业级全模态生成推荐技术的发展。

Uncertainty-Aware Foundation Models for Clinical Data

具有不确定性的临床数据基础模型

Qian Zhou, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种考虑不确定性的临床数据基础模型框架，通过学习集合值表示并强制一致性，提升预测性能和数据缺失下的鲁棒性。

Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation

无需音频图像对的音频到图像鸟类物种检索：通过文本蒸馏

Ilyass Moummad, Marius Miron, Lukas Rauch, David Robinson, Alexis Joly, Olivier Pietquin, Emmanuel Chemla, Matthieu Geist

机构 * Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学） ； University of Kassel（卡塞尔大学） 纠错

专题命中 跨模态检索 ：image-text(abstract)

AI总结 本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。

Contrastive Learning Boosts Deterministic and Generative Models for Weather Data

对比学习提升确定性和生成性模型用于天气数据

Nathan Bailey

机构 * Imperial College London（帝国理工学院伦敦分校） ； The Grantham Institute for Climate Change（格兰塔姆气候变化研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文研究对比学习在天气数据压缩中的应用，提出SPARTA模型，通过对比损失和图神经网络融合提升稀疏数据的嵌入质量，提升下游任务性能。

Neural Pushforward Samplers for the Fokker-Planck Equation on Embedded Riemannian Manifolds

神经推前采样器用于嵌入黎曼流形上的福克-计划克方程

Andrew Qing He, Wei Cai

机构 * Department of Mathematics, Southern Methodist University（数学系，南方 Methodist 大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文扩展了弱对抗神经推前方法，用于嵌入黎曼流形上的福克-计划克方程，通过神经推前映射和重traction层约束流形，实现概率守恒，采用弱对抗目标训练，无需网格或坐标图，验证了方法在曲面多模态不变分布中的能力。

Comments 13 pages, 2 figures, 1 table, 1 algorithm

A Survey of Model Architectures in Information Retrieval

信息检索中模型架构的综述

Zhichao Xu, Fengran Mo, Zhiqi Huang, Crystina Zhang, Puxuan Yu, Bei Wang, Jimmy Lin, Vivek Srikumar

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文综述了信息检索中模型架构的发展，重点探讨了特征提取的骨干模型和端到端的相关性估计系统，分析了传统术语检索模型向神经网络方法的转变，以及Transformer架构和大语言模型的影响。

Comments TMLR camera ready

AgenticScholar: Agentic Data Management with Pipeline Orchestration for Scholarly Corpora

AgenticScholar: 基于管道编排的代理数据管理用于学术语料

Hai Lan, Tingting Wang, Zhifeng Bao, Guoliang Li, Daomin Ji, Ge Lee, Feng Luo, Zi Huang, Hailang Qiu, Gang Hua

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文提出AgenticScholar系统，整合结构化知识表示层、LLM中心混合查询规划层和统一执行层，实现多模态学术数据的端到端推理，有效提升学术数据管理的效率和可解释性。

Comments 54 pages, 25 figures

Beyond Semantic Similarity: Open Challenges for Embedding-Based Creative Process Analysis Across AI Design Tools

超越语义相似性：基于嵌入的AI设计工具创意过程分析的开放挑战

Seung Won Lee, Semin Jin, Kyung Hoon Hyun

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文探讨了基于嵌入的AI设计工具创意过程分析中超越语义相似性的开放挑战，提出通过上下文感知干预提升分析敏感性。

A Contrastive Fewshot RGBD Traversability Segmentation Framework for Indoor Robotic Navigation

一种用于室内外机器人导航的对比式少样本RGBD可 traversability 分割框架

Qiyuan An, Tuan Dang, Fillia Makedon

机构 * Department of Computer Science and Engineering, University of Texas at Arlington（计算机科学与工程系，德克萨斯大学阿灵顿分校） ； Uber（优步） ； Cognitive Robotics Lab, Department of Electrical Engineering and Computer Science, University of Arkansas（认知机器人实验室，电气工程与计算机科学系，阿肯色大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文提出了一种基于对比学习的少样本RGBD分割框架，利用负例原型和稀疏深度信息提升室内机器人导航的可 traversability 分割性能。

Journal ref IEEE International Conference on Robotics & Automation 2026 (ICRA)

A Dynamical Theory of Sequential Retrieval in Input-Driven Hopfield Networks

输入驱动型Hopfield网络中序列检索的动力学理论

Simone Betteti, Giacomo Baggio, Sandro Zampieri

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文提出输入驱动型Hopfield网络中序列检索的动力学理论，通过双时间尺度架构分析记忆转换条件，揭示联想记忆模型的序列性机制。

The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers

衰减步骤的力量：提升基于符号的优化器的攻击稳定性和可迁移性

Wei Tao, Yang Dai, Jincai Huang, Qing Tao

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 本文提出MDCS方法，通过衰减步长提升基于符号优化器的攻击稳定性和可迁移性，理论证明其收敛率最优。

Comments CVPR 2026

Stop Treating Collisions Equally: Qualification-Aware Semantic ID Learning for Recommendation at Industrial Scale

停止对碰撞一视同仁：面向大规模工业场景的语义ID学习方法

Zheng Hu, Yuxin Chen, Yongsen Pan, Xu Yuan, Yuting Yin, Daoyuan Wang, Boyang Xia, Zefei Luo, Hongyang Wang, Songhao Ni, Dongxu Liang, Jun Wang, Shimin Cai, Tao Zhou, Fuji Ren, Wenwu Ou

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 QuaSID通过冲突感知机制和双塔对比目标，提升大规模推荐中语义ID的碰撞处理与多样性。

SAGE: Structure Aware Graph Expansion for Retrieval of Heterogeneous Data

SAGE：面向异构数据检索的结构感知图扩展

Prasham Titiya, Rohit Khoja, Tomer Wolfson, Vivek Gupta, Dan Roth

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 SAGE通过构建结构感知的图扩展框架，在异构数据检索中提升召回率，采用混合检索与代理策略实现多模态证据链检索。

Explainable Interictal Epileptiform Discharge Detection Method Based on Scalp EEG and Retrieval-Augmented Generation

基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法

Yu Zhu, Jiayang Guo, Jun Jiang, Peipei Gu, Xin Shu, Duo Chen

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于头皮 EEG 和检索增强生成的可解释性癫痫发作前放电检测方法，通过双编码器和对比学习提升诊断性能和临床可解释性。

Patient Digital Twins for Chronic Care: Technical Hurdles, Lessons Learned, and the Road Ahead

慢性病护理中的患者数字双胞胎：技术障碍、经验教训与未来之路

Micheal P. Papazoglou, Bernd J. Krämer, Mira Raheem, Amal Elgammal

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文探讨了患者医疗数字双胞胎在慢性病护理中的技术挑战与未来发展方向，提出了基于本体驱动建模和联邦分析的实施方法，并强调了标准对齐、隐私治理和多模态推理等关键技术。

Comments Feature Article, Patient Medical Digital Twins, Under Review in IEEE SOftware

SARM: LLM-Augmented Semantic Anchor for End-to-End Live-Streaming Ranking

SARM: 基于大语言模型的语义锚点用于端到端实时直播排序

Ruochen Yang, Yueyang Liu, Zijie Zhuang, Changxin Lao, Yuhui Zhang, Jiangxia Cao, Jia Xu, Xiang Chen, Haoke Xiao, Xiangyu Wu, Xiaoyou Zhou, Xiao Lv, Shuang Yang, Tingwen Liu, Zhaojie Liu, Han Li, Kun Gai

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 SARM通过整合自然语言语义锚点到端到端排序优化中，提升实时直播内容排序的精度和效率。

SciDataCopilot: An Agentic Data Preparation Framework for AGI-driven Scientific Discovery

SciDataCopilot: 一种面向AGI驱动科学发现的代理数据准备框架

Jiyong Rao, Yicheng Qiu, Jiahui Zhang, Juntao Deng, Shangquan Sun, Fenghua Ling, Hao Chen, Nanqing Dong, Zhangyang Gao, Siqi Sun, Yuqiang Li, Dongzhan Zhou, Guangyu Wang, Lijun Wu, Conghui He, Xuhong Wang, Jing Shao, Xiang Liu, Yu Zhu, Mianxin Liu, Qihao Zheng, Yinghui Zhang, Jiamin Wu, Xiaosong Wang, Shixiang Tang, Wenlong Zhang, Bo Zhang, Wanli Ouyang, Runkai Zhao, Chunfeng Song, Lei Bai, Chi Zhang

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 SciDataCopilot通过自主代理框架实现端到端的数据准备，提升科学发现效率与一致性，推动实验驱动的科学通用智能发展。

DietGlance: Dietary Monitoring and Personalized Analysis at a Glance with Knowledge-Empowered AI Assistant

DietGlance: 通过知识增强的AI助手实现饮食监控与个性化分析

Zhihan Jiang, Running Zhao, Lin Lin, Yue Yu, Handi Chen, Xinchen Zhang, Xuhai Xu, Yifang Wang, Xiaojuan Ma, Edith C. H. Ngai

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 DietGlance利用知识增强的AI助手，通过眼镜实现日常饮食行为的自动监控和个性化分析，提供营养分析和饮食建议。

Comments 47 pages, 14 figures. Accepted by ACM Transactions on Computing for Healthcare

Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection

镜面迷雾：针对基于大语言模型的钓鱼检测的隐秘提示注入攻击

Takashi Koide, Hiroki Nakano, Daiki Chiba

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击，提出InjectDefuser防御框架以降低攻击成功率。

Understanding Self-Supervised Learning via Gaussian Mixture Models

通过高斯混合模型理解自监督学习

Parikshit Bansal, Ali Kavis, Sujay Sanghavi

机构 * UT Austin（得克萨斯大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 本文通过高斯混合模型分析自监督学习，证明对比学习能有效找到最优低维子空间，优于传统谱技术，并验证了多模态对比学习的理论结果。

UI Remix: Supporting UI Design Through Interactive Example Retrieval and Remixing

UI Remix：通过交互式示例检索与混搭支持 UI 设计

Junling Wang, Hongyi Lan, Xiaotian Su, Mustafa Doga Dogan, April Yi Wang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 UI Remix 通过交互式示例检索与混搭，帮助终端用户更高效地进行移动UI设计，提升设计可控性与信任度。

Comments Accepted at the 31st International Conference on Intelligent User Interfaces (IUI 2026)

Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models

数据最为关键：审计对比视觉语言模型中的社会偏见

Zahraa Al Sahili, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London（伦敦女王学院） ； Institut Jožef Stefan（Jožef Stefan研究所） 纠错

专题命中 跨模态检索 ：image-text(abstract)

AI总结 研究通过对比CLIP和OpenCLIP模型，发现数据来源是偏见的主要驱动因素，不同去偏策略在不同模型和数据规模下效果各异。

Comments Published at TMLR; updated version

Cognitive AI framework 2.0: advances in the simulation of human thought

认知AI框架2.0：人类思维模拟的进展

Rommel Salas-Guerra

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 认知AI框架2.0通过统一的记忆架构和受控的知识更新，提升人机交互的个性化与适应性，解决可扩展性、偏见缓解和伦理合规等挑战。

FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems

FaTRQ：面向远内存感知的ANNS系统中的分层残差量化

Tianqi Zhang, Flavio Ponzina, Tajana Rosing

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 FaTRQ通过分层残差量化和自定义加速器，提升ANNS系统的存储效率和吞吐量。

FastLane: Efficient Routed Systems for Late-Interaction Retrieval

FastLane: 高效的路由系统用于晚期交互检索

Ramnath Kumar, Prateek Jain, Cho-Jui Hsieh

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 FastLane通过动态路由机制显著降低计算复杂度，实现高效且可扩展的检索，适用于大规模应用场景。

Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning

利用大语言模型检测协作学习中的社会共享调节

Jiayi Zhang, Conrad Borchers, Clayton Cohn, Namrata Srivastava, Caitlin Snyder, Siyuan Guo, Ashwin T S, Naveeduddin Mohammed, Haley Noh, Gautam Biswas

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Vanderbilt University（范德堡大学） ； University of Detroit Mercy（底特律默克大学） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文利用大语言模型检测协作学习中的社会共享调节行为，通过嵌入方法提升学习分析的预测能力。

Comments Short research paper accepted at Learning Analytics and Knowledge (LAK '26)

COFFEE: COdesign Framework for Feature Enriched Embeddings in Ads-Ranking Systems

COFFEE：广告排序系统中特征增强嵌入的协同设计框架

Sohini Roychowdhury, Doris Wang, Qian Ge, Joy Mu, Srihari Reddy

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 COFFEE框架通过整合多样化事件源、延长用户历史和多模态嵌入，提升广告排序系统中用户-广告表示的准确性和规模效应。

Comments 4 pages, 5 figures, 1 table

Journal ref WSDM, Web and Graph Workshop, 2026

APT-CGLP: Advanced Persistent Threat Hunting via Contrastive Graph-Language Pre-Training

APT-CGLP: 通过对比图-语言预训练实现高级持续威胁狩猎

Xuebo Qiu, Mingqi Lv, Yimei Zhang, Tieming Chen, Tiantian Zhu, Qijie Song, Shouling Ji

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 APT-CGLP通过对比图-语言预训练实现高级持续威胁狩猎，提升跨模态语义匹配的准确性和效率。

Comments Accepted by SIGKDD 2026 Research Track

Soft Filtering: Guiding Zero-shot Composed Image Retrieval with Prescriptive and Proscriptive Constraints

软过滤：通过规劝性与禁止性约束指导零样本复合图像检索

Youjin Jung, Seongwoo Cho, Hyun-seok Min, Sungchul Choi

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出SoFT方法，通过规劝性和禁止性约束提升零样本复合图像检索的准确性与鲁棒性。

Comments Accepted to AAAI 2026 Workshop on New Frontiers in Information Retrieval