多模态大模型

ASPEN: Spectral-Temporal Fusion for Cross-Subject Brain Decoding

ASPEN：跨受试者脑解码的频谱-时间融合

Megan Lee, Seung Ha Hwang, Inhyeok Choi, Shreyas Darade, Mengchun Zhang, Kateryna Shapovalenko

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Kyung Hee University（Kyung Hee大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 ASPEN通过频谱-时间融合实现跨受试者脑解码，利用乘法融合提升跨模态一致性，有效提升未见受试者准确率。

Prompt When the Animal is: Temporal Animal Behavior Grounding with Positional Recovery Training

提示当动物是：基于位置恢复训练的时序动物行为 grounding

Sheng Yan, Xin Du, Zongying Li, Yi Wang, Hongcang Jin, Mengyuan Liu

机构 * School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院） ； National Key Laboratory of General Artificial Intelligence, Shenzhen Graduate School, Peking University（北京大学深圳研究生院国家通用人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 Port 框架，通过位置恢复训练提升动物行为时序 grounding 的准确性，在 Animal Kingdom 数据集上取得 38.52 的 IoU@0.3 成绩，并在 ICME 2024 挑战赛中表现突出。

Comments Accepted by ICMEW 2024

Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation

增强语义 grounded 的动作和成分建模以实现语义 grounded 的食谱生成

Guoshan Liu, Bin Zhu, Yian Li, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出语义 grounded 的框架，通过两阶段流程结合监督微调和强化微调，提升食谱生成的语义准确性与成分预测能力。

Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification

Ctrl-GenAug: 可控生成增强用于医学序列分类

Xinrui Zhou, Yuhao Huang, Haoran Dou, Shijing Chen, Ao Chang, Jia Liu, Weiran Long, Jian Zheng, Erjiao Xu, Jie Ren, Alejandro F. Frangi, Ruobing Huang, Jun Cheng, Xiaomeng Li, Wufeng Xue, Dong Ni

机构 * National-Regional Key Technology Engineering Laboratory for Medical Ultrasound（国家级区域医疗超声关键技术工程实验室） ； School of Biomedical Engineering（生物医学工程学院） ； Medical School（医学院） ； Shenzhen University（深圳大学） ； Medical UltraSound Image Computing (MUSIC) Lab（医学超声图像计算（MUSIC）实验室） ； School of Artificial Intelligence（人工智能学院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Department of Electronic and Computer Engineering（电子与计算机工程系） ； The University of Manchester（曼彻斯特大学） ； The Third Affiliated Hospital of Sun Yat-sen University（中山大学第三附属医院） ； Longgang District People’s Hospital of Shenzhen（深圳龙岗区人民医院） ； The Second Affiliated Hospital of The Chinese University of Hong Kong（香港中文大学第二附属医院） ； School of Biomedical Engineering and Informatics（生物医学工程与信息学学院） ； NIHR Manchester Biomedical Research Centre（NIHR曼彻斯特生物医学研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Ctrl-GenAug通过可控生成增强方法提升医学序列分类性能，解决语义和序列可控性不足及噪声样本问题。

Comments Accepted by International Journal of Computer Vision, 30 pages, 11 figures, 11 tables

FreqPolicy: Efficient Flow-based Visuomotor Policy via Frequency Consistency

FreqPolicy: 通过频率一致性实现高效的基于流的视觉-运动策略

Yifei Su, Ning Liu, Dong Chen, Zhen Zhao, Kun Wu, Meng Li, Zhiyuan Xu, Zhengping Che, Jian Tang

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； NLPR, MAIS, Institute of Automation of Chinese Academy of Sciences（神经语言处理实验室、人工智能研究所、中国科学院自动化研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 FreqPolicy通过频率一致性约束提升基于流的视觉-运动策略的效率与质量，实现高效、高质量的动作生成。

Comments NeurIPS 2025