多模态大模型

TeleMem: Building Long-Term and Multimodal Memory for Agentic AI

TeleMem: 构建面向代理AI的长期和多模态记忆

Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 TeleMem通过统一的长期和多模态记忆系统，提升代理AI在长对话和多模态任务中的表现，实现更高的准确率、更低的令牌使用和更快的操作速度。

VIOLA: Towards Video In-Context Learning with Minimal Annotations

VIOLA：迈向最小标注的视频情境学习

Ryo Fujii, Hideo Saito, Ryo Hachiuma

机构 * Keio University（Keio大学） ； Keio AI Research Center（Keio人工智能研究中心） ； NVIDIA（NVIDIA公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 VIOLA通过结合最小专家监督和大量未标注数据，实现高效视频情境学习，显著提升低资源环境下的适应性能。

Event-VStream: Event-Driven Real-Time Understanding for Long Video Streams

Event-VStream: 基于事件驱动的长视频流实时理解

Zhenghui Guo, Yuanbin Man, Junyuan Sheng, Bowen Lin, Ahmed Ahmed, Bo Jiang, Boyuan Zhang, Miao Yin, Sian Jin, Omprakash Gnawal, Chengming Zhang

机构 * University of Houston（德克萨斯大学休斯顿分校） ； The University of Texas at Arlington（德克萨斯理工大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Temple University（特拉华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Event-VStream通过事件感知框架实现长视频流的实时理解，利用事件序列进行语义连贯的处理，提升性能并保持低延迟。

Multi-event Video-Text Retrieval

多事件视频-文本检索

Gengyuan Zhang, Jisen Ren, Jindong Gu, Volker Tresp

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Oxford（牛津大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出多事件视频-文本检索任务，设计Me-Retriever模型，通过关键事件表示和新损失函数提升视频-文本检索性能。

Comments [fixed typos in equations] accepted to ICCV2023 Poster; some figures are not supported when viewed online, please download the file and view locally

Multi-Layered Reasoning from a Single Viewpoint for Learning See-Through Grasping

从单一视角进行多层推理以学习透视抓取

Fang Wan, Chaoyang Song

机构 * Southern University of Science and Technology（南方科技大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本研究提出了一种基于视觉的透视感知架构，通过单一视觉输入实现多模态感知，无需外部摄像头或力传感器即可学习反应抓取。

Comments 39 pages, 13 figures, 2 tables, for supplementary videos, see https://bionicdl.ancorasir.com/?p=1658, for opensourced codes, see https://github.com/ancorasir/SeeThruFinger