视觉大模型 / VLM

Privacy-Preserving Product-Quantized Approximate Nearest Neighbor Search Framework for Large-scale Datasets via A Hybrid of Fully Homomorphic Encryption and Trusted Execution Environment

面向大规模数据集的隐私保护产品量化近邻搜索框架：通过全同态加密和可信执行环境的混合方案

Shozo Saeki, Minoru Kawahara, Hirohisa Aman

专题命中 其他VLM ：visual language model(abstract)

AI总结 本文提出PPPQ-ANN框架，结合全同态加密和可信执行环境，优化大规模数据集的隐私保护近邻搜索，实现快速数据库生成和高吞吐量检索。

Comments 15 pages, 4 figures

When More Words Say Less: Decoupling Length and Specificity in Image Description Evaluation

当更多词语说更少：在图像描述评估中解耦长度与特异性

Rhea Kapur, Robert Hawkins, Elisa Kreiss

机构 * Stanford University（斯坦福大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文提出通过对比集定义描述特异性，验证人们更偏好信息密集的描述，无论长度如何，且长度分配影响特异性差异。

Generative Simulation for Policy Learning in Physical Human-Robot Interaction

生成仿真在物理人机交互中政策学习中的应用

Junxiang Wang, Xinwen Xu, Tiancheng Wu, Julian Millan, Nir Pechuk, Zackory Erickson

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文提出零样本生成仿真框架，通过自然语言提示生成多样化的物理人机交互场景，用于自主收集合成数据并训练基于视觉的模仿学习策略，实现从仿真到现实的零样本迁移。

Comments 9 pages, 3 figures, 2 tables

Exploring MLLMs Perception of Network Visualization Principles

探索 MLLMs 对网络可视化原则的感知

Jacob Miller, Markus Wallinger, Ludwig Felder, Timo Brand, Henry Förster, Johannes Zink, Chunyang Chen, Stephen Kobourov

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 研究测试多模态大语言模型是否能在网络布局属性感知任务中匹配人类表现，发现MLLMs在同等条件下表现优于非专家，且提示工程可提升性能，表明其可能依赖视觉代理而非计算实际值。

MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model

MuCo：多轮对比学习用于多模态嵌入模型

Geonmo Gu, Byeongho Heo, Jaemyung Yu, Jaehui Hwang, Taekyung Kim, Sangmin Lee, HeeJae Jun, Yoohoon Kang, Sangdoo Yun, Dongyoon Han

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出MuCo，一种基于对话的多轮对比学习框架，通过多轮查询-目标对提升多模态嵌入模型的训练效率和表征一致性。

Comments CVPR 2026 camera-ready; 22 pages

Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism

语言模型是否将声音与意义关联？一种多模态研究声音象征主义

Jinhong Jeong, Sunghyun Lee, Jaeyoung Lee, Seonah Han, Youngjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） ； Korea University（韩国大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 研究语言模型在多模态输入中对声音象征性的处理，通过分析不同语义维度下的音节注意力分数，揭示模型对声音与意义关联的理解机制。

Comments 33 pages, 27 tables, 10 figures, accepted to AAAI 2026 (Oral)

Measuring Weather Effects and Link Quality Dynamics in LEO Satellite Networks

测量低轨卫星网络中天气影响和链路质量动态

Clemens Lottermoser, Simon Damm, Stefan Schmid

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文通过Starlink案例研究，分析了影响链路质量的动态因素，发现大气液态水路径(LWP)是关键影响因素，尤其在降雨时导致下载吞吐量下降，同时网络升级也提升了性能。

Comments satellite networks, non-terrestrial networks, LEOs, measurements, weather

CinemaWorld: Generative Augmented Reality with LLMs and 3D Scene Generation for Movie Augmentation

CinemaWorld: 基于 LLM 和 3D 场景生成的生成增强现实用于电影增强

Keiichi Ihara, DaeHo Lee, Manato Abe, Hye-Young Jo, Ryo Suzuki

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 CinemaWorld 利用 LLM 和 3D 场景生成技术，通过增强现实将电影内容与现实环境结合，提升观影沉浸感和娱乐性。

Comments 13 pages, 16 figures

HoRAMA: Holistic Reconstruction with Automated Material Assignment for Ray Tracing using NYURay

基于NYURay的Holistic Reconstruction with Automated Material Assignment用于射线追踪的全面重建

Mingjun Ying, Guanyue Qian, Xinquan Wang, Peijie Ma, Dipankar Shakya, Theodore S. Rappaport

专题命中 其他VLM ：vision language model(abstract)

AI总结 HoRAMA通过结合MASt3R-SLAM和视觉语言模型实现快速生成RT兼容的3D模型，提升无线传播预测精度并缩短重建时间。

Comments 7 pages, 4 figures, 2 tables, accepted by 2026 IEEE International Conference on Communications (ICC)

Multimodal-Wireless: A Large-Scale Dataset for Sensing and Communication

多模态无线：一种大规模数据集用于传感与通信

Tianhao Mao, Le Liang, Jie Yang, Hao Ye, Shi Jin, Geoffrey Ye Li

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出多模态无线数据集，用于多模态传感与通信研究，包含高分辨率CSI与多种传感器数据，支持通信与协同感知应用。

OpenGVL -- Benchmarking Visual Temporal Progress for Data Curation

OpenGVL -- 视觉时间进程数据整理的基准测试

Paweł Budzianowski, Emilia Wiśnios, Michał Tyrolski, Gracjan Góral, Igor Kulakov, Viktor Petrenko, Krzysztof Walas

机构 * Lute ； IDEAS Research Institute（IDEAS研究机构） ； Simple Automation ； Poznań University of Technology（波兹南技术大学） ； University of Warsaw（华沙大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 OpenGVL通过评估开源模型在时序任务预测中的表现，揭示其在机器人数据整理中的局限性，并提供自动化数据筛选的实用工具。

Comments Workshop on Making Sense of Data in Robotics: Composition, Curation, and Interpretability at Scale at CoRL 2025

GlyphWeaver: Unlocking Glyph Design Creativity with Uniform Glyph DSL and AI

GlyphWeaver: 通过统一的 glyph DSL 和 AI 解锁 glyph 设计创意

Can Liu, Shiwei Chen, Zhibang Jiang, Yong Wang

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 GlyphWeaver 通过统一的 glyph DSL 和 AI 技术，为非程序员提供创建复杂 glyph 可视化的工具。

Scene2Hap: Generating Scene-Wide Haptics for VR from Scene Context with Multimodal LLMs

Scene2Hap: 从场景上下文生成VR场景中的全域触觉反馈

Arata Jingu, Easa AliAbbasi, Sara Safaee, Paul Strohmeier, Jürgen Steimle

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 Scene2Hap通过多模态大语言模型生成VR场景中的触觉反馈，提升沉浸感与真实感。

Comments Accepted at CHI 2026

Counting How the Seconds Count: Understanding Algorithm-User Interplay in TikTok via ML-driven Analysis of Video Content

秒数如何计数：通过机器学习分析视频内容理解TikTok上的算法-用户互动

Maleeha Masood, Shreya Kannan, Zikun Liu, Deepak Vasisht, Indranil Gupta

专题命中 其他VLM ：vision language model(abstract)

AI总结 通过机器学习分析TikTok视频内容，研究算法与用户互动的时间演变及用户体验影响。

Comments To contact, email maleeha2@illinois.edu

Hebrew Diacritics Restoration using Visual Representation

希伯来文附加符号恢复使用视觉表示

Yair Elboher, Yuval Pinter

机构 * Faculty of Computer and Information Science（计算机与信息科学学院） ； Ben-Gurion University of the Negev（贝叶尔谢瓦巴内吉尔大学） 纠错

专题命中 其他VLM ：visual language model(abstract)

AI总结 DiVRit通过视觉表示方法实现希伯来文附加符号恢复，利用零样本分类和视觉语言模型提升准确性和泛化能力。

A Modern System Recipe for Situated Embodied Human-Robot Conversation with Real-Time Multimodal LLMs and Tool-Calling

一种面向情境具身人机对话的现代系统配方，结合实时多模态大语言模型与工具调用

Dong Won Lee, Sarah Gillet, Louis-Philippe Morency, Cynthia Breazeal, Hae Won Park

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出了一种结合实时多模态大语言模型与工具调用的系统配方，用于提升情境具身人机对话的交互质量与效率。

Comments 9 pages, 7 figures

AesRec: A Dataset for Aesthetics-Aligned Clothing Outfit Recommendation

AesRec：一个用于美学对齐的服装搭配推荐数据集

Wenxin Ye, Lin Li, Ming Li, Yang Shen, Kanghong Wang, Jimmy Xiangji Huang

专题命中 其他VLM ：vision-language model(abstract)

AI总结 AesRec数据集通过系统化的定量美学注释，为开发与美学对齐的服装推荐系统提供了支持，实验表明整合量化美学信息能提升用户审美指导与个性化需求的满足。

WordCraft: Scaffolding the Keyword Method for L2 Vocabulary Learning with Multimodal LLMs

WordCraft: 通过多模态大语言模型 scaffolding 关键词方法用于L2词汇学习

Yuheng Shao, Junjie Xiong, Chaoran Wu, Xiyuan Wang, Ziyu Zhou, Yang Ouyang, Qinyi Tao, Quan Li

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； School of Creativity and Art, ShanghaiTech University（创意与艺术学院，上海科技大学） ； Shanghai Fengxian Dai Wen Middle School（上海奉贤戴文中学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 WordCraft通过多模态大语言模型辅助L2词汇学习，提升关键词方法的使用效果和学习者参与度。

Comments Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI' 26), April 13--17, 2026, Barcelona, Spain

Multimodal Conversation Structure Understanding

多模态对话结构理解

Kent K. Chang, Mackenzie Hanh Cramer, Anna Ho, Ti Ti Nguyen, Yilin Yuan, David Bamman

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出多模态对话结构理解任务及TV-MMPC数据集，揭示对话角色匿名化对模型性能的影响，并分析对话中性别角色的参与差异。

Comments accepted to EACL 2026 main conference; 22 pages, 9 figures, 10 tables

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

SketchDynamics: 探索自由形式草图用于动画生成中的动态意图表达

Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

专题命中 其他VLM ：vision-language model(abstract)

AI总结 SketchDynamics通过自由形式草图与AI交互，探索动态意图表达在动画生成中的应用，展示草图如何有效传达运动意图并指导视频生成。

Comments conditionally accepted by CHI'26

Before Smelling the Video: A Two-Stage Pipeline for Interpretable Video-to-Scent Plans

在嗅觉之前：一种可解释的视频到香氛计划的两阶段流程

Kaicheng Wang, Kevin Zhongyang Shao, Ruiqi Chen, Sep Makhsous, Denise Wilson

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文提出了一种两阶段流程，通过视觉语言模型和大型语言模型分离视频语义提取与气味推断，验证了语义规划在提升嗅觉媒体体验中的有效性。

Comments In submission of poster as ongoing project

HumanoidVLM: Vision-Language-Guided Impedance Control for Contact-Rich Humanoid Manipulation

HumanoidVLM: 用于接触密集型人形机器人工操作的视觉-语言引导阻抗控制

Yara Mahmoud, Yasheerah Yaqoot, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） 纠错

专题命中 其他VLM ：vision-language model(abstract)

AI总结 HumanoidVLM通过视觉-语言模型和检索增强生成模块，实现人形机器人在接触密集场景中的自适应阻抗控制与抓取配置选择。

Comments This paper has been accepted for publication at LBR of HRI 2026 conference

Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion

浏览与聚焦：通过先验LLM上下文融合理解多模态内容

Ziyue Wang, Chi Chen, Yiqi Zhu, Fuwen Luo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Maosong Sun, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国） ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China（人工智能产业研究院（AIR），清华大学，北京，中国） ； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Jiangsu Collaborative Innovation Center for Language Competence, Jiangsu, China（江苏省语言能力协同创新中心，江苏，中国） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出浏览与聚焦两阶段范式，通过融合先验LLM上下文提升多模态内容理解，显著提升多图像场景的性能。

Comments 17 pages, 5 figures

Journal ref ACL 2024

Frozen LVLMs for Micro-Video Recommendation: A Systematic Study of Feature Extraction and Fusion

冻结的大型视频语言模型用于微视频推荐：特征提取与融合的系统研究

Huatuan Sun, Yunshan Ma, Changguang Wu, Yanxin Zhang, Pengfei Wang, Xiaoyu Du

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文通过系统研究冻结LVLMs的特征提取与融合策略，提出DFF框架，证明中间隐藏状态优于标题表示，ID嵌入融合优于替换，并在微视频推荐中取得最佳性能。

Comments 10 pages, 4 figures

LUMIA: A Handheld Vision-to-Music System for Real-Time, Embodied Composition

LUMIA: 一种用于实时具身创作的手持视觉到音乐系统

Chung-Ta Huang, Connie Cheng, Vealy Lai

专题命中 其他VLM ：vision-language model(abstract)

AI总结 LUMIA通过视觉到音乐的实时具身创作系统，将环境互动与生成式AI结合，实现基于感知的即兴音乐创作。

Comments 6 pages, 15 pages with appendix, NeurIPS 2025 Creative AI track

Online-PVLM: Advancing Personalized VLMs with Online Concept Learning

在线-PVLM：通过在线概念学习推进个性化VLMs

Huiyu Bai, Runze Wang, Zhuoyun Du, Yiyang Zhao, Fengji Zhang, Haoyu Chen, Xiaoyong Zhu, Bo Zheng, Xuejiao Zhao

机构 * Nanyang Technological University（南洋理工大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） ； University of Oulu（奥卢大学） 纠错

专题命中 其他VLM ：visual language model(abstract)

AI总结 Online-PVLM通过在线概念学习框架，实现个性化VLMs的高效实时适应，并提出OP-Eval基准评估其在现实场景中的性能。

Comments Work in Progress

Towards LLM-Based Usability Analysis for Recommender User Interfaces

Sebastian Lubos, Alexander Felfernig, Damian Garber, Viet-Man Le, Thi Ngoc Trang Tran

专题命中 其他VLM ：multimodal large language model(abstract)

Comments The paper was presented at IntRS'25: Joint Workshop on Interfaces and Human Decision Making for Recommender Systems, September 22, 2025, Prague, Czech Republic and is published in the workshop proceedings: https://ceur-ws.org/Vol-4027/

Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models

Bushi Xiao, Michael Bennie, Jayetri Bardhan, Daisy Zhe Wang

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

Haoyu Zhao, Cheng Zeng, Linghao Zhuang, Yaxi Zhao, Shengke Xue, Hao Wang, Xingyue Zhao, Zhongyu Li, Kehan Li, Siteng Huang, Mingxiu Chen, Xin Li, Deli Zhao, Hua Zou

机构 * Wuhan University（武汉大学） ； DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（虎扑实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 其他VLM ：MLLM(abstract)

Comments 13 pages, 6 figures

ToolMem: Enhancing Multimodal Agents with Learnable Tool Capability Memory

Yunzhong Xiao, Yangmin Li, Hewei Wang, Yunlong Tang, Zora Zhiruo Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)