大厂专区
OctoPipe：通过共同优化分区、放置和调度减少异构模型的流水线气泡
机构 * FDU & Shanghai AI Laboratory（复旦大学及上海人工智能实验室） ； HKUST（香港科技大学） ； Unaffiliated（无隶属机构） ； Tsinghua University（清华大学） ； CUHK & SenseTime Research（香港大学及SenseTime研究院）
AI总结 研究针对模型架构异构性加剧流水线气泡降低训练效率的问题，提出OctoPipe系统，通过构建模拟器、开发调谐器、实现执行器共同优化分区、放置和调度，提升了吞吐量。
Comments 14 pages, 13 Figures; Accepted by SC'26;
揭示原生统一多模态模型中的理解-生成协同效应：从表示、任务到系统
机构 * S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab） ； SenseTime Research（商汤科技研究院）
AI总结 本文研究无预训练视觉先验的原生统一多模态模型，从表示、任务、系统层面揭示视觉理解与生成的协同效应，发现适当设计可将二者共存转化为协同，且端到端模型优于规划器-执行器流水线。
绘制你所见：多模态智能体的灵巧视觉工具使用基准测试
机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院）
AI总结 本文提出名为EASEL的基准测试，结合44万样本的EASEL-Data数据集与EASEL-9B模型，评估多模态智能体的灵巧视觉工具使用能力，发现现有25个模型在该任务上表现不佳，EASEL-9B相对基础模型提升6.3%。
TransPhy：面向物理基础图像编辑的视觉上下文学习
机构 * Peking University（北京大学） ； SenseTime Research（商汤科技研究院） ； Zhejiang University（浙江大学）
AI总结 针对现有视觉上下文学习对物理基础图像变换支持不足的问题，提出TransPhy框架，通过分解为物理规则归纳和过渡对齐渲染，在PhysVICL-74基准上提升了相关性能。
VLANeXt: 构建强大VLA模型的配方
机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） ； Sun Yat-sen University（中山大学） ； Shanghai Jiao Tong University（上海交通大学）
AI总结 本文通过统一框架和评估设置重新审视VLA设计空间，系统分析了基础组件、感知要素和动作建模视角，总结出12项关键发现，提出了一种简单有效的VLA模型VLANeXt，并在LIBERO和LIBERO-plus基准测试中超越了现有方法，同时提供了易于使用的代码库。
Comments Accepted in ICML 2026, Project Page: https://dravenalg.github.io/VLANeXt/
ICA: 信息感知的信用分配用于基于视觉的长周期信息寻求智能体
机构 * Shanghai Jiao Tong University（上海交通大学） ； ShanghaiTech University（上海科技大学） ； Wuhan University（武汉大学） ； SenseTime Research（商汤科技研究院）
AI总结 本文提出ICA方法，通过视觉快照和信息层面信用分配，提升开放网络环境中信息寻求智能体的性能。
Comments Accepted to the Main Conference of EMNLP 2026
基于Voronoi辅助优化的无向点云无符号距离场扩散方法
机构 * S-Lab Nanyang Technological University Singapore（南洋理工大学新加坡S-Lab） ； College of Mathematics Nanjing University of Aeronautics and Astronautics China（南京航空航天大学数学学院） ； College of Computing and Data Science Nanyang Technological University Singapore（南洋理工大学计算与数据科学学院） ； Institute of Software Chinese Academy of Sciences China（中国科学院软件研究所） ； School of Computer Science Shandong University China（山东大学计算机科学学院） ； Department of Computer Science City University of Hong Kong China（香港城市大学计算机科学系） ； SenseTime Research China（SenseTime研究院）
AI总结 本文提出轻量级无网络方法VAD，通过Voronoi准则对齐无向点云法向量并扩散积分，可高效稳定计算UDF，稳健处理各类三维几何结构。
Zoom-IQA：基于可靠区域感知推理的图像质量评估
机构 * S-Lab, Nanyang Technological University, Singapore（S实验室，南洋理工大学，新加坡） ； SenseTime Research（商汤科技研究院）
AI总结 研究图像质量评估问题，提出基于视觉语言模型的Zoom-IQA，通过两阶段训练管道，包括监督微调与强化学习，有效减轻标注偏差，提升了模型在鲁棒性、可解释性和泛化性方面的表现，在下游任务中也展现出有效性。
Comments ECCV 2026, Project Page: https://ethanliang99.github.io/ZOOMIQA-Projectpage
StateTrace：面向长视频中隐状态时空推理的以对象为中心的框架
机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； The University of Sydney（悉尼大学） ； Central South University（中南大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； SenseTime Research（商汤科技研究院）
AI总结 StateTrace是一种以对象为中心的框架，为VideoLLMs赋予长视频隐状态推理能力，构建时空状态记忆并经实验显著提升了VideoLLMs在相关基准上的性能。
Comments 10 pages. Accepted at ACM Multimedia 2026 (ACM MM 2026)
OpenVisTool：用于合成具有指导性的视觉工具使用轨迹的开源方案
机构 * SenseTime Research（商汤科技研究院）
AI总结 本研究提出OpenVisTool框架，构建含因果监督的视觉工具使用轨迹数据集OpenVisTool-42K，微调后模型视觉工具使用性能提升，大模型接近领先闭源系统。
MaskFlow：精准、一致且无缝的区域图像编辑
机构 * SenseTime Research（商汤科技研究院） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学）
AI总结 MaskFlow框架通过融合掩码的流匹配目标与Soft-Poisson去接缝模块，结合MEData数据集，实现了精准可控、无缝融合的区域图像编辑，性能优于现有方法。
Comments 18 pages, 6 figures. Project page: https://reychiaro.github.io/MaskFlow
GraphVerse：面向多模态大语言模型的综合性视觉图推理基准
机构 * New York University（纽约大学） ； Sensetime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； New York University Shanghai（上海纽约大学） ； University of Georgia（佐治亚大学） ； The Hong Kong Polytechnic University（香港理工大学）
AI总结 针对现有多模态大语言模型（MLLMs）评估缺乏结构化视觉推理测试的问题，提出GraphVerse基准，通过以图为中心的图像编辑（GIE）策略和VGR-Score指标，评估MLLMs在单/配对图像场景下的视觉图推理能力，揭示其相关局限并验证方法有效性。
Comments 33 pages, 16 figures
Grad-ECLIP: 基于梯度的CLIP视觉与文本解释
机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology（香港科学与技术大学社会科学学院及计算机科学与工程系） ； SenseTime Group Ltd（时光集团有限公司）
AI总结 本文提出Grad-ECLIP方法，通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系，生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量，并通过定性定量评估验证其有效性。
Journal ref Zhao C, Wang K, Hsiao J H, et al. Grad-eclip: Gradient-based visual and textual explanations for clip[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026
揭秘视频推理
机构 * SenseTime Research（商汤科技研究院） ； Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文通过实验揭示视频扩散模型中的推理主要发生在去噪步骤中，提出链式步骤（CoS）机制，并发现工作记忆、自我修正和感知先行等涌现行为，最后提出一种无需训练的集成策略来提升推理能力。
Comments Homepage: https://www.wruisi.com/demystifying_video_reasoning
Deblur-Avatar：从运动模糊单目视频生成可动画化头像
机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； S-Lab for Advanced Intelligence, Nanyang Technological University（南洋理工大学先进智能实验室） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； SenseTime Research（商汤科技研究院）
AI总结 该研究针对运动模糊单目视频输入，提出将基于人类运动的运动模糊模型集成到3D高斯平铺的框架，通过优化轨迹和高斯分布重建高质量可动画化头像，实验证明其在渲染质量等方面显著优于现有方法。
享受你的对话：一个用于多轮对话的以人为本基准，具有解耦的用户模拟、目标建模和评判
机构 * SenseTime Research（商汤科技研究院） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学）
AI总结 该研究提出EYT-Bench基准，通过三方解耦设计评估大语言模型多轮对话能力，引入新指标，发现先进模型在主观维度相近但客观意图跟踪差异大，推理可提升客观跟踪，角色格式影响轨迹分布，且热身效应稳健。
SGMD: 得分梯度匹配蒸馏用于少步视频扩散蒸馏
机构 * Beihang University（北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； Hong Kong University of Science and Technology（香港科技大学）
AI总结 针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。
Comments ICML 2026
全模态感知策略优化用于多模态情感推理
机构 * University of Science and Technology of China（中国科学技术大学） ； SenseTime Research（商汤科技研究院） ； National University of Singapore（新加坡国立大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
AI总结 提出OPPO强化学习框架，通过全模态感知奖励和损失优化多模态感知，提升情感推理中模态利用率和忠实度，在多个基准上达到最优。
Comments Accepted at ICML 2026. Project page: https://zjycutieee.github.io/OPPO-page/ Code: https://github.com/ZhiyuanHan-Aaron/OPPO
ISE：一种基于执行的多轮操作系统代理轨迹合成方法
机构 * University of Electronic Science and Technology of China（电子科技大学） ； SenseTime Research（商汤科技研究院）
AI总结 提出ISE三阶段范式，通过结构化意图构建、角色锁定用户模拟和真实执行环境，生成多轮代理轨迹，微调后显著提升代理工具使用性能。
Comments 13 pages, 6 figures. Dataset and code: https://github.com/Valiere01/ISE-Trace
通过深度特征锚定偏好优化打破流式目标说话人提取中的质量-可懂度权衡
机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； SenseTime（商汤科技）
AI总结 研究流式目标说话人提取中的质量-可懂度权衡问题，提出扩大Conformer卷积核及基于WavLM的DPO微调策略，实现了相对可懂度10.9%的提升，同时音频质量和说话人相似度也有改善。
视觉作为统一的多模态生成
机构 * SenseTime Research（商汤科技研究院） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学）
AI总结 该研究将计算机视觉表述为统一多模态生成，SenseNova-Vision用自然语言指令等指定任务并生成多种输出。通过转换注释形成语料库训练模型，其涵盖多种视觉任务，实验显示统一模型能匹配专用系统，为集成视觉能力到通用模型提供可扩展途径。
Comments 48 pages,22 figures
Pistachio: 向合成、平衡和长形式视频异常基准迈进
机构 * Universiti Malaya（马来亚大学） ； Monash University（莫纳什大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学）
AI总结 本文提出Pistachio基准，通过生成式流程构建，提供可控场景、异常类型和时间叙事，减少人工标注依赖，验证了现有方法的挑战并推动动态多事件异常理解研究。
Comments Accepted by ECCV 2026
面向流式目标说话人提取的分块交织拼接自回归语言模型
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； The Chinese University of Hong Kong（香港中文大学） ； SenseTime Research（商汤科技研究院）
AI总结 本文提出一种分块交织拼接方法，用于提升流式目标说话人提取的效率与稳定性，实验表明其在低延迟下保持高性能且优于离线基线。
DeVAR：通过视觉自回归建模实现低剂量CT去噪
机构 * Shanghai Jiao Tong University（上海交通大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Innovation Institute（上海创新研究院）
AI总结 提出DeVAR框架，首次将视觉自回归建模（VAR）应用于低剂量CT去噪，通过下一尺度预测生成离散令牌图，并引入残差精炼器捕获细微结构，结合双表示混合训练策略，在公开数据集上取得最优性能。
MER-R1：通过慢-快思维协同的多模态情感推理
机构 * University of Science and Technology of China（中国科学技术大学） ； SenseTime Research（商汤科技研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
AI总结 提出MER-R1强化学习框架，利用慢-快思维互补性优化多模态情感识别，通过双目标解耦和置信度校准联合优化召回率与精确度，实现SOTA性能。
Comments Under review
一图足矣：基于文本世界模型的智能体单样本图像生成用于长尾空间感知
机构 * Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Sun Yat-Sen University（中山大学） ； Technical University of Munich（慕尼黑工业大学） ； Heilbronn Data Science Center（海尔布隆数据科学中心） ； Munich Data Institute（慕尼黑数据研究所）
AI总结 提出WMGen-v1框架，利用单张参考图像通过LVLM构建结构化场景表示，LLM进行物理合理的场景扩展，再由扩散模型生成多样化的长尾训练数据，缓解空间感知中的数据稀缺问题。
X+Slides：面向受众条件的幻灯片生成基准测试
机构 * Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； SenseTime
AI总结 提出X+Slides基准，通过动态评估框架和受众特定权重，衡量幻灯片生成系统在受众覆盖、领域覆盖、效率和正确性方面的表现，揭示现有系统在受众关键信息恢复上的不足。
打破自回归诅咒：动态认知熵编排的可擦除强化学习用于大语言模型
机构 * SenseTime（商汤科技） ； Shanghai Jiao Tong University（上海交通大学）
AI总结 提出动态认知熵编排的可擦除强化学习（E³RL），通过将模型内生的局部自回归交叉熵作为认知不确定性坐标，利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存，解决长序列推理中的自回归级联崩溃问题。
Prisma-World: 相机可控的多智能体视频世界模型
机构 * School of AIA, HUST（华中科技大学人工智能与自动化学院） ； S-Lab, NTU（南洋理工大学S-Lab） ； SenseTime Research（商汤科技研究院） ； FDU（复旦大学） ； SUAT（深圳大学） ； HKU（香港大学） ； CUHK（香港中文大学）
AI总结 提出Prisma-World，通过联合几何感知去噪过程实现多智能体视频生成中的跨视角一致性，支持灵活智能体数量和相机控制。
Comments Project page: https://huiqiang-sun.github.io/prisma-world/
UniCAD：面向多模态多任务CAD的统一基准与通用模型
机构 * SenseTime Research and Tetras.AI（秒速科技研究院和Tetras.AI）
AI总结 针对CAD领域缺乏统一多模态基准的问题，提出UniCAD基准和UniCAD-MLLM通用多模态大语言模型，在点云到CAD重建、文本/图像到CAD生成和CAD问答等任务上实现端到端统一处理，并在多个基准上取得最优性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈