阿里通义港中文提出UniSwap:一张脸加一段声音,实时替换说话视频中的人物
输入一段说话视频、一张参考人物照片和一小段参考声音,UniSwap会把画面中的外貌和说话音色一起替换,同时保留原视频的动作、场景、台词内容与音画节奏。香港中文大学和阿里通义应用业务团队把过去分开的换脸与变声装进同一个音视频扩散Transfo
输入一段说话视频、一张参考人物照片和一小段参考声音,UniSwap会把画面中的外貌和说话音色一起替换,同时保留原视频的动作、场景、台词内容与音画节奏。香港中文大学和阿里通义应用业务团队把过去分开的换脸与变声装进同一个音视频扩散Transfo
一张多人照片里,输入“穿红衣服的男孩”,模型先找到指定人物,再画出他的视线落点;也可以直接点击画面坐标来选人。Google与伊利诺伊大学香槟分校提出GazeAnywhere,并开源12万组带提示标注的Gaze-Co数据,把注视估计从固定检测
字节跳动、AMD和香港理工大学等团队提出Avatar-Forever,让22B视频基础模型在单张H100上以27.2 FPS生成768×512音频驱动数字人。架构采用流式输出,不设固定总时长,并针对自回归视频常见的“越播越糊、人物越播越不像
给一张人物照片,再持续输入身体姿态和面部动作,14B参数的视频模型可以像直播一样连续输出动画。香港中文大学、阿里通义应用业务和LiblibAI提出LiveAnimate,在两张NVIDIA H100上达到19.63 FPS,并在3分钟测试中
日本电气通信大学团队设计了一种混合硬度仿生指尖,中央指肚使用软硅胶,两侧换成更硬的材料,内部保留类似指甲的刚性结构。机器人不用先把硬币推到桌边,也不需要在底部留缝,就能从硬平面上抬起硬币。
东京大学团队提出360CityArena,用602段360度视频重建东京秋叶原的85条街道,为具身Agent准备了175项城市探索任务。环境保留商店招牌、路口、楼宇和密集街景,不是用简化3D模型搭的规整迷宫。
清华大学、澳门科技大学、东南大学、爱丁堡大学和FellouAI等团队提出浏览器Agent基准CAP。它不只检查Agent能否打开页面并点击按钮,而是要求跨多个网站完成长流程,处理复杂控件和动态视觉内容。
复旦大学、北京智源人工智能研究院、清华大学和中国人民大学提出SLIM,一个只有0.47B参数的机器人操作策略。它不用大型多模态骨干每个控制步都重做开放域理解,而是学习与动作和状态变化紧密相关的紧凑潜表示。
阿里淘天集团与上海交通大学提出REST,将图像生成的奖励对齐和少步蒸馏放进同一训练阶段。它直接复用扩散强化学习已经生成的带奖励轨迹,不再单独采样蒸馏数据。
字节跳动提出面向游戏资产的RGBA视频生成方法GameAlpha。它从一张参考图出发,一次生成RGB彩色帧和Alpha透明遮罩,角色动画可以直接叠加到不同背景中。
Meta AI、普林斯顿和MIT提出Gambit,把大模型的测试时推理改成“思维层面的束搜索”。它不再让大量推理轨迹各自跑到底,而是周期性砍掉低质量路径,把释放的算力立即用来复制更好的思路前缀。
Adobe与加州大学圣迭戈分校提出潜动力学推理LDR,让视频世界模型不只生成“看起来合理”的下一帧,而是显式学习物体随时间的运动规律。
Google Research和Google DeepMind把医疗对话系统AMIE扩展到实时视频问诊。新系统能在交谈时分析声音和画面,记录动作、表情与身体观察,再将这些信息纳入诊断和处置。
阿里达摩院与湖畔实验室提出并开源机器人价值基础模型RynnValue。它用超过7000小时的多源机器人数据学习“当前状态距任务完成还有多远”,再把这个判断转成训练策略所需的稠密奖励。
把FLUX、Stable Diffusion 3这类DiT直接拉到8K,常出现窗户错位、物体重复和整体结构散架,计算时间也陡增。兰卡斯特大学、华南理工大学与英伟达AI技术中心提出ECCV 2026论文HRDiT,通过空间位置重排和分层注意力
奥尔堡大学、上奥地利应用科学大学等机构的研究者提出一套RGB与热红外视频融合方法,用于无人机马鹿调查,相关工作入选ECCV 2026。在4次飞行记录的26只马鹿中,融合方法正确分类25只;单独使用任一模态都只能认对20只。普通相机会让棕色身
扩散语言模型可以并行修改多个词元,但长序列中的全注意力仍会吃掉大量计算。Apple、Google DeepMind与哈佛大学研究者在MIT开展的工作提出LLaDA-Hybrid:把16B模型20层中的6层换成块级混合注意力,再通过两阶段轻量
能识别显微图、读懂谱图,再据此判断实验结论,和背出科学知识不是一回事。阿里通义、浙江大学、清华大学与中国科学院大学等团队推出SEE,收集1116道以真实实验图像为核心的问题,覆盖19个多模态大模型。标准评测中,模型准确率分布在15.9%到4
人类视频数量巨大,但把其中的手部动作直接复制给机械手,常因手指数量、关节长度和运动范围不同而失败。南京大学与中国移动研究院提出C2Dex,从单目人类视频中提取稳定的物体接触关系,再把它迁移到机器人灵巧手。在DexYCB任务上,其宽松标准成功
给花朵换颜色、改海报上的文字,生成模型往往能改对内容,却在掩码边缘留下色差、硬线或纹理断裂。商汤研究院、北京航空航天大学与南洋理工大学等团队提出MaskFlow,把编辑区域直接写进生成路径,并用Soft-Poisson机制处理边界融合。完整