浙大&上交等给机器人训练时遮住部分信息,双臂任务成功率提升超30%
双臂机器人同时读取多个相机画面和语言指令时,更多信息不一定带来更稳定的动作。上海创新研究院、浙江大学、上海交通大学、中国科学技术大学等机构提出M3:训练时随机遮掉部分模态通道,不改模型结构,也不增加大规模机器人预训练。三项真实长程任务中,平
双臂机器人同时读取多个相机画面和语言指令时,更多信息不一定带来更稳定的动作。上海创新研究院、浙江大学、上海交通大学、中国科学技术大学等机构提出M3:训练时随机遮掉部分模态通道,不改模型结构,也不增加大规模机器人预训练。三项真实长程任务中,平
在生成场景里向前走、转弯或绕着角色移动时,画面、环境声、音乐和对白同时延续。京东探索研究院、香港科技大学、北京大学、斯坦福大学等机构提出EchoWM,用连续导航信号控制720p视频,并联合生成与场景同步的音频。
交互式世界模型跟随按键向前走并不难,难的是走远以后再回来,场景还要与起点一致。香港科技大学(广州)、阿里巴巴ATH实验室提出ReWorld,在64秒、384个潜变量的往返轨迹中,只保留固定12个视频块的缓存,仍能恢复开头看到的场景。
同一个视频模型,既能从文字或图片生成画面,也能改角色、传递首帧编辑、转换已有视频和重新安排镜头。Adobe研究院、罗切斯特大学提出EditStream,把六类生成与编辑任务合进一套DiT权重,再将多步扩散过程压缩为4步自回归推理。论文评测中
“压低声音,带一点犹豫,像在嘈杂房间里提醒同伴”,这类描述比“悲伤”“兴奋”标签复杂得多。作业帮提出Poly-InstructTTS,用开放自然语言同时控制情绪、风格、口音和副语言行为。团队从影视视听素材构建1000小时指令标注语料,覆盖1
“拿住杯把”“按下按钮”“握住喷嘴”都要求机器人把一句自然语言落到物体的具体3D区域。以往方法常假设已经有完整点云和固定动作类别。同济大学与中国科学院提出AffordAny,从一张RGB图片出发重建物体,再根据自由文本定位可操作部位。自动管
把厨房角落的第三人称录像改成操作者头戴相机视角,镜头旋转幅度可能超过普通新视角合成的范围,身体和台面还会遮住大量区域。NVIDIA提出Grounded-Exo2Ego,从单段外部视频重建场景几何,再用物体级语义补全第一人称镜头中原视频看不到
视频模型做强化学习时,一组采样答案可能全都不够好,模型只能在一堆错误里挑相对高分者。南开大学、西北工业大学、中科院自动化所和南开深圳研究院提出OraRL,把每条人工标注直接序列化成一条“标准轨迹”,同时保留模型自己的探索。Video-ORA
普通视频问答只要求模型看完片段再回答,实时助手的建议会改变用户下一步动作。南京大学、南开大学和滑铁卢大学联合构建OmniAssistBench,用连续视频片段测试模型能否记住历史、读懂手势、等待关键事件并在正确时间提醒。榜单中Gemini-
一个Agent Skill的说明文档格式完整、写得清楚,不代表模型会在真实任务中找到它、按对步骤执行并交付正确结果。NVIDIA提出ACES,把同一任务分别交给“有Skill”和“无Skill”的Agent运行,再计算Skill带来的边际增
一张表单里,“项目名称”对应哪段长文本、一个字段是否连着多个值,传统流程通常先OCR,再做实体识别与关系抽取。IBM苏黎世研究院和苏黎世联邦理工提出端到端方案,微调2.56亿参数SmolDocling,直接从文档图片生成键、值、边界框和连接
传送带上的物体不会等机械臂想清楚再进入抓取区。清华大学、上海AI实验室、哈尔滨工业大学和云深处科技联合提出ForeTime-VLA,把世界动作模型看到的未来压缩成训练信号,部署时只看过去八帧。三档速度的实机测试中,它完成44/90次抓取,π
机器人模仿人类示范学会叠杯后,第一次操作失败通常不会让它自动变聪明:失败动作不能直接拿来继续模仿。佐治亚理工提出Q-Planning,冻结原有的数十亿参数行为克隆策略,只训练一个约10亿参数的价值函数。五轮实机自我改进后,叠杯成功率从40%
同样是纸杯,空杯需要轻捏,装满后又要增加抓力;外观相近的易拉罐,也可能因为重量不同而滑落。小米机器人团队提出ViTacPhys,让机械手在抓取时显式判断物体的质量等级、刚度和接触摩擦等级,再据此调整动作。真实抓取中,它在训练分布内物体上的总
人形机器人把球打出去不算难,既保持职业网球动作风格,又在真实硬件上稳定击球更难。上海人工智能实验室、上海交通大学、诺亦腾机器人、越疆机器人等机构提出AdaPT,从转播视频学习发球与回合动作,并把策略部署到宇树G1和1.7米越疆Atom。
音乐生成模型通常先把波形压进连续潜变量,再在潜空间生成。压缩率提高后,高频容易消失,左右声道空间感变窄,相位也会出现不连续。阿里巴巴通义千问、莫纳什大学提出ear-VAE2,直接在复杂频谱上编码,并按频段分别修正幅度和相位。
用手机随手拍一段人物视频,想得到能从任意方向观看的动态模型,单目画面缺少背面与侧面信息。浙江大学、蚂蚁集团、香港中文大学、香港科技大学等机构提出4DAnyone,先生成多视角一致视频,再把它提升为4D高斯泼溅表示。
智能体每次回答前都要阅读天气、日历、搜索等工具Schema。工具组合或顺序一变,普通前缀缓存就难以复用之前的KV状态。上海交通大学、东方理工学院、西安交通大学提出ReCache,让每份资源独立编码,并只保留调用需要的字段与注意力路径。
四足机器人装上机械臂后,摄像头会随底盘移动,手臂动作也会改变画面。清华大学、上海人工智能实验室、哈尔滨工业大学、云深处科技等机构提出DECOWAM,分别建模相机自运动、底盘和机械臂动作,再联合预测未来视频与控制。
文本生成3D要么逐个预测形状Token,速度慢且前面出错后难以修正;要么反复更新完整3D表示,计算量随精度增加。浙江大学、加州大学伯克利分校、武汉大学等机构提出Block3D,把形状序列切成连续块,块之间自回归、块内并行去噪。