AI张嘴不用等整段视频,双4090首包音画延迟1.27秒
韩国科学技术院、韩国中央大学提出JAVIS,让语音和说话人面部视频共用一套表示,再分别流式生成。在双RTX 4090、五个查询的测试中,首次音画包平均1.27秒到达,生成实时率为0.541。数字人不必等整段语音和视频做完,才开始同时开口。
韩国科学技术院、韩国中央大学提出JAVIS,让语音和说话人面部视频共用一套表示,再分别流式生成。在双RTX 4090、五个查询的测试中,首次音画包平均1.27秒到达,生成实时率为0.541。数字人不必等整段语音和视频做完,才开始同时开口。
慕尼黑工业大学、Woven by Toyota、丰田欧洲等机构提出Video Diffusion Avatars,从一张照片生成可分别控制镜头、上身姿态和表情的数字分身。在BecomingLit测试中,脸部感知误差较MVP4D降低约29%。
成功大学、纽约州立大学奥尔巴尼分校、阳明交通大学联合提出FlashReFocus,把拍照后的重新对焦拆成一次清晰图恢复和多次轻量渲染。在1536×1536分辨率、RTX PRO 6000上,首次调焦2.50秒,之后每次只需0.47秒。选前景
科奇大学、曼彻斯特大学研究人员提出草图到三维服装的生成流程:星星指定亮处,月亮指定阴影,再配一段材质描述,得到带独立光源的服装网格。在366张留出渲染测试中,光源方向平均误差为22.9度,低于固定方向基线的47.5度,让草图中的光影意图成为
SEDDI研究人员提出两套学习方法,只读取二维服装纸样,就预测边缘该怎样缝合、各块衣片该摆在人体哪里。团队在4035件专业装配的数字服装上训练与评价,测试中63.28%的服装完整恢复缝合拓扑,另一个摆片模型在66.2%的服装上满足全部衣片的
西蒙菲莎大学、西湖大学、都灵大学等机构构建RoboCloth,用机械臂控制相机和灯光,采集500种真实布料,每种约580帧。团队再用这些测量训练织物反射先验,在独立系统采集的12种材料上取得平均36.76dB的重建PSNR,让虚拟布料能够保
南洋理工大学、牛津大学提出Gen4P,把预训练视频生成模型改造成读取三维运动的感知器。一段视频经过一次编码后,可以按需查询点轨迹、深度和相机姿态;论文展示了火烈鸟细腿和滑雪动作的追踪,并在多组世界坐标追踪测试中取得有竞争力的结果。
特拉维夫大学提出ACEdit训练方案,让修图模型连续修改自己的输出,同时由始终看着干净原图的教师提供指导。团队用252条真实照片编辑链检查累计10次修改后的画质、内容保留和指令执行,减少了多轮修图中的偏色与细节流失,让局部修改更能保住原来的
9月底,腾讯在微信内上线了“绿泡泡短剧”小程序,用户无需下载独立APP,可直接观看。
8GB显存、16GB内存,也能让自己的电脑生成MiniMax H3视频了。
腾讯、中国科学技术大学、微软等机构提出Demiurge,让一段视频生成的新视角共用动态场景记忆,减少镜头转动后的外观漂移。团队用128段输入视频、每段14条轨迹检查一致性,跨视角匹配指标View Sync达到64.893。已看到与后来补出的
美国西北大学、芝加哥大学、谷歌提出FlowAvatar,在消费级Quest Pro上整合身体姿态、手指、表情和视线,驱动外观类似本人的数字分身。端上完整管线达到27帧每秒,动作延迟97毫秒。用户先用手机拍一段视频建立外观,再由头显的稀疏头手
商汤、北京航空航天大学、南洋理工大学提出LightVAE,压缩视频从内部表示还原成画面的解码步骤。在MiniMax-H3的RTX 5090测试中,解码吞吐量达到原来的2.97倍,同时保留99.51%的VBench-2.0总分。方法把空间细节
南洋理工大学、卡内基梅隆大学、清华大学等机构提出UniMetric,用多个常见物体的合理高度区间,给三维场景找回米制尺度。在九种几何模型、十二个固定评测子集上,平均深度相对误差降低54.2%。校准不需要新增传感器,也不训练额外的专用模型,同
AI女爱豆也开始休产假了?
新加坡国立大学、可灵AI、香港科技大学团队提出DiffusionART,先把同一提示下的好坏样本汇总成共同方向,再更新图像或视频生成模型。在HunyuanVideo-13B等权视觉与运动奖励实验中,达到DiffusionNFT后期奖励水平所
中科大、快手团队提出UniGVC,把视频压成同一份码流,再提供两种重建路径:流式播放优先快,回放优先细节。论文中,快速路径以36.85 FPS解码1080p视频,相对高质量路径提速超过250倍。接收端无需重新编码原始数据,就能选择不同的播放
阿里巴巴、北京大学、中科大、浙江大学等机构提出MotionCoach,让一个多模态助手先寻找、检查并裁出专业动作参考,再指导视频编辑模型。314项任务上,Seedance 2.0的综合分从55.1升到65.6,MiniMax-H3从51.2
南京大学、清华大学、快手、上海人工智能实验室等机构提出Memory Forcing,为视频生成保留开头、近期和中间事件三类记忆。它让模型在视频继续变长时,还能查到早先发生的内容。在1.3B模型测试中,VBench综合分从5秒的83.88到6
复旦大学、微软研究院等机构提出Compo,让用户在画布上安排图片、文字和位置,再生成海报。输入可以明确某个人物放哪里、文字写什么、哪些部分保持原样。它将布局要求变成空间约束,减少仅靠长提示词描述排版时的歧义。