arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新

行业趋势

图像、视频、三维重建与视觉内容生成。

2610.22499 视觉与生成

AI张嘴不用等整段视频,双4090首包音画延迟1.27秒

韩国科学技术院、韩国中央大学提出JAVIS,让语音和说话人面部视频共用一套表示,再分别流式生成。在双RTX 4090、五个查询的测试中,首次音画包平均1.27秒到达,生成实时率为0.541。数字人不必等整段语音和视频做完,才开始同时开口。

韩国科学技术院、韩国中央大学等
文章封面
2610.23772 视觉与生成

一张照片转着看,AI分身把表情和镜头分开控制

慕尼黑工业大学、Woven by Toyota、丰田欧洲等机构提出Video Diffusion Avatars,从一张照片生成可分别控制镜头、上身姿态和表情的数字分身。在BecomingLit测试中,脸部感知误差较MVP4D降低约29%。

慕尼黑工业大学、Woven by Toyota、丰田欧洲等
文章封面
2610.23297 视觉与生成

调焦不用反复生成整张照片,后续编辑0.47秒

成功大学、纽约州立大学奥尔巴尼分校、阳明交通大学联合提出FlashReFocus,把拍照后的重新对焦拆成一次清晰图恢复和多次轻量渲染。在1536×1536分辨率、RTX PRO 6000上,首次调焦2.50秒,之后每次只需0.47秒。选前景

成功大学、纽约州立大学奥尔巴尼分校、阳明交通大学等
文章封面
2610.21865 视觉与生成

画颗星指定亮处,服装草图生成能重新打光的3D

科奇大学、曼彻斯特大学研究人员提出草图到三维服装的生成流程:星星指定亮处,月亮指定阴影,再配一段材质描述,得到带独立光源的服装网格。在366张留出渲染测试中,光源方向平均误差为22.9度,低于固定方向基线的47.5度,让草图中的光影意图成为

科奇大学、曼彻斯特大学等
文章封面
2610.20651 视觉与生成

二维纸样自己拼成衣服,63.3%测试服装缝线全找对

SEDDI研究人员提出两套学习方法,只读取二维服装纸样,就预测边缘该怎样缝合、各块衣片该摆在人体哪里。团队在4035件专业装配的数字服装上训练与评价,测试中63.28%的服装完整恢复缝合拓扑,另一个摆片模型在66.2%的服装上满足全部衣片的

SEDDI等
文章封面
2610.21090 视觉与生成

500块真布料换着光拍,AI重建织物不再只贴照片

西蒙菲莎大学、西湖大学、都灵大学等机构构建RoboCloth,用机械臂控制相机和灯光,采集500种真实布料,每种约580帧。团队再用这些测量训练织物反射先验,在独立系统采集的12种材料上取得平均36.76dB的重建PSNR,让虚拟布料能够保

西蒙菲莎大学、西湖大学、都灵大学等
文章封面
2610.22371 视觉与生成

会生成视频的AI,转身追踪火烈鸟细腿和滑雪轨迹

南洋理工大学、牛津大学提出Gen4P,把预训练视频生成模型改造成读取三维运动的感知器。一段视频经过一次编码后,可以按需查询点轨迹、深度和相机姿态;论文展示了火烈鸟细腿和滑雪动作的追踪,并在多组世界坐标追踪测试中取得有竞争力的结果。

南洋理工大学、牛津大学等
文章封面
2610.22328 视觉与生成

连改10轮别把照片改糊,AI老师始终盯着原图

特拉维夫大学提出ACEdit训练方案,让修图模型连续修改自己的输出,同时由始终看着干净原图的教师提供指导。团队用252条真实照片编辑链检查累计10次修改后的画质、内容保留和指令执行,减少了多轮修图中的偏色与细节流失,让局部修改更能保住原来的

特拉维夫大学等
文章封面
QuestMobile、微信短剧界面、红果官方App Store、界面新闻、上观新闻、流媒体网 更多前沿

绿泡泡大战红果果,“头腾大战”烧心吗?

9月底,腾讯在微信内上线了“绿泡泡短剧”小程序,用户无需下载独立APP,可直接观看。

绿泡泡与红果标识对决示意
2610.14685 视觉与生成

镜头绕到背面也别换个世界,腾讯等团队用共享记忆改视频视角

腾讯、中国科学技术大学、微软等机构提出Demiurge,让一段视频生成的新视角共用动态场景记忆,减少镜头转动后的外观漂移。团队用128段输入视频、每段14条轨迹检查一致性,跨视角匹配指标View Sync达到64.893。已看到与后来补出的

腾讯、中国科学技术大学、微软等
文章封面
2610.16277 视觉与生成

只戴消费级头显,也能驱动全身数字分身:端上27帧每秒

美国西北大学、芝加哥大学、谷歌提出FlowAvatar,在消费级Quest Pro上整合身体姿态、手指、表情和视线,驱动外观类似本人的数字分身。端上完整管线达到27帧每秒,动作延迟97毫秒。用户先用手机拍一段视频建立外观,再由头显的稀疏头手

美国西北大学、芝加哥大学、谷歌等
文章封面
2610.14726 AI基础设施

视频解码快近3倍,商汤等团队保留99.51%的生成评测总分

商汤、北京航空航天大学、南洋理工大学提出LightVAE,压缩视频从内部表示还原成画面的解码步骤。在MiniMax-H3的RTX 5090测试中,解码吞吐量达到原来的2.97倍,同时保留99.51%的VBench-2.0总分。方法把空间细节

商汤、北京航空航天大学、南洋理工大学等
文章封面
2610.16945 视觉与生成

不加新传感器,AI给三维场景找回米制尺度:深度误差降54.2%

南洋理工大学、卡内基梅隆大学、清华大学等机构提出UniMetric,用多个常见物体的合理高度区间,给三维场景找回米制尺度。在九种几何模型、十二个固定评测子集上,平均深度相对误差降低54.2%。校准不需要新增传感器,也不训练额外的专用模型,同

南洋理工大学、卡内基梅隆大学、清华大学等
文章封面
2610.12572 视觉与生成

达到同等奖励省约12倍GPU小时,可灵等改造视频强化学习

新加坡国立大学、可灵AI、香港科技大学团队提出DiffusionART,先把同一提示下的好坏样本汇总成共同方向,再更新图像或视频生成模型。在HunyuanVideo-13B等权视觉与运动奖励实验中,达到DiffusionNFT后期奖励水平所

新加坡国立大学、可灵AI、香港科技大学等
文章封面
2610.13023 AI基础设施

1080p解码36.85帧,同一份视频码流兼顾直播与回放

中科大、快手团队提出UniGVC,把视频压成同一份码流,再提供两种重建路径:流式播放优先快,回放优先细节。论文中,快速路径以36.85 FPS解码1080p视频,相对高质量路径提速超过250倍。接收端无需重新编码原始数据,就能选择不同的播放

中科大、快手等
文章封面
2610.12963 视觉与生成

动作名听不懂?阿里、北大给视频AI找来参考片段

阿里巴巴、北京大学、中科大、浙江大学等机构提出MotionCoach,让一个多模态助手先寻找、检查并裁出专业动作参考,再指导视频编辑模型。314项任务上,Seedance 2.0的综合分从55.1升到65.6,MiniMax-H3从51.2

阿里巴巴、北京大学、中科大、浙江大学等
文章封面
2610.11756 视觉与生成

视频人物转身回来别换脸!快手等给生成模型留住中间记忆

南京大学、清华大学、快手、上海人工智能实验室等机构提出Memory Forcing,为视频生成保留开头、近期和中间事件三类记忆。它让模型在视频继续变长时,还能查到早先发生的内容。在1.3B模型测试中,VBench综合分从5秒的83.88到6

南京大学、清华大学、快手、上海人工智能实验室等
文章封面
2610.12230 视觉与生成

海报别靠嘴排版!复旦等让AI照着画布摆文字和图片

复旦大学、微软研究院等机构提出Compo,让用户在画布上安排图片、文字和位置,再生成海报。输入可以明确某个人物放哪里、文字写什么、哪些部分保持原样。它将布局要求变成空间约束,减少仅靠长提示词描述排版时的歧义。

复旦大学、微软研究院等
文章封面
↑