arXivDaily arXiv每日学术速递 周一至周五更新

行业趋势

图像、视频、三维重建与视觉内容生成。

2609.09020 AI基础设施

神经压缩跑过JPEG?PIC做到20 FPS编码、2000 FPS解码

清华大学、鹏城实验室、哈尔滨工业大学(深圳)、京东集团探索研究院联合提出实用隐式神经图像编解码器PIC,用一次前向计算准备全部网络信息,把编码速度做到20 FPS,并用优化解码器达到2000 FPS。论文称其在相近率失真表现下超过JPEG解

清华大学、鹏城实验室、哈尔滨工业大学(深圳)、京东集团探索研究院等
文章封面
2609.08084 视觉与生成

一张照片也能看清发丝深度,Marigold V2误差再降16%—26%

洛桑联邦理工学院、华为Bayer实验室、博洛尼亚大学联合提出Marigold V2,把现代图像生成模型改造成一次前向计算即可输出深度图的估计器。它在KITTI和ETH3D上把AbsRel误差相对此前最佳结果改善16%—26%,并能保留毛发、

洛桑联邦理工学院、华为Bayer实验室、博洛尼亚大学等
文章封面
2609.08117 自动驾驶

斯坦福等做出393小时驾驶员动作库,转向前手臂运动多3.4倍

南佛罗里达大学、普渡大学、斯坦福大学、中佛罗里达大学联合建立DriveMotion,把360位驾驶员的393小时座舱视频整理成133关键点连续动作序列。论文发现,车辆机动前窗口的手臂运动幅度是同路线稳定驾驶对照的3.4倍。它提供的是数据集与

南佛罗里达大学、普渡大学、斯坦福大学、中佛罗里达大学等
文章封面
2609.05416 视觉与生成

一段视频拆出数百个3D物体,阿里等团队提出WorldSculpt

阿里达摩院Alaya实验室与东京大学团队提出WorldSculpt,从一段多视角视频恢复可组合的3D场景,并为其中每个物体输出独立网格。它面向含数百个物体、遮挡严重的场景,却主要用单物体数据微调。结果显示组合式重建可扩展,但真实场景质量仍依

阿里达摩院Alaya实验室、东京大学等
文章封面
2609.04250 视觉与生成

数字人边说边动快5.4倍,北大等团队做出Motion-Omni

北京大学与香港中文大学(深圳)团队提出Motion-Omni,让数字人在生成语音的同时生成面部表情和全身动作。Motion-Omni-Q7相对“语音模型再接动作模型”的级联系统响应快5.4倍,实时因子为0.78。实验说明联合生成能降低等待,

北京大学、香港中文大学(深圳)等
文章封面
2609.05415 视觉与生成

一套模型让万种骨架动起来,普林斯顿等团队提出UniMate

普林斯顿大学、加州大学伯克利分校、麻省理工学院和南洋理工大学团队提出UniMate:输入文字和一副目标骨架,同一个模型就能为人、四足动物、鸟、鱼、昆虫乃至机械结构生成动作。配套UniML3D汇集13006段动作;论文证明的是零样本跨拓扑迁移

普林斯顿大学、加州大学伯克利分校、麻省理工学院、南洋理工大学等
文章封面
2609.04190 视觉与生成

一个模型免训练完成多种视频编辑,FiVE准确率从58.95升到78.16

伊利诺伊大学厄巴纳-香槟分校团队提出EditVid,用一个免训练框架兼容指令驱动和参考主体驱动的视频编辑。它在FiVE上取得78.16 FiVE-Acc,对比免训练基线为58.95,用户研究总体偏好51.8%;优势来自论文选定任务和模型,不

伊利诺伊大学厄巴纳-香槟分校等
文章封面
2609.04201 视觉与生成

英伟达只加约1%参数改造3D重建,单卡8小时收敛、轨迹误差降逾60%

英伟达、阳明交通大学提出Scal3R,专门修复长视频在线三维重建的累计位姿漂移。它冻结原有主干,只增加约1%可学习参数,单张GPU训练8小时,并把KITTI相对在线基线的平均轨迹误差降低超过60%;这个比例只对应论文比较设置。

英伟达、阳明交通大学等
文章封面
2609.03919 视觉与生成

微软亚研院等让一张图变成长镜头世界,绕一圈回来场景仍对得上

微软亚洲研究院、中国科学技术大学、清华大学等机构提出OctWorld,从一张图沿指定相机路线持续生成可探索视频。系统用动态八叉树保存三维记忆,重点处理长路径后重新看见旧区域时的空间一致性;论文展示的是离线作者实验,不能据此认定已经达到实时交

微软亚洲研究院、中国科学技术大学、清华大学等
文章封面
2609.03153 视觉与生成

Adobe等让AI给生成视频查物理错误,304条缺陷解释了228条

Adobe Research、卡内基梅隆大学、佐治亚理工学院、东北大学等机构提出VeriPhy,逐条检查生成视频违反了哪项物理要求、错误出现在何时。149段核心视频含304条人工缺陷,它解释了228条,对比评测器为164条;同骨干直接提示也

Adobe Research、卡内基梅隆大学、佐治亚理工学院、东北大学等
文章封面
2609.04120 视觉与生成

美团等做出无掩码视频试衣,大动作遮挡也能保持衣服细节

美团、中国科学技术大学、南京理工大学、新加坡国立大学等机构提出BooM-VVT,让视频虚拟试衣不再需要用户提供试衣区域掩码。方法用图像级伪数据学习定位,并在大动作、遮挡和多视角条件下保持服装细节;成绩来自论文数据集与作者比较,尚不代表任意自

美团、中国科学技术大学、南京理工大学、新加坡国立大学等
文章封面
2609.03952 视觉与生成

腾讯混元给世界模型装上双重裁判,三项指标超过GPT-5.5

腾讯混元、复旦大学、上海人工智能实验室等机构提出WorldReward,把世界模型的镜头动作执行和画面质量交给同一个奖励模型判断。它在760对人工标注视频上,三项偏好一致性分别比GPT-5.5高3.42、1.45和3.56个百分点;结果来自

腾讯混元、复旦大学、上海人工智能实验室等
文章封面
2609.01683 AI基础设施

ESP32视觉模型也能现场适应:只多花8.3毫焦,恢复93%收益

巴基斯坦国立科技大学、FAST-NUCES大学联合提出FORGE,让已经量化并部署到微控制器的视觉模型只靠前向计算适应模糊、噪声和光照变化。适配21层中的3层即可恢复93%的收益,在ESP32-S3上额外耗能8.3毫焦、耗时21.9毫秒;数

巴基斯坦国立科技大学、FAST-NUCES大学等
文章封面
2609.01823 视觉与生成

斯坦福等让野外动物视频变3D动作:一张图也能驱动可渲染动画

伊利诺伊大学厄巴纳-香槟分校、宾夕法尼亚大学、斯坦福大学、剑桥大学等机构联合提出Kirin,从野外视频重建四足动物3D动作,再按文字和图片生成可直接驱动网格的动画。项目展示了多物种动作和基线对比,降低动物动作采集门槛;效果仍受视频遮挡、重建

伊利诺伊大学厄巴纳-香槟分校、宾夕法尼亚大学、斯坦福大学、剑桥大学等
文章封面
2609.01899 视觉与生成

DeepMind测了11万条3D轨迹:相机更多,跟踪却不一定更准

谷歌DeepMind、伦敦大学学院、牛津大学、苏黎世联邦理工学院等机构联合构建TAPVid-MV,收录284段序列、1142路标定相机流和109769条3D点轨迹。30多种基线仍远未解决任务,多视图跟踪器也不稳定优于单目方法;结论针对该基准

谷歌DeepMind、伦敦大学学院、牛津大学、苏黎世联邦理工学院等
文章封面
2609.02291 视觉与生成

清华等把生成式视频压缩做到实时:码率少58%,720p跑到13帧

清华大学、哈尔滨工业大学(深圳)、北京大学等机构联合提出VoRTeC,用Wan2.1流模型的生成先验做超低码率视频压缩。论文报告其相对既有扩散式方案减少58%比特消耗,720p解码达到13 FPS、480p达到32 FPS;速度与画质结论来

清华大学、哈尔滨工业大学(深圳)、北京大学等
文章封面
2609.02886 视觉与生成

英伟达等做出SolarWM:只看5秒训练片段,也能实时推演数小时

香港中文大学(深圳)、新加坡国立大学、英伟达、微软亚洲研究院等机构联合提出SolarWM,把10个数据集的143万段视频整理成统一训练流水线。模型只用5秒序列训练,却能连续生成分钟到小时级实时轨迹,方便研究者比较不同视频骨干;这些轨迹仍是固

香港中文大学(深圳)、新加坡国立大学、英伟达、微软亚洲研究院等
文章封面
2609.01551 视觉与生成

Meta研究发现:视频模型懂镜头运动,直觉物理却接近随机

约克大学、Vector研究院、Meta FAIR、麦吉尔大学联合逐层分析V-JEPA 2和VideoMAE-v2。两种视频模型的镜头运动探针ROC AUC超过90%,异常检测超过60%,直觉物理任务却接近随机水平。

约克大学、Vector研究院、Meta FAIR、麦吉尔大学等
文章封面
2609.00956 视觉与生成

删掉物体还不够,港大方法连掩码外的阴影一起清理

香港大学、中山大学提出PredErase,用冻结的FLUX.2和I-JEPA同时移除物体及其掩码外光影残留。方法不做额外训练,重点处理传统填充模型删掉主体后仍留下的投影、接触阴影和支撑面痕迹。

香港大学、中山大学等
文章封面
↑