Generative Animations: A Multi-Model Pipeline for Prompt-Driven Motion Synthesis
生成式动画:面向提示驱动运动合成的多模型流水线
机构 * Canva ; Adobe
AI总结 提出一种结合大语言模型和分割模型的流水线,将自然语言提示自动转换为符合场景几何、深度遮挡和3D透视变换的动画运动路径。
Comments 5 pages, 6 figures
大厂专区
生成式动画:面向提示驱动运动合成的多模型流水线
机构 * Canva ; Adobe
AI总结 提出一种结合大语言模型和分割模型的流水线,将自然语言提示自动转换为符合场景几何、深度遮挡和3D透视变换的动画运动路径。
Comments 5 pages, 6 figures
AMARIS: 一种用于基于评分标准的强化学习的记忆增强评分标准改进系统
机构 * The University of Texas at Dallas(德克萨斯大学达拉斯分校) ; Adobe Inc.(Adobe公司) ; Department of Computer Science, University of California, Santa Barbara(加州大学圣芭芭拉分校计算机科学系)
AI总结 提出AMARIS系统,通过持久化评估记忆存储纵向训练证据来改进评分标准,在科学、医学、指令遵循和创意写作任务上优于静态、局部自适应和无记忆基线方法。
Comments Preprint. Under review
挖掘属性子空间以实现3D基础模型的高效微调
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Shanghai Jiao Tong University(上海交通大学) ; Adobe Research(Adobe研究) ; Google Research(谷歌研究)
AI总结 本文通过生成合成数据并提取与纹理、几何、相机运动和光照变化相关的LoRA子空间,发现这些子空间近似解耦,集成后形成降维子空间,从而提高下游任务微调的效率和预测精度。
Comments 10 pages, 8 figures. Code here: https://github.com/jpppppppppppppppppppppppp/Subspaces-Mining-for-VGGT
DreamSim: 使用合成数据学习人类视觉相似性的新维度
机构 * MIT(麻省理工学院) ; Weizmann Institute of Science(魏茨曼科学研究所) ; Adobe Research(Adobe研究)
AI总结 本文提出DreamSim指标,通过合成数据训练,在图像布局、对象姿态和语义内容等中高层面上对齐人类感知,并在检索和重建任务中优于现有指标。
Comments Website: https://dreamsim-nights.github.io/ Code: https://github.com/ssundaram21/dreamsim
Journal ref Advances in Neural Information Processing Systems 36 (NeurIPS 2023)