Video = World + Event Stream
视频 = 世界 + 事件流
机构 * Alibaba Group(阿里巴巴集团)
AI总结 研究提出Wan-Streamer v0.3,将视频视为世界加事件流,据此有通用预训练任务,应用于实时全双工视听交互,保留v0.2运行点,为实时下游任务提供能力。
Comments website: https://wan-streamer.com/v0.3/
大厂专区
视频 = 世界 + 事件流
机构 * Alibaba Group(阿里巴巴集团)
AI总结 研究提出Wan-Streamer v0.3,将视频视为世界加事件流,据此有通用预训练任务,应用于实时全双工视听交互,保留v0.2运行点,为实时下游任务提供能力。
Comments website: https://wan-streamer.com/v0.3/
万舞者:一种用于分钟级连贯音乐到舞蹈生成的分层框架
机构 * Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
AI总结 针对从音乐生成舞蹈视频的挑战,提出万舞者分层框架,解耦过程为全局关键帧规划和局部时间细化,利用音乐上下文确保连贯,通过动态帧率自适应等创新,突破时长限制,在多舞蹈类型上表现出色,达新的技术水平。
Comments project: https://humanaigc.github.io/wan-dancer-project/, code: https://github.com/Wan-Video/Wan-Dancer, modelscope: https://www.modelscope.cn/models/Wan-AI/Wan-Dancer-14B, huggingface: https://huggingface.co/Wan-AI/Wan2.2-Animate-14B
异构图神经网络在节点分类中真的有效吗?因果视角
机构 * College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学) ; Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(老年人积极生活卓越研究中心(LILY),南洋理工大学) ; Alibaba-NTU Singapore Joint Research Institute (ANGEL), Nanyang Technological University(阿里巴巴-南洋理工大学新加坡联合研究机构(ANGEL),南洋理工大学)
AI总结 从模型架构和异构信息角度研究异构图神经网络用于节点分类,通过复现实验和因果中介分析框架,发现模型架构和复杂度对性能无因果效应,异构信息通过增加同质性等产生正向因果效应。