StyleMotif：使用风格-内容交叉融合的多模态运动风格化
StyleMotif: Multi-Modal Motion Stylization using Style-Content Cross Fusion
AI总结：
StyleMotif提出一种风格化运动潜在扩散模型，通过风格-内容交叉融合机制，从多模态输入中提取风格线索，生成兼具内容多样性和风格准确性的运动，超越现有方法。
摘要：
我们提出了StyleMotif，一种新颖的风格化运动潜在扩散模型，生成以来自多种模态的内容和风格为条件的运动。与现有方法要么专注于生成多样化的运动内容，要么专注于从序列中迁移风格不同，StyleMotif在融合来自多模态输入（包括运动、文本、图像、视频和音频）的风格线索的同时，无缝地合成广泛内容范围内的运动。为实现这一目标，我们引入了一种风格-内容交叉融合机制，并将风格编码器与预训练的多模态模型对齐，确保生成的运动在保持真实感的同时准确捕捉参考风格。大量实验表明，我们的框架在风格化运动生成方面超越了现有方法，并展现出多模态运动风格化的新兴能力，从而实现更细致的运动合成。源代码和预训练模型将在论文被接收后发布。项目页面：https://stylemotif.github.io
英文摘要：
We present StyleMotif, a novel Stylized Motion Latent Diffusion model, generating motion conditioned on both content and style from multiple modalities. Unlike existing approaches that either focus on generating diverse motion content or transferring style from sequences, StyleMotif seamlessly synthesizes motion across a wide range of content while incorporating stylistic cues from multi-modal inputs, including motion, text, image, video, and audio. To achieve this, we introduce a style-content cross fusion mechanism and align a style encoder with a pre-trained multi-modal model, ensuring that the generated motion accurately captures the reference style while preserving realism. Extensive experiments demonstrate that our framework surpasses existing methods in stylized motion generation and exhibits emergent capabilities for multi-modal motion stylization, enabling more nuanced motion synthesis. Source code and pre-trained models will be released upon acceptance. Project Page: https://stylemotif.github.io
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
