arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

只用8G显存、16G内存,就能跑MiniMax H3生成视频

作者:arXivDaily编辑部 FreeVideo / FlashML;OpenVDN

8GB显存、16GB内存,也能让自己的电脑生成MiniMax H3视频了。

FlashML团队的FreeVideo,把本地推理引擎接进了ComfyUI。项目给出的最低门槛是8GB显存加16GB内存,PC端需要兼容的英伟达GPU,消费卡对应RTX 30系及更新架构。

项目展示页里,黑衣剑士在悬桥上对战机械怪物,也有水墨风格的茶楼交锋。

FreeVideo官方《悬桥巨剑对决》High档演示静帧。

8GB加16GB,跑一段要等多久

项目社区记录里,一台RTX 4060 Ti,恰好就是8GB显存、16GB内存。它在v0.4.0、Light档下,生成了672×1184的6.6秒视频,从提交到保存用了887秒,约15分钟。

另一个更早的RTX 5060案例,同样是8GB加16GB:v0.3.1、Light档,1344×768的15秒视频,耗时1367秒,约23分钟。

所以,8GB是一个能尝试本地生成的入口,耐心也得算进配置里。

尤其在16GB内存的低配机器上,磁盘速度会直接影响等待。项目对前面那台4060 Ti的分析是:文本编码器和部分视频模型留不住在内存里,需要从磁盘读取,仅文本编码与第一遍采样就花了约460秒。

显存不够,内存和磁盘一起上

FreeVideo实际使用的是基于MiniMax H3改造的VDN-H3八步模型。

Video DeltaNet先改变了模型处理画面之间关系的方式:相邻帧保留更精细的Softmax注意力,较远的画面信息交给双向线性记忆。论文还通过蒸馏,把采样从50步压到8步。

Softmax与Linear两条分支共同处理视频上下文。来源:Video DeltaNet论文图3。

FreeVideo再负责把模型安排进现有硬件:50个Transformer块里,能留在显卡上的就常驻,其余放到内存,必要时从磁盘逐块读入,并提前搬运下一批要用的权重。

计算也会分块执行;文本编码器在独立进程里跑完后先退出,再给视频模型腾地方。消费级GeForce主要走int8,部分专业卡、数据中心卡则有FP8路径。

低显存运行靠的是模型改造、低精度计算和数据搬运共同配合。内存越紧,越容易把时间花在读盘与传输上。

不只接节点,也能续拍和找回参数

在ComfyUI里,FreeVideo提供了专门的创作面板:输入提示词或首帧,选择画幅、时长,再生成视频。需要添加LoRA或调整连线时,可以切回节点视图。

FreeVideo创作面板的操作区域。来源:项目README。

它提供Light、Medium、High、Max四档质量,还能先生成半分辨率预览,满意后再完成第二遍采样。对于低配机器,这比每次都等完整成片更方便挑选结果。

生成的视频还带着工作流信息:拖回ComfyUI画布,就能恢复提示词、种子和设置。下一次想改镜头,不必凭印象重新凑参数。

FreeVideo官方《茶楼竹伞攻防》High档演示,按时间排列的三个静帧。

FreeVideo在10月15日发布了v0.4.6,新增角色库,允许给角色准备正面与其他角度的图片,在描述中用“@”引用为参考素材,并改进长视频各段的人物与声音接续。

分钟级视频采用分段接续生成:后面一段接着前面一段继续,再放到时间线上剪辑。它还支持文字、字幕、变速等操作,逐渐把生成和剪辑接在了同一个工作台里。

Mac也能跑,但42分钟确实要等

Mac目前仍是实验预览。官方指南里,一台24GB统一内存的M5,可用内存约14GB,生成10秒、1344×768视频约需42分钟;降到960×544,同样10秒约需22分钟。

这些时间使用了M5的int8计算路径。更早的Mac会把同一权重解码为BF16再算,耗时更长。Mac的统一内存配置,也不能直接套用PC的“8GB显存加16GB内存”。

想在PC上尝试,可以从发布页下载Windows或Linux启动器,由它部署运行环境和模型;已有ComfyUI的用户,也可作为自定义节点安装。Mac包要求Apple芯片和macOS 14及以上。

下载入口:https://github.com/FlashML-org/FreeVideo/releases/tag/v0.4.6

作品与质量档位对比:https://freevideo-community.pages.dev/#gallery

FreeVideo代码采用Apache 2.0许可,模型权重则遵循MiniMax H3社区许可,另有地域与使用范围限制。模型下载空间和低内存时的读盘需求,也要提前留在本地机器的预算里。

参考资料

https://github.com/FlashML-org/FreeVideo

https://github.com/FlashML-org/FreeVideo/blob/main/docs/community-results.md

https://github.com/FlashML-org/FreeVideo/blob/main/docs/execution-planning.md

https://arxiv.org/abs/2609.20744v3

https://github.com/FlashML-org/FreeVideo/releases/tag/v0.4.6

https://github.com/FlashML-org/FreeVideo/blob/main/docs/Mac.md

https://huggingface.co/OpenVDN/vdn-minimax-h3-edge/blob/main/LICENSE

↑