论文导读
复旦大学、阶跃星辰、上海创智学院、香港中文大学提出FLASH,让低分辨率分支把住修改方向,高分辨率分支补回局部细节。4K测试中,渐进路径把端到端耗时从309.69秒降到215.31秒,缩短30.5%。直接路径则在同组2K和4K比较中取得更好的多项结构保真指标,让修图的速度与保留原貌可以分开衡量。
加一只白鸽,旁边的字别一起改糊
在公交车上方加一只白鸽,是论文展示的一条编辑指令。比较图把整张街景与局部字牌一起列出来:看新增对象有没有落到场景中,也看原有细节能否留下。这幅具体示例是2K输出,不能把它说成所有4K结果的直接展示。
图:上排为街景编辑结果,下排放大公交站牌与周边文字,逐列比较原图、不同方法和渐进路径。
高清编辑不只是生成更多像素。模型还得遵循同一条指令,保持不该动的位置,并让修改区域与周围接得上。先在低分辨率完成编辑、再交给外部超分辨率模型,虽然便宜,却可能让细节恢复脱离原来的修改过程。
FLASH把这两件事放回同一个编辑器。论文以FLUX.2 Klein Base 4B为基础,在2K和4K分辨率上比较不同路径,并用509条、覆盖12类编辑的指令进行评估。
一条支路定全局,另一条只看附近
低分辨率支路保持冻结,负责在较小画面上确定语义和结构。高分辨率支路接收与自身位置对齐的低清状态,再围绕局部区域处理高清细节,而不是让所有高清位置与整张参照图无差别交流。
图:左侧矩阵标出不同序列的连接,右侧以树木场景展示低清生成、混合分辨率细化和局部参照区域。
局部处理也不能把画面切成互不相干的格子。作者让每个窗口能够看见周围一圈区域,帮助纹理和边界跨窗口连续。读者可以把它理解成:大方向看全图,落笔时看局部,但局部还要留一点周边参照。
论文还做了移除低清锚点的实验。给大象换成热带雨林背景时,完整模型与只保留稀疏高清计算的版本呈现出不同结果,说明局部细节计算本身不能替代全局编辑方向。
图:从左到右为高清源图、低清源图、完整跨分辨率输出与仅稀疏高清输出,比较全局结构是否保留。
30.5%是整段等待,4.2倍是另一个测试
主结果里,4K直接路径耗时309.69秒,渐进路径215.31秒。渐进做法用低清计算代替早期一部分高清去噪,后面再转入高清细化。这能少等约94秒,但结构相似等指标也有所下降,速度不是免费获得的。
文章标题中的30.5%来自这组成对端到端时间。另一个容易混淆的数字是4.2倍:它来自单次前向计算诊断,使用的稀疏范围设置也不同于主表。注意力部分的25.3倍同样只是该诊断中的局部计算速度,不能写成整张4K图生成快25倍。
测量时间排除模型加载,比较的外部超分辨率方法则计入相应处理时间。把这些条件说清,才知道等待究竟省在模型的哪一步。
保留原图,不等于完成所有指令
直接路径在两种分辨率下的全图结构相似、保留区域像素和结构指标上表现突出。指标关注的是输出与来源图像的关系,不能单独证明每一条修改指令都完成得最好;例如,少改画面也可能让某些保真数字更好看。
因此,论文把案例、保留区域和编辑区域分别检查,并把速度单列。渐进切换发生得越晚,更多步骤留在低清阶段,等待还可继续缩短,但用于高清细化的机会也更少。使用者能据此选择时间与细节之间的位置,而不是只追一个脱离画质的加速倍数。
参考资料
https://arxiv.org/html/2611.04416
https://arxiv.org/pdf/2611.04416