论文导读
特拉维夫大学提出ACEdit训练方案,让修图模型连续修改自己的输出,同时由始终看着干净原图的教师提供指导。团队用252条真实照片编辑链检查累计10次修改后的画质、内容保留和指令执行,减少了多轮修图中的偏色与细节流失,让局部修改更能保住原来的场景。
改的是一个物体,背景却一点点变了
给玩具换个颜色,再加一顶帽子,最后调整背景。每次单独看都像是改对了,连做几轮,毛发纹理可能变糊,墙面也开始发黄。问题甚至会出现在“保持图片不变”的指令之后。
ACEdit关注的就是这种累积变化。论文用连续场景展示:在车库里依次移除工具和物体,到了第十次,部分对照方法让墙面留下块状痕迹,或把房间整体洗白。新方法更好地保留了未被要求改变的墙、地板与工作台。
图:五列方法对比车库初始画面、第五次和第十次移物后的墙面及工作台
这些是论文提供的定性案例,不能只靠一张图就推出所有照片都稳定。团队还设置了独立的十步编辑测试,把画面质量、未编辑区域保留和最后一步是否听指令分别计分。
学生跟着自己的结果改,老师不跟着跑偏
普通编辑训练经常从干净图片开始,实际使用却是把上一轮输出再送回来。前一轮的小误差因此成为下一轮的输入,模型越改,看到的图片就越偏离原本训练时的样子。
新训练直接让学生经历这种过程:连续做一条修改链,每一步都接着自己的输出。教师走另一条路,始终读取最初的干净图片,并收到截至当前的合并指令。
比如学生先加手提包、再改成红色、再换皮革、最后加金扣,教师看到的则是“给原图加一个带金扣的红色皮包”。两边面对同一个目标,但教师不用继承学生前面已经积累的偏差。
图:学生沿自己的输出连续编辑,教师与辅助编辑器接收原图和合并指令
作者用这种区别给学生提供训练信号,而不是强求每一步都对应一张唯一正确的目标图。局部编辑本来就可能有多个合理答案,重要的是修改应当成立,同时别把不相关区域带偏。
十次编辑后,分开检查三件事
研究在FLUX.2-klein-9B四步模型上进行小规模适配训练,训练图像为96张合成图,每张配一条十次修改链;评测则使用真实照片,与训练图片不重合。
EdiVal-10的252条链都在第十次累计编辑后检查结果。画质由评审模型等指标评价;保留性还比较未编辑主体与背景;指令分数则防止一种“伪稳定”——模型什么都不改,当然不容易漂移。
图:表格分列十轮后的画质、内容保留与指令执行,比较不同基础模型和方法
不同指标回答不同问题。背景更接近原图,不自动说明最后一次要求完成得更好;画面仍然好看,也不代表之前加上的东西都还在。因此文章中的“更稳定”,指这套测试下累积漂移减少,不能偷换成修改绝不出错。
论文也给出具体反例:给徒步人物加过墨镜和帽子,再要求微笑时,新方法仍可能把墨镜一并移除。它继承了基础编辑器的能力边界,困难指令仍会牵连先前内容。
这套方案还区分“反复换全图”和“保留大部分原图”。如果主体与背景不断被整体替换,细节本来就不必跨轮保留;真正容易暴露累积误差的,是小地方连改很多次、其他地方仍需保持一致的编辑链。
参考资料
https://arxiv.org/abs/2610.22328
https://arxiv.org/html/2610.22328