arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新

PAPERDAILY REPORTS

照片连改20轮,桌面不再越改越变色!港中大等把修正留到最后

作者:arXivDaily编辑部 论文中文资料arXiv 2611.06741 cs · cs.AI · cs.CV

论文导读

香港中文大学、商汤科技、上海人工智能实验室把AI修图的目标推进到连续多轮:该换的物体换掉,没要求动的背景尽量别变。TailSteer在FLUX、SenseNova和千问三类模型上测试,减少了15到20轮编辑累积的漂移。论文的20轮桌面案例中,原来的桌色、咖啡杯、拉花和饼干仍能较好保留下来。

改的是杯子,桌面怎么也跟着变了

一轮编辑成功,不代表连改十几次还稳。每次把上一次输出重新送进模型,原图细节都会经过一次生成。轻微色偏、纹理变化、物体形状偏移可以一点点累积,等到后面,没要求改的部分也已经面目全非。

论文把咖啡桌场景连续编辑20轮,比较多种保持方法以及商业图像模型。值得看的不是某一张孤立输出多漂亮,而是此前已经建立的细节还能不能留下:桌面颜色是否漂走,杯子和饼干是否被顺手重画。

图:连续二十轮桌面编辑中,不同方案对桌色和咖啡饼干等细节的保持对比。

这组画面是定性案例,不是“任意照片20轮都不会变”的保证。多轮评测表也显示,不同骨干、指标和设置的变化并不整齐。文章要解决的,是累积误差从哪里来,以及怎样减少它,不是给所有修图任务承诺零损失。

大轮廓先照旧,细节阶段再纠偏

生成图像通常先出现粗略结构,后面才逐渐补出细节。研究者观察到,在采样的尾段,未修改区域的误差仍有纠正空间。如果一开始就强行拉回原图,又可能干扰模型完成正常编辑。

因此TailSteer保留早期生成过程,在靠后的阶段才逐步加强内容保持。可以把它理解为:主要修改按原模型的方法继续做,到了收尾,再提醒模型哪些地方本来不该动。这里的“最后”指生成轨迹的尾段,并非只对成品套一次后期滤镜。

图:不同频率内容随采样恢复的曲线,以及未修改区域误差逐步变化。

训练所需的目标也从编辑过程里找。要求整图不变的指令,能提供全图保持参考;只改局部的指令,则把其他区域当作参考。团队使用模型自己生成并筛选过的轨迹来训练,无需逐张人工制作完整的编辑前后标准答案。它仍然需要源图和训练计算,不能把这种设计说成完全不用数据。

四种骨干都要兼顾“改得对”和“留得住”

实验覆盖FLUX.1 Kontext、FLUX.2 Klein 9B、SenseNova U1.5和Qwen-Image-2.1。每种骨干独立生成和筛选训练轨迹,研究者还检查文本生图、单轮编辑以及多轮内容保持,避免只保住背景却让模型不会修图。

图:多输入编辑中,人物合成、场景物体和女孩衣裙在多轮修改后的对比。

一个早期实验把微调后的模型只用在最后一步,确实能缓解漂移;如果把这种只学最后一步的版本用满全过程,又会出现褪色和细节损失。正式方法因此把保持目标分布到尾段,并在训练时保留前段的原始行为,而不是让同一种修正贯穿到底。

多输入也是一项检验。论文展示把多个人物或物体合到背景里,以及按骨架连续改变女孩姿势。需要保持的已不只是一张脸,还包括背景、服饰和先前放进去的物体。图里可以观察具体细节留下了多少;表格则提醒,保持能力和指令完成率要分别看,少跑偏并不自动等于每一次编辑都更正确。

参考资料

https://arxiv.org/html/2611.06741

https://arxiv.org/pdf/2611.06741

https://arxiv.org/src/2611.06741

https://arxiv.org/abs/2611.06741

↑