arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

Adobe给AI修图画了三种线:白色必改,灰色可改,黑色别动

作者:arXivDaily编辑部 arXiv 2609.10811 cs · cs.CV

论文导读

Adobe Research、威廉与玛丽学院提出Overpainting,用白、灰、黑三值蒙版告诉AI哪些像素必须修改、可以修改和绝对不能动。它既能保护背景,又允许模型在物体边缘补足上下文;结果来自研究原型和用户实验,并非Adobe商业软件已经上线的功能。

只有“改”与“不改”,边缘最容易出问题

局部生成通常使用二值蒙版:白色区域重画,黑色区域保留。边界画得太紧,模型没有空间补阴影、反光和遮挡;画得太松,又可能伤到本来不想改变的背景。用户常常知道主体必须改,却无法精确决定边缘应该改到哪里。

Overpainting增加灰色区域。白色像素必须变化,黑色像素被锁定,灰色像素由模型结合文字指令和原图决定。用户可以在核心区域下硬命令,同时把不确定的边缘交给模型处理。这比把整块区域完全擦掉多保留了一层原始内容线索。

项目页样例:同一茶壶按多个指令逐步增加材质、咖啡、金属环、布罩和蒸汽。

模型同时读取原图、文字和三值蒙版

团队在预训练图像编辑扩散模型上加入联合注意力和低秩适配,让噪声、原图与蒙版共同影响结果。训练时会随机丢掉部分注意力输入,防止模型只听某一路信息:完全照抄原图会不肯改,只看噪声和文字又会破坏上下文。

训练数据也不是人工逐张绘制三值蒙版。流程先调用已有语言编辑模型生成候选图像对,再筛掉不合格样本,最后从变化区域提取蒙版。白色覆盖确定发生的编辑,灰色向外扩展成为可协商边界,黑色保留其他区域。

同一张图可用不同松紧边界完成不同编辑

论文展示替换材质、增加物体、改变形状和连续多轮编辑。对同一个提示,较紧的蒙版保留更多原图,较松的灰色边界让模型调整周围结构。图中每个结果都配有实际蒙版,读者能看到变化来自哪块区域。

图10:同一输入在不同文字指令与蒙版下得到的局部编辑结果。

用户研究让参与者分别用三值蒙版和传统二值蒙版完成目标编辑。三值方式提供更灵活的边界,但用户仍要理解三种颜色的含义;当目标本身很清楚、边界规则时,二值蒙版可能更直接。论文也指出模型受基础编辑能力限制,复杂遮挡和大幅几何变化仍会失败。

图21:参与者学习并分别使用三值与二值蒙版完成局部编辑任务。

下一步是把灰色区域变成可调交互

研究原型已经证明“必须改、可以改、不能改”比单一选区更贴近真实修图意图。产品化可以把灰区做成羽化笔刷、边缘容差或自动建议,让普通用户不必手工画出三种颜色。

后续还需测试更高分辨率、复杂人像、透明材质和连续编辑历史,并记录每一步实际改动范围。只有当模型能稳定遵守黑色保护区,三值蒙版才适合进入专业工作流。

参考资料

https://arxiv.org/abs/2609.10811

https://arxiv.org/html/2609.10811

https://overpainting.github.io/