arXivDaily arXiv每日学术速递 周一至周五更新
紧急更新!大量爬虫把网站搞的很不稳定,部分功能限制为登录后才能使用,如高级检索等

PAPERDAILY REPORTS

删掉物体还不够,港大方法连掩码外的阴影一起清理

作者:arXivDaily编辑部 arXiv 2609.00956 cs · cs.CV

香港大学、中山大学提出PredErase,用冻结的FLUX.2和I-JEPA同时移除物体及其掩码外光影残留。方法不做额外训练,重点处理传统填充模型删掉主体后仍留下的投影、接触阴影和支撑面痕迹。

物体掩码没有覆盖它造成的影响

用户圈出桌面上的物体时,掩码通常只包住物体轮廓。投影落在旁边,接触阴影贴着底面,反光和遮挡还会延伸到更远位置。只在实例掩码里重绘,物体虽消失,环境仍保留它存在过的光度证据。

PredErase先把实例边缘扩展成接触带,让填充模型可以修改紧邻支撑面的残留;同时限制更远区域保持不变,避免为清理阴影而重画整张图。

图:论文主图展示物体、阴影和清理结果。

I-JEPA预测孔洞里应该出现什么结构

方法把“哪里可以改”和“孔洞应该是什么”分开处理。冻结的FLUX.2负责生成像素,I-JEPA根据上下文预测被遮挡区域的表征目标,稀疏投影梯度再引导填充结果向这个目标靠近。

所有预训练权重保持冻结,因此论文把它称为无训练推理流程。这里的无训练不等于零计算成本:一次编辑仍需要多步生成、表征比较和梯度引导,只是不需要成对干净图像重新优化模型。

图:论文案例比较冻结填充与PredErase结果。

结果优于原生填充,但不是全面领先

论文在RemovalBench、RORD-Val和DEFACTO-Val的实例掩码设置下比较方法,定性图展示物体、阴影与接触痕迹的联合移除。PredErase相对原生FLUX.2有所改善,尤其针对掩码之外的局部残留。

作者明确写明,有监督移除器在多项全图外观指标上仍更强。PredErase支持的结论是冻结填充模型的无训练物体与效果编辑,不能写成取代使用成对数据训练的专用移除器。

图:论文消融图展示不同组件对残留清理的影响。

下一步:编辑工具需要把影响范围交给用户

实际产品可以把实例掩码、接触带和锁定区域可视化,让用户知道哪些像素可能改变。对于商品图、室内设计和素材清理,这比隐藏式全图重绘更容易检查,也能减少背景纹理被意外改写。

下一步应测试透明物体、镜面、复杂软阴影和多个相互遮挡对象,并报告速度与显存。若系统能自动估计投影范围,同时允许人工缩小修改区,无训练方法会更适合作为现有图像编辑器的补充。

接触带的大小可以成为可控参数。边缘太窄会留下阴影,太宽则可能重画桌面纹理或邻近物体;系统可根据光照方向和支撑面几何给出建议范围,再让用户在预览中调整。

定量评测也需要针对效果残留设计指标。全图相似度容易被大面积不变背景主导,无法充分惩罚一小块明显阴影;可以结合局部区域感知评分、人工真假判断和编辑范围偏移。

对于批量商品图,稳定性比单张最好结果更重要。相同布景连续处理多个物体时,背景颜色、纹理和透视应保持一致,并记录失败样本进入人工复核,避免无训练方案在生产线上静默改变商品信息。

编辑结果还需保留来源图和修改掩码,方便内容审核判断哪些区域由模型重绘。对于新闻、证据和纪实图片,这类工具不应被当作无痕处理;在商业素材场景也应保存操作日志,避免后续无法解释画面为何变化。

对视频帧和高分辨率照片,编辑范围还会随尺度变化。方法应在不同分辨率上检查接触带是否保持真实物理宽度,并避免缩放后把细小阴影漏掉;移动端预览也要允许放大核查边缘。

若处理的是带有精确几何纹理的墙面、地砖或木纹,用户还应检查延长线和重复图案是否连续。局部看似自然的补全,放回完整画面后可能暴露透视断裂,这类问题需要全图与局部两级复核。

参考资料

https://arxiv.org/abs/2609.00956

https://github.com/xiuwk0820-collab/PredErase