ICLR 2025 | 被AI“洗图”也能识别版权！水印技术重大突破：VINE模型全面碾压旧方法! 精华

文章链接：https://arxiv.org/pdf/2410.18775 Git链接：https://github.com/Shilin-LU/VINE

亮点直击

• 提出了W-Bench，这是首个综合性基准测试，旨在评估11 种代表性水印模型在多种图像编辑方法下的表现：图像再生、全局编辑、局部编辑和图像到视频生成。
• 该评估涵盖了7种广泛使用的编辑模型和算法，并表明当前的水印模型在面对这些编辑时表现脆弱。
• 图像编辑主要会去除高频波段的水印信息，而低频波段的水印受影响较小。这一现象在某些模糊失真（blurring distortion）中同样存在。因此，这些失真可以作为替代攻击手段，以规避训练时直接使用 T2I 模型的挑战，并增强水印的鲁棒性。
• 将水印编码器视为条件生成模型，并引入两种技术来适配SDXL-Turbo（一种预训练的单步文生图模型），使其适用于水印任务。这一强大的生成先验不仅提升了水印图像的感知质量，还增强了其对各种图像编辑的鲁棒性。实验结果表明，本文的模型VINE在多种图像编辑方法下均保持鲁棒性，同时维持高图像质量，优于现有水印模型。

W-Bench 评估程序的流程图，水印表现

总结速览

解决的问题

当前图像水印技术面临大型文本到图像（T2I）模型支持的先进图像编辑技术的威胁，这些技术会在编辑过程中破坏嵌入的水印，严重挑战版权保护的有效性。现有水印方法在应对图像再生、全局编辑、局部编辑及图像到视频生成等多样化编辑操作时表现不佳，导致水印难以检测。

提出的方案

• W-Bench基准：首个全面评估水印方法鲁棒性的基准，涵盖四类图像编辑技术（图像再生、全局/局部编辑、图像到视频生成），并对11种代表性水印方法进行测试。
• VINE水印方法：

• 频率特性分析：通过分析图像编辑的频率特性，发现其与模糊失真（如像素化、散焦模糊）具有相似的高频模式衰减特性，遂将模糊失真作为训练中的替代攻击以提升鲁棒性。
• 预训练扩散模型适配：基于SDXL-Turbo大模型构建水印编码器，利用其强大的生成先验实现更隐蔽且鲁棒的水印嵌入。

应用的技术

• 频率域分析：识别图像编辑与模糊失真在频域的共性，指导噪声层设计。
• 生成模型适配：将SDXL-Turbo扩散模型迁移至水印任务，通过条件生成实现高质量水印嵌入。
• 替代攻击训练：在训练阶段引入多种模糊失真模拟编辑攻击，避免直接反向传播T2I模型的内存问题。

达到的效果

1. 鲁棒性提升：VINE在W-Bench测试中显著优于现有方法，能抵抗多种编辑操作（如Instruct-Pix2Pix全局编辑、ControlNet局部修改），水印提取成功率更高。
2. 图像质量保持：结合SDXL-Turbo的生成能力，水印图像在PSNR、SSIM等指标上表现优异，平衡了隐蔽性与鲁棒性。
3. 基准贡献：W-Bench为水印研究提供标准化评估框架，揭示现有方法在T2I时代的技术短板。

方法

图像编辑的频率特性

为开发抗图像编辑的鲁棒水印模型，直接方法是在训练时将图像编辑模型集成到编码器与解码器之间的噪声层中。然而，主流图像编辑方法基于扩散模型，通常需多步采样生成编辑后图像，这会导致在去噪过程中反向传播时出现内存问题。替代方法（如梯度截断）效果不佳，而直通估计器在从头训练时难以收敛。因此，寻求训练中的替代攻击手段。

我们首先分析图像编辑方法如何影响图像频谱。在低频、中频和高频波段分别插入对称图案进行三组实验。下图2展示了低频波段图案的分析流程：

下图3表明，图像编辑方法通常会去除中高频波段图案，而低频图案相对不受影响。这是因为T2I模型倾向于捕捉图像整体语义（低频成分）以对齐文本提示，导致高频细节在生成过程中被平滑。因此，鲁棒水印模型需学会将信息嵌入低频波段。

为寻找有效替代攻击，我们探索与图像编辑相似的图像失真方法T(.) 。如上图3所示，某些模糊失真（如像素化和散焦模糊）与图像编辑具有相似趋势，而JPEG压缩和饱和度调整则无此特性。由于模糊失真计算高效，我们将其按不同强度纳入训练噪声层，迫使模型在低频波段嵌入信息。如下表2的消融实验所示，此举显著提升了抗编辑鲁棒性。

噪声层包含的完整失真集包括：

• 传输退化对抗：饱和度、对比度、亮度调整、JPEG压缩、高斯噪声、散粒噪声、脉冲噪声、斑点噪声；

水印编码的生成先验

尽管在噪声层中引入图像畸变可以增强对抗图像编辑的鲁棒性，但这种改进是以牺牲水印图像质量为代价的，而图像质量受限于水印编码器的能力。水印编码器可视为条件生成模型，其条件不仅包含水印信息，还包含完整图像细节（而非深度图、Canny边缘或涂鸦等简化表征）。假设强大的生成先验能够以更隐蔽的方式嵌入信息，同时提升鲁棒性。因此，我们尝试将大规模文生图（T2I）模型改造为水印编码器。现有大规模T2I模型分为两类：多步生成与单步生成。多步模型会导致水印提取损失的反向传播过程复杂化，且推理速度缓慢，故选用单步预训练模型SDXL-Turbo。

要将SDXL-Turbo转化为水印编码器，关键在于有效融合输入图像与水印信息。扩散模型中常用的条件控制策略是添加适配器分支。但单步生成模型的UNet输入——噪声图会直接决定最终图像布局，这与多步扩散模型逐步构建图像布局的特性截然不同。在单步模型中添加额外条件分支会导致UNet同时接收两组表征不同结构的残差特征，这不仅大幅增加训练难度（如上表2消融实验所示），还会导致性能下降。

如下图4所示，采用条件适配器来融合输入图像与水印信息（结构详见下图11），再将融合数据输入VAE编码器获取潜在特征，最后通过UNet和VAE解码器生成水印图像。我们也尝试通过文本提示输入水印并微调文本编码器，但该方法无法收敛，因此训练时将文本提示设为空值。

尽管SDXL-Turbo的VAE通常表现良好，但其架构并不完全适配水印任务。标准VAE需要在重建能力与压缩能力之间取得平衡，因此会牺牲部分重建精度以获得更平滑的潜在空间和更好的压缩性。但在水印任务中，重建能力对保证水印图像与输入图像的视觉一致性至关重要。为此，在VAE编码器与解码器之间添加跳跃连接（图4）：在编码器每个下采样块后提取四组中间激活值，通过零卷积层传递至解码器对应的上采样块。如表2所示，这一改进显著提升了水印图像的视觉保真度。水印解码采用ConvNeXt-B作为解码器，并添加全连接层输出100位水印信息。

目标函数与训练策略

目标函数采用标准训练方案，平衡水印图像质量与各种图像操作下的水印提取效果。总损失函数为：

分辨率缩放。现有水印模型通常采用固定输入分辨率训练，导致测试时仅能处理固定分辨率输入。但实际应用中，支持原始分辨率水印对保持图像质量至关重要。Bui等人提出一种方法，可使任意水印模型适配不同分辨率，且不损害水印图像质量与固有鲁棒性。实验中，我们对所有方法应用该分辨率缩放技术，使其统一在512×512分辨率下运行（该分辨率与图像编辑模型兼容）。

实验

在W-Bench中，本文评估了11种代表性水印模型对多种图像编辑方法的鲁棒性，包括图像再生、全局编辑、局部编辑和图像到视频生成。

图像编辑方法

全局和局部编辑。尽管全局编辑通常涉及风格化，也考虑仅由文本提示引导的编辑方法。在这些情况下，无论请求的编辑是添加、替换或移除对象，改变动作，更改颜色，修改文本或图案，还是调整对象数量，经常会出现非预期的背景变化。尽管编辑后的背景在感知上通常与原始背景相似，但这些非预期的改变可能会损害嵌入的水印。相比之下，局部编辑指的是使用区域掩码作为输入的编辑模型，确保编辑图像中掩码外的区域保持不变。本文采用Instruct-Pix2Pix、MagicBrush和UltraEdit进行全局编辑，而ControlNet-Inpainting和UltraEdit用于局部编辑。值得注意的是，UltraEdit可以接受区域掩码或不使用掩码运行，这使得我们可以将该模型用于全局和局部编辑。我们使用每个模型的默认采样器，并执行50个采样步骤来生成编辑后的图像。全局编辑的难度由文本提示的无分类器引导尺度控制，范围为5到9，而图像引导固定为1.5。对于局部编辑，难度由编辑区域占整个图像的百分比（即区域掩码的大小）决定，区间设置为10-20%、20-30%、30-40%、40-50%和50-60%。在所有局部编辑的情况下，图像和文本引导值分别固定为1.5和7.5。

图像到视频生成。在实验中，使用SVD从单张图像生成视频。本文评估水印是否在生成的视频帧中仍可检测到。由于初始帧与输入图像非常相似，从第5帧开始分析，直到第19帧，每隔两帧选择一帧。

实验设置

数据集。本文使用OpenImage数据集以256×256分辨率训练VINE。训练细节见附录F。为评估，本文从UltraEdit数据集随机采样10,000个实例，每个实例包含源图像、编辑提示和区域掩码。UltraEdit数据集中的图像来自COCO、Flickr和ShareGPT4V等数据集。这10,000个样本中，1,000个用于随机再生，1,000个用于确定性再生，1,000个用于全局编辑。对于局部编辑，指定5,000个样本，分为五组，每组1,000张图像，分别对应10-20%、20-30%、30-40%、40-50%和50-60%的图像区域掩码大小。此外，我们还包含1,000个样本用于图像到视频生成，1,000个用于测试传统失真，从而完成整个评估集。

基线方法。本文将VINE与11种水印基线方法进行比较，均使用其官方发布的检查点。这些基线包括MBRS、CIN、PIMoG、RivaGAN、SepMark、TrustMark、DWTDCT、DWTDCTSVD、SSL、StegaStamp和EditGuard。尽管基线方法在不同固定分辨率下训练，但应用分辨率缩放将其统一标准化为512×512分辨率。

评估指标。本文使用PSNR、SSIM、LPIPS和FID等标准指标评估水印模型的不可感知性。对于水印提取，必须严格控制误报率（FPR），因为将非水印图像错误标记为水印图像可能有害——这一关注点在过去研究中常被忽视。无论是高比特准确率还是AUROC单独都不能保证在低FPR下获得高真阳性率（TPR）。因此，本文主要关注TPR@0.1%FPR和TPR@1%FPR作为主要指标。相应地，水印图像和原始图像都被输入水印解码器进行评估。本文还提供比特准确率和AUROC作为参考。请注意，所有报告的基线比特准确率均未包含BCH（Bose & Ray-Chaudhuri，1960）等纠错方法，这些方法可应用于所有水印模型。

基准测试结果与分析

下表1总结了整体评估结果。如上所述，以TPR@0.1%FPR作为主要指标，下图5中提供了其他补充指标。每个报告的TPR@0.1%FPR值是m×1,000张图像的平均结果，其中m代表特定图像编辑任务的难度级别数量。质量指标——PSNR、SSIM、LPIPS和FID——通过计算每对水印图像与输入图像的差异后，在所有10,000对图像上取平均值得出。MBRS和StegaStamp在图像再生和局部编辑任务中表现良好，但其图像质量较低。此外，MBRS的编码容量仅限30比特。虽然SepMark、PIMoG和TrustMark在图像质量与检测准确率之间取得了更好平衡，但其检测准确率仍不理想。相比之下，本文的方法VINE-B和VINE-R实现了最佳权衡：VINE-B在图像编辑下提供更优的图像质量和略低的检测准确率，而VINE-R通过牺牲部分图像质量获得更强鲁棒性。EditGuard并非针对抗图像编辑的鲁棒水印设计（其训练采用轻度退化），而是提供篡改定位功能以识别编辑区域。

定性对比

图5展示了不同图像编辑方法在各难度级别下的水印性能。图中显示了对代表性编辑模型的评估结果，如下图18。对于图像再生，VINE-R和MBRS在各难度级别均保持较高TPR@0.1%FPR；VINE-B、StegaStamp和PIMoG在轻微扰动下表现良好。需注意大噪声步长的随机再生会显著改变图像，如下图12，13。虽然SSL比TrustMark具有更高比特准确率和AUROC，但其TPR@0.1%FPR较低。进一步研究发现SSL存在高误报率，对无水印图像常产生超过0.7的比特准确率，因此单靠比特准确率和AUROC不足以评估水印性能。

在全局编辑和局部编辑任务中，VINE-B、VINE-R和StegaStamp在不同无分类器引导尺度下均实现较高TPR@0.1%FPR。值得注意的是，本文也将UltraEdit用于全局编辑——相比instruct-Pix2Pix和MagicBrush，它能更好地对齐编辑图像与编辑指令（编辑模型的定量分析见下表4，5，图14，15）。但如上图18(b)所示，在局部编辑中表现良好的方法，当应用于同一模型的全局编辑时效果欠佳，这表明全局编辑对水印的破坏更显著。图像到视频生成虽非传统图像编辑，但我们关注水印能否在生成帧中持续存在。如图18(e)所示，整体检测率不高。通过频域分析发现，该过程会显著降低所有频段模式的强度（使其不可被人眼察觉），我们推断这是因为生成的视频帧会随物体或相机移动而改变图像布局。这种情况下，水印模式的强度需大幅提升，至少应超过图7所示水平。

消融实验

本节通过一系列消融实验（前表2）展示了本文设计方案的有效性。从配置 A 开始，这是一个基线模型，使用一个简单的 UNet 作为水印编码器，并仅包含常见扰动。在此基础上，配置 B 在噪声层中引入了模糊扰动，显著增强了对图像编辑的鲁棒性，但牺牲了一定的图像质量。配置 C 对配置 B 进行了进一步优化，使用直通估计器（straight-through estimator）结合 Instruct-Pix2Pix 进行微调，进一步提升了鲁棒性，但图像质量略有下降。

配置 D 用预训练的 SDXL-Turbo 替代了 UNet 主干，并通过 ControlNet整合了图像与水印条件，提升了鲁棒性，但由于额外分支引入的冲突，图像质量下降。配置 E 将 ControlNet 替换为我们提出的条件适配器（condition adaptor），在保持配置 D 的鲁棒性的同时，将图像质量恢复到了与配置 B 相当的水平。

配置 F（VINE-B）在配置 E 的基础上引入了跳跃连接（skip connections）和零卷积层（zero-convolution layers），进一步提升了图像质量和鲁棒性。配置 G（VINE-R）使用直通估计器结合 Instruct-Pix2Pix 对配置 F 进行微调，增强了鲁棒性但牺牲了一部分图像质量。值得注意的是，与配置 C 相比，配置 G 借助更大的模型和强大的生成先验，不仅在图像质量上有了显著提升，在鲁棒性方面也有了小幅改进。

最后，配置 H 在保留配置 G 的所有设置的前提下，使用随机初始化的权重进行训练，而非预训练模型，导致图像质量（尤其是在 FID 指标上）下降，但鲁棒性没有变化。

总结

本研究提出了W-Bench，这是第一个整合四种基于大规模生成模型的图像编辑方式的全面评估基准，用于评估水印模型的鲁棒性。选取了 11 种具有代表性的水印方法，并在 W-Bench 上进行了测试。展示了图像编辑如何普遍影响图像的傅里叶频谱，并在训练过程中识别出一种高效的替代方法来模拟这些影响。

提出的模型 VINE 在面对各种图像编辑技术时展现出卓越的水印表现，优于现有方法，在图像质量和鲁棒性方面都取得了领先。这些结果表明，单步预训练模型可以作为强大且通用的水印主干，同时，强大的生成先验有助于以更隐蔽且更鲁棒的方式嵌入信息。

局限性：虽然本文的方法在常见的由生成模型驱动的图像编辑任务中表现优异，但在图像转视频（I2V）生成方面的有效性仍有限。此外，本文的模型相较于基线模型更大，因此需要更多的内存，推理速度也略慢（详见下表7）。

本文转自AI生成未来 ，作者：AI生成未来

原文链接:​​https://mp.weixin.qq.com/s/4-TYvUM8znqBbAQmuguHjQ​​