身份保持超越Nano Banana！获多项SOTA！浙大ContextGen实现布局控制+身份保真双突破

文章链接: https://arxiv.org/abs/2510.11000

项目主页: https://nenhang.github.io/ContextGen/

【导语】 AI作图正在从“自由创作”走向“精确工程”。面对商业应用中对多主体身份一致性和空间布局的客制化要求，现有的Diffusion模型仍有不足。浙江大学 ReLER 团队提出了 ContextGen，这一创新框架通过整合布局锚定和身份注意力两大机制，显著提升了模型在复杂多实例生成（MIG）任务上的可靠性和保真度。

亮点直击

• ContextGen框架：创新性采用基于DiT的架构，通过上下文布局锚定（CLA）实现精准版面控制，并利用身份一致性注意力（ICA）机制完成细腻的身份特征保留；
• IMIG-100K数据集：首个具备布局与身份标注的大规模层次化图像引导多实例生成数据集，包含十万级样本量；
• 顶尖性能表现：在布局控制、身份保持与视觉质量方面显著超越现有方法，实现了最先进的生成效果。

一、挑战：AI作图的两个“木桶短板”

在生成包含多个特定对象的复杂图像时，模型的性能往往受限于以下两个关键瓶颈：

1. 布局控制的鲁棒性不足 (Inadequate Position Control)：缺乏有效且稳定的机制来确保生成对象精确地位于用户指定的画面位置，这限制了AI在设计和叙事场景中的应用。
2. 多实例身份退化问题 (Identity Degradation)：当画面中需要出现多个引用主体时，模型难以区分和保持每个主体的细微特征，导致身份丢失或混淆。

ContextGen正是为了解决这些制约商业和专业应用的关键问题而设计。

二、ContextGen的技术核心：实现“双重约束”

ContextGen框架是一种基于 Diffusion Transformer (DiT) 的创新架构。它的核心思想是将布局信息和身份信息同时作为强力的上下文约束引入，从而在生成过程中实现对输出结果的双重精确约束。

Overview

1. Contextual Layout Anchoring (CLA)：上下文布局锚定

CLA机制旨在提供强大的空间定位能力，解决布局失控问题。

• 机制核心：CLA将用户提供的复合布局图像（包括边界框、分割掩码或草图）编码并融入到 DiT 的生成上下文。这种布局图像被模型视为一种结构化指南，而非简单的条件输入。
• 实现细节：它在 DiT 模型的每一层中，都引入了布局特征，通过上下文学习引导模型在去噪过程中将像素生成与预设的空间位置紧密关联。
• 优势：CLA确保对象被牢固地锚定在目标区域，极大地提高了布局的准确性和稳定性。

2. Identity Consistency Attention (ICA)：身份一致性注意力

ICA机制专为解决身份保真度问题而设计，确保多主体的独立性。

• 机制核心：ICA是一种针对多实例场景优化的注意力模块。它不再单纯依赖于文本提示或单一的图像嵌入，而是直接从原始的高清参考图像中捕获独特且细粒度的身份特征。
• 实现细节：ICA将这些身份特征作为额外信息输入到 DiT 的注意力层。通过分层注意力架构，ICA被策略性地部署在模型的中间 DiT 块（实验证实应用于中间 19 个 DiT 块效果最佳），因为这些层更擅长处理实例级别的属性和细节信息。
• 优势：这种精准的注入方式有效地阻止了不同主体特征之间的信息泄漏或混淆，确保了每个被引用的主体都获取到最细粒度、最高保真的身份信息。

三、ContextGen的另一大贡献：IMIG-100K 数据集

为了推动多实例图像生成（MIG）领域的发展，研究团队构建了 IMIG-100K 数据集。这是第一个大规模、分层结构化的图像引导多实例生成数据集，旨在弥补现有数据资源的不足。

IMIG-100K Samples

IMIG-100K 数据集被系统地划分为三个专门的子集，以全面训练模型所需的复杂能力：

1. 基础实例构成 (Basic Instance Composition)： 专注于训练模型的基本对象合成和空间定位能力。
2. 复杂实例交互 (Complex Instance Interaction)： 针对高难度、高复杂度场景设计，包含多达 8 个实例的图像，重点模拟现实世界中的遮挡、视角旋转等复杂交互。
3. 灵活构成与参考 (Flexible Composition with References)： 旨在训练模型处理低一致性输入的鲁棒性，允许合成后的实例在保持身份的同时，具有更大的灵活性和形变，以适应不同的生成上下文。

这一数据集的贡献为 ContextGen 的训练和评估提供了坚实的基础，也为社区提供了宝贵的研究资源。

四、实验验证：组件贡献与性能基准

研究团队通过严谨的实验和多个 Benchmark 证明了ContextGen的有效性和先进性。

1. 关键性能基准（Benchmark）结果

ContextGen 在多个公认的 MIG 基准测试中取得了领先结果，包括用于评估多主体驱动生成的 LAMICBench++、评估复杂属性布局生成任务的 COCO-MIG 以及评估复杂文本布局生成任务 LayoutSam-Eval。

• 核心优势：ContextGen在衡量较多主体场景下身份细节保持能力的“身份保留”（IDS）指标上，以30.42的成绩显著高于 GPT-4o（17.12）和 Nano Banana（16.67）。

LAMICBench++ Table

LAMICBench++ Demo

• 全面性：在COCO-MIG以及LayoutSam-Eval数据集上，ContextGen 的 布局控制和属性控制指标均保持领先地位，证明了其优越的鲁棒性。

COCO-MIG Table

COCO-MIG Demo

LayoutSam-Eval Demo

2. 消融实验：组件有效性分析与 DPO 优化

• CLA与ICA的贡献：实验表明，移除任一核心组件都会导致性能指标下降。特别是将 ICA 机制应用于中间 DiT 块时，模型获得了最佳的身份保留分数。
• DPO（Direct Preference Optimization）精调：为解决模型在高度依赖布局图时可能出现的僵化问题，ContextGen引入了DPO。通过将目标图像设为偏好样本、复合布局图像作为非偏好样本，DPO成功地指导模型在增强场景理解和保持身份/对象细节之间进行有效权衡，使模型在整体指标上达到更佳的平衡。

DPO Demo

五、未来方向：保真度与生成灵活性的权衡

ContextGen 框架优先确保核心身份特征的准确性，在需要对光照或姿势进行大幅度、创造性修改时，模型可能会更倾向于保留参考图像的固有属性，以保证保真度不下降。研究团队将致力于解决这一前沿挑战，进一步解锁 ContextGen 在更灵活、更具创造性的风格和属性迁移方面的潜力，从而进一步拓宽其应用边界。

【结语】ContextGen以其创新的双重约束机制，成功将 AI 图像生成领域推进到“精确控制”的新阶段。这项研究为需要高精度、高可靠性的专业内容创作提供了坚实的基础，具有重要的产业应用价值。

本文转自AI生成未来 ，作者：AI生成未来

原文链接:​​https://mp.weixin.qq.com/s/Kuki-guV8tlhuPxOQHGFWA​​