电影特效革命性升级！高德&北大联合发布Omni-Effects：LoRA-MoE架构突破，精准掌控电影特效空间艺术！

由高德、北大联合推出的统一框架 Omni-Effects 创新性地采用LoRA-MoE混合专家架构，将多种特效无缝集成至统一模型，有效规避了跨任务干扰；同时通过空间感知提示SAP与独立信息流模块的协同作用，实现了对特效空间位置的精准把控，防止了控制信号的混杂。此外还精心构建了Omni-VFX数据集与专用评估框架，为框架的性能验证提供了坚实支撑。实验结果显示，Omni-Effects能精准控制特效位置，并生成丰富多样的特效，为电影特效制作带来了革命性的突破。

Omni-Effects 支持 (a) 单一视觉特效和 (b) 多视觉特效生成，均通过纯提示引导生成。与空间感知提示集成，Omni-Effects 可实现 (c) 精确的空间视觉特效控制，以及 (d) 复杂的基于对象的视觉特效，并可实现有针对性的环境变换。

效果展示

相关链接

• 论文：https://arxiv.org/pdf/2508.07981
• 源码：https://github.com/AMAP-ML/Omni-Effects
• 试用：https://huggingface.co/GD-ML/Omni-Effects
• 数据：https://huggingface.co/datasets/GD-ML/Omni-VFX

论文介绍

视觉效果 (VFX) 是现代电影制作必不可少的视觉增强技术。尽管视频生成模型为 VFX 制作提供了经济高效的解决方案，但当前方法受限于针对每个效果的 LoRA 训练，导致生成仅限于单一效果。这一根本限制阻碍了需要空间可控复合效果（即在指定位置同时生成多个效果）的应用。然而，将多种效果集成到统一框架中面临着重大挑战：效果变化的干扰以及多 VFX 联合训练期间的空间不可控性。为了应对这些挑战，我们提出了Omni-Effects，这是第一个能够生成提示引导效果和空间可控复合效果的统一框架。该框架的核心包含两项关键创新：(1)基于 LoRA 的混合专家 (LoRA-MoE)，它采用一组专家 LoRA，将多种效果集成到统一模型中，同时有效地减少跨任务干扰。(2)空间感知提示 (SAP)将空间掩码信息合并到文本标记中，从而实现精确的空间控制。此外，我们引入了一个集成在 SAP 中的独立信息流 (IIF) 模块，用于隔离与各个特效对应的控制信号，从而防止任何不必要的混合。为了促进这项研究，我们通过一种结合图像编辑和首尾帧到视频 (FLF2V) 合成的新型数据收集流程构建了一个全面的 VFX 数据集Omni-VFX，并引入了一个专用的 VFX 评估框架来验证模型性能。大量实验表明，Omni-Effects实现了精确的空间控制和多样化的特效生成，使用户能够指定所需特效的类别和位置。

方法概述

Omni-Effects 流程图。 给定参考图像和任意长度的复合条件，Omni-Effects 首先将每个输入编码为相应的 token。这些 token 被连接起来，并通过下游 DiT 模块按顺序处理。这些模块包含两项关键技术：(a) LoRA-MoE，这是一个 MoE 插件，用于替代标准的 FFN 线性层，以实现协作式专家任务解决；(b) SAP，它在注意阶段将效果描述符与空间触发信息融合，同时通过 IIF 机制减少跨条件信息泄漏。需要注意的是，在 IIF 中，虚线表示受阻的信息流，而实线表示主动信息传输。模型采用 IIF 驱动的 SPA 控制机制，支持对同一视频中的多个条件进行独立、互不干扰的控制。

可控VFX性能和注意力图的可视化。（a）位置描述缺乏空间控制；（b）ControlNet面临条件间干扰，导致VFX泄漏和伪影；（c）提出的SAP+IIF实现了精确的位置可控性，同时防止了多VFX之间的相互干扰。

实验结果

Omni-Effects在视觉效果生成中实现了精确的空间控制。

结论

Omni-Effects是一个用于生成定制化 VFX 视频的统一框架。 它支持创建各种 VFX，从单 VFX、多 VFX 到空间可控的多 VFX。该框架集成了两个核心模块：LoRA-MoE 和 SAP-IIF。

• LoRA-MoE 模块: 可以减轻多 VFX 混合训练过程中出现的交叉条件干扰。
• SAP 模块: 将 VFX 描述符与空间触发信息融合，并通过 IIF 机制解决交叉条件信息泄露问题。

通过 LoRA-MoE 和 SAP-IIF 的协同集成，Omni-Effects 可以实现精确的空间控制，并生成高保真度的多 VFX 合成视频。ciwai 还开发了一个全面的 VFX 数据集 Omni-VFX，其中包含专门的数据生产流程和专为可控 VFX 生成量身定制的评估框架证明了 Omni-Effects 在复杂、多条件的视觉特效生成场景中的稳健性。

本文转载自​​​​AIGC Studio​​​​，作者：AIGC Studio