港科大&快手提出统一上下文视频编辑框架 UNIC，各种视频编辑任务一网打尽，还可进行多项任务组合！

由香港科技大学、快手科技提出的UNIC（统一上下文视频编辑）是一个简单而有效的框架，它以上下文的方式统一单个模型中的各种视频编辑任务。从此，视频编辑用着一个工具就够了！

ID插入

ID交换

删除ID

相机控制

风格化

第一帧传播

紧急任务组合

UNIC 还表现出了新兴任务组合能力。

重新拍摄+风格化

ID+风格化

相关链接

• 论文：https://arxiv.org/pdf/2506.04216
• 主页：https://zixuan-ye.github.io/UNIC

论文介绍

UNIC：框架和设计

动机

• 基于DDIM反转的方法（例如Video-P2P、FLATTEN）：性能欠佳。 附加阶段，使推理步骤和总体成本加倍。
• 基于适配器的方法：需要修改模型架构。通过添加适配器模块引入参数冗余。

它们通常是针对特定任务的，需要针对每个不同的条件信号训练单独的模块。这严重阻碍了任务的可扩展性和各种编辑功能的统一。

统一上下文框架

UNIC 通过将所有输入（含噪视频潜伏信号、参考视频标记以及各种多模态条件标记）处理为一个组合序列来统一视频编辑。这使得扩散变换器 (DiT) 的原生注意力机制能够“在上下文中”学习复杂的编辑任务，从而提供灵活性和简便性。

• 针对不同任务的统一模型。
• 将输入标记定义为三种类型。
• 没有特定任务的适配器模块。

任务感知 RoPE

根据任务类型和视频长度动态分配唯一的旋转位置嵌入 (RoPE) 帧索引。这确保了在不同条件下对时间的理解和正确对齐。

条件偏差

为条件标记添加特定于任务的可学习嵌入。这有助于模型在模态重叠时区分目标任务，从而有效解决歧义。

结论

论文提出的统一的上下文内视频编辑UNIC是一个简单而有效的框架，它以上下文内的方式将不同的视频编辑任务统一到一个模型中。为此，我们将不同视频编辑任务的输入表示为三种类型的标记，并将它们集成为一个统一的标记序列，并与扩散变换器 (Diffusion Transformer) 的原始全注意力机制联合建模。凭借设计的任务感知 RoPE 和条件偏差，该方法可以灵活地执行不同的编辑任务并支持它们的组合。为了便于评估，论文还构建了一个统一的视频编辑基准。在六个代表性视频编辑任务上进行的大量实验表明，该模型在每项任务上都表现出卓越的性能，并展现出新兴的任务组合能力。

本文转载自​​​​​​​AIGC Studio​​​​​​​，作者：AIGC Studio