ControlNet作者：视频生成论文Frameback，超低显存生成高质量视频，ComfyUI必备组件！

Framepack AI 是由斯坦福大学的研究人员开发的一种开创性的神经网络结构，它彻底改变了视频生成模型处理长篇内容的方式。

该论文核心是解决了长期以来一直困扰视频生成系统的基本“遗忘漂移困境”。

通过实施一种创新的压缩技术，根据帧的重要性对帧进行优先级排序，无论视频时长如何，Framepack AI 都能保持固定的转换器上下文长度。

这一成就使 AI 系统能够在不增加计算要求的情况下处理更多的帧，使长视频生成不仅成为可能，而且实用且高效。

Framepack AI 关键创新

• 固定上下文长度 无论输入视频长度如何，都能保持恒定的计算瓶颈，从而能够高效处理较长的视频
• 渐进式压缩 对不太重要的帧应用更高的压缩率，优化内存使用，同时保留关键的视觉信息
• 防漂移采样 新颖的采样方法，可生成具有双向上下文的帧，以防止质量随时间推移而下降
• 高兼容架构 通过微调与现有的预训练视频扩散模型配合使用，而无需从头开始重新训练

AI视频生成中的遗忘漂移困境

视频生成模型一直在努力创建更长的视频，以便在其整个持续时间内保持一致性和质量。这种限制限制了 AI 生成视频的实际应用。 当模型尝试生成较长的视频时，它们会：

• 忘记前一帧中的细节，导致字符、设置或动作不一致
• 累积错误，这些错误会随着时间的推移而复合，导致视觉降级和伪影 FramePack 的创新方法同时解决了这两个问题，为 AI 生成的内容创建开辟了新的可能性。

Framepack工作原理

渐进式帧压缩

防漂移采样方法

FramePack 引入了创新的采样方法，这些方法以不同的时间顺序生成帧，以防止质量下降。

Framepack性能结果

主要结论

• 倒置防漂移采样方法在 7 个指标中的 5 个指标中取得了最佳结果，明显优于其他方法。
• 与生成 1 或 4 帧相比，每个部分生成 9 帧会产生更好的感知，更高的人工评估分数证明了这一点。
• 与其他架构相比，FramePack 在所有指标上的漂移误差都较低。
• 该方法通过微调与 HunyuanVideo 和 Wan 等现有视频扩散模型兼容。

推理效率

场景应用

本文转载自​​沐白AI笔记​​，作者：杨沐白