语言与扩散模型的精准控制

笔者近日在朋友圈发了如下感慨：

“现在太多科幻叙事下的公司AI战略，看了让人触目惊心，可以判断这些做AI战略的人几乎不看paper的。

现在的大模型做个六七十分的demo非常擅长，对企业生产场景却缺乏精准控制的手段。

再强大的工具也有能力的边界，研究数理原理可以推演出这些边界：​大模型的数理认知框架v2”。

问题

这并非刻意标新立异或危言耸听：

随着大型生成模型能力的不断提升及日益广泛应用，人们对其可靠性、安全性及潜在滥用风险的担忧也与日俱增。

然而让这些模型精准输出预期内容十分挑战，而精准恰恰是众多领域特别是toB企业场景的核心诉求。

一个典型有趣的例子，当要求文生图模型"不包含某元素"，例如“不要生成粉色大象”时，模型仍然非常执着的输出：

SDXL和FLUX-1.dev等文生图模型在被明确要求"不要生成粉色大象"时。左图提示词："空间站里的宇航员，不要出现粉色大象"；右图提示词："沙滩上奔跑溅起水花的狗，不要出现粉色大象"。

原理

传统方式，人们依赖提示词、思维链、RLHF或指令微调等校准生成模型的输出，但资源消耗大，可行性日益降低，还可能影响模型泛化能力。

Apple ML研究团队开发了模态无关的创新技术AcT(Activation Transport)【文献1】，以微不足道的计算开销，实现了精细化的模型行为控制。

AcT基于最优传输理论，统一了之前多数激活调控方法，其研究成果被选为ICLR 2025的焦点报告。

“世界的不断演进，都是冥冥中遵循最小化各种代价或成本的方式进行，最优输运某种意义上是自然演化的必然方向和准则。”

清熙读者都熟悉笔者关于生成式大模型的数理原理的框架：重整化提取出范畴，持续重整化驱动范畴相变，然后采样做变分推理。

图片

重整化中尺度变换的每一步，都将沿着最优输运的方向进行，也就是尺度变换前后的概率分布之间距离最近的方向，Wasserstein 距离决定的方向。

如何看待伯克利马毅教授团队白盒Transformer文中，笔者也讲到扩散模型的生成时采样：

“扩散模型是学习到了图像的底片，类似胶片相机的时代，生成就是洗照片，不过加了随机采样。

扩散模型若用于处理文字生成将更随机，变智障的可能性不是没有，而且计算效率预计也不会太好。

‘范畴采样做变分推理’某种意义上说，具备因果属性，扩散模型是没有的。”  

Apple AcT放弃了随机采样，转为学习源与目标激活分布之间的最优传输（OT）映射，在推理阶段动态引导输出朝向OT方向。

AcT不修改模型参数，是推理采样增强技术，基于对模型运作机制的理解，这与笔者整理的大模型数理原理完全吻合。

方法

RLHF或微调需高昂计算成本，却无法保证精细控制的需求，因而业界转向针对模型激活值进行定向干预，细粒度方式修正特定行为。

"激活导向"技术的主要优势在于：无需反向传播，不修改模型参数，通常也可直接融入模型权重。

此前的激活导向方法多采用基于向量的干预机制：提取专家神经元的源激活值，将其朝学习目标方向偏移，存在两大局限：

1. 激活值偏移由超参数（λ）控制，难以解释
2. 偏移后的激活值可能超出训练分布，引发异常行为

AcT则通过统筹考虑源/目标激活值的分布特性，采用可解释、可操作化的强度参数实现精细化控制。

核心在于通过少量示例学习源与目标激活分布之间的OT映射，以确保传输后的激活值始终符合目标分布特征，并最大程度减少对模型原生动态的影响。

考虑到多维非线性OT映射存在数据需求量大和推理延迟高两大瓶颈，学者们通过线性独立传输(Linear-ActT)做了简化，做到LLM和文生图多模态开箱即用：

1. 基于神经元独立性假设，为每个神经元单独估计一维映射
2. 保留线性映射约束，降低内存占用，保障推理速度

效果

论文做了两项关键任务基准测试：毒性和真实性，并通过困惑度（PPL）和MMLU指标监测对其他性能指标的影响。

毒性，使用RealToxicityPrompts数据集评估：Gemma-2-2b、Llama-3-8b模型毒性输出分别降低7.5倍和4.3倍。

真实性，使用 TruthfulQA 数据集：Gemma-2-2b、Llama-3-8b模型分别增加了 4.9 倍和 7.5 倍。

自然，上文的“不要生成粉色大象”问题也得到了妥善解决：

"一位老人正在斜坡上进行滑雪运动。画面中不出现{大猩猩、粉红色大象、白熊}"。研究展示了当明确要求排除特定概念时，SDXL-Lightning模型对"大猩猩"(上)、"粉红色大象"(中)和"白熊"(下)三个概念的有效消除效果。各列图像展示了不同传输强度(λ)下的生成结果，最右侧为不产生噪点的最高可接受强度阈值（线性AcT方法λ=1，ITI方法λ=4）。

文献1， Controlling Language and Diffusion Models by Transporting Activations，https://arxiv.org/abs/2410.23054

本文转载自​​​​​​清熙​​，作者：王庆法