拆解大模型黑箱，Anthropic的“AI神经科学”带来了什么？

谈及大模型，国内的竞争格局日新月异，异常激烈。几乎每周我们都能看到新的模型发布、开源或迭代，从技术榜单到应用市场，处处都是国产模型竞相绽放的身影，整个行业呈现出一派生机勃勃的景象。

这让人不禁思考一个现象，中美在AI路线上似乎正走向不同的分支。美国顶尖的AI公司倾向于将核心技术闭源，而国内的主流厂商则不约而同地选择了开源，大家开放共享，技术快速迭代，整个生态繁荣发展。

但无论路线如何，所有从业者都面临一个共同的终极疑问：大模型的“脑子”里，究竟在想什么？

它那动辄万亿的参数，是如何协同工作，才涌现出如此惊人智能的？我们能像解剖精密仪器一样，把它的“思考”过程弄个明明白白吗？

这个问题，就是AI领域的“圣杯”——模型可解释性。过去，我们习惯于将大模型视为“黑箱”，输入问题，输出答案，中间过程难以捉摸。但最近，打造了Claude系列模型的Anthropic公司，发布了一篇极具深度的博客，为我们揭开这个“黑箱”提供了一个全新的、脑洞大开的视角。

他们所使用的方法，堪称是对大模型进行了一场“神经科学”与“生物学”的交叉研究实验。

像研究大脑一样，研究大模型

Anthropic的研究，出发点就与众不同。他们认为，理解大模型内部工作原理的挑战，与生物学家理解大脑等复杂生命系统所面临的挑战，存在着惊人的相似性。

Our core analogy is that understanding the challenges of reverse-engineering a large language model is surprisingly similar to the challenges of reverse-engineering a biological organism like the brain.

（我们的核心类比是：逆向工程一个大语言模型的挑战，与逆向工程一个像大脑这样的生物有机体的挑战惊人地相似。）

生物学家无法直接“编程”一个大脑，只能通过观察、实验、解剖，逐步绘制出神经元的连接图谱，理解不同脑区的功能。同样，我们也没法直接“编程”大模型的智能，它的能力是在海量数据中“演化”和“涌现”出来的。

基于这个思路，Anthropic的研究员们借鉴神经科学的方法，开发出了一套名为“归因图（Attribution Graphs）”的技术。

这套技术，就像是给大模型装上了一台高精度的“脑功能扫描仪”，让我们能够追踪模型在处理具体问题时，内部信息流动的“思维路径”。

“归因图”：让模型思考过程可视化

这个“归因图”究竟是如何工作的？我们可以把它理解成一张为模型单次推理绘制的、高度精炼的“思维导图”。

当一个问题（Prompt）输入大模型后，这张图能够展示出模型内部哪些代表抽象概念的“特征（features）”被激活了，以及这些特征之间如何相互连接、相互影响，最终“汇聚”成我们看到的答案。

这里的“特征”，是模型在学习中形成的内部概念表征。它可能代表一个词（比如“北京”），一种关系（比如“...的首都是...”），甚至是一种更复杂的逻辑。这些“特征”就像是构成模型进行高级计算的基本“神经元”或“功能模块”。

博文中给出了一个直观的例子。当我们问模型：“包含达拉斯的州的首府是哪里？”（What is the capital of the state that contains Dallas?）

“归因图”清晰地展示了模型的推理链条：

1. 模型内部代表“达拉斯（Dallas）”的特征被激活。

2. 这个特征的激活，紧接着激活了代表“德克萨斯州（Texas）”的特征。

3. 最终，“德克萨斯州”的特征指向并激活了“奥斯汀（Austin）”这个答案。

通过“归因图”，原本隐藏在亿万参数背后的抽象计算过程，一下子变得直观、可视。我们不再是面对一个只会给出结果的“黑箱”，而是能够窥见其内部逻辑链条的“透明盒子”。

“解剖”Claude，我们发现了什么？

Anthropic团队将这把“解剖刀”用在了自家的轻量级模型Claude 3.5 Haiku上，并有了一系列惊人的发现。他们观察到，这个模型在执行一些我们认为需要规划和远见的任务时，表现出了远超想象的“内部机制”：

•前瞻性规划：在写诗时，模型会提前规划好韵脚，然后再去填充诗句内容，而非随想随写。

•逆向推理：为了达成某个目标，模型会从目标状态出发，反向推导出之前需要完成的步骤。

•元认知能力：模型似乎有一种原始的“元认知”回路，让它能“知道”自己知识的边界，从而判断能否回答某个问题。

这些发现极具颠覆性。它揭示了大模型的内部世界，可能远比我们想象的要更加丰富和深刻。它不仅仅是在做机械的概率计算，而是在一个高维的“概念空间”里，进行着复杂的、结构化的“思考”。

Anthropic的这项研究，虽然技术门槛极高，但它所带来的启发是普适的。它将大模型研究从宏观的性能比拼，引向了微观的机理探索。过去我们训练模型，很大程度上依赖经验、算力和数据，而模型可解释性的研究，正在将这个过程变得越来越像一门严谨的“科学”。未来，谁能更深刻地理解模型的内部机理，谁就可能掌握打造更强大、更安全AI的核心钥匙。

我们总是担心AI会“失控”。但如果我们能清楚地知道AI的每一个决策是如何做出的，甚至能干预它的“思考”过程，那么“安全”和“可控”就有了坚实的技术基础。

当前，国内大模型在应用层面的创新非常活跃，但在底层的、开创性的理论研究上，我们还需要更多的投入和积累。Anthropic的这项工作，无疑为我们提供了一个极佳的参照和追赶目标。

本文转载自​​芝士AI吃鱼​​，作者：芝士AI吃鱼