从语言到认知：LLM如何超越人类语言网络

发布于 2025-3-12 00:42

浏览

0收藏

引言

解码人类大脑处理语言的机制是神经科学的核心目标之一。人类语言处理由大脑的语言网络（Language Network, LN）支持，这是一组位于大脑左侧的前额叶和颞叶区域，具有对语言输入的选择性反应能力。近年来，随着机器学习的快速发展，基于大规模文本语料库训练的下一词预测的大型语言模型（LLMs）成为了模拟人类语言网络内部过程的有力工具。

本文旨在探讨大型语言模型如何与人类语言网络对齐，并分析这种对齐在模型训练中的演化过程。研究表明，LLMs 与人类语言网络的对齐主要依赖于形式语言能力（即对语言规则的理解），而功能语言能力（涉及世界知识和推理）的对齐较弱。这一发现为理解语言网络的核心功能提供了全新视角，同时也揭示了提升未来语言模型的潜在方向。

研究背景与关键问题

人类语言网络的基础

人类语言网络是支持语言处理的一组大脑区域，这些区域通过对语言输入的选择性反应而被定义。相比于音乐感知或算术计算等非语言任务，语言网络对语言处理表现出显著的选择性。此外，失语症患者的研究进一步证实了语言网络的功能性，当语言区域受损时，患者会失去语言能力，但保留其他认知功能。

模型与大脑对齐的现状

过去的研究表明，某些人工神经网络的内部表征与大脑中的表征相似。例如，在视觉领域，深度卷积神经网络已被证明可以预测灵长类动物视觉皮层的神经响应。最近，这种对齐研究被扩展到听觉和语言处理领域。然而，尽管LLMs在语言建模任务中表现出色，其与人类大脑语言网络的对齐仍存在许多未解之谜。

本研究聚焦以下四个关键问题：

什么驱动了未训练模型的脑对齐？
脑对齐主要与形式语言能力还是功能语言能力相关？
模型大小或下一词预测性能是否能解释脑对齐？
当前的LLMs是否完全解释了脑对齐基准中的变异性？

方法与数据集

基准测试框架

为了系统地分析LLMs的脑对齐情况，研究引入了一套严格的大脑评分框架。该框架通过岭回归模型预测大脑活动，并测量预测值与实际大脑激活之间的皮尔逊相关系数。与其他度量（如中心核对齐和表征相似性分析）相比，线性预测性能够更好地区分有意义的语言刺激与随机刺激。

数据集

本研究使用了多种神经影像学和行为数据集，包括fMRI、ECoG以及自我调节的逐词阅读时间数据。这些数据集涵盖了从短句到完整故事的不同语言刺激形式，确保研究结论的普适性。

模型

研究使用了Pythia模型套件中的八个模型，规模从1400万到69亿参数不等。每个模型在训练过程中被评估了34个检查点，涵盖了约3000亿个标记。为了避免模型规模对对齐结果的影响，研究控制了特征数量，并通过功能定位方法选择固定数量的语言单元进行比较。

从语言到认知：LLM如何超越人类语言网络-AI.x社区图片

研究发现

未训练模型的脑对齐

尽管未训练模型的脑对齐分数低于预训练模型，但它们仍表现出一定程度的对齐。这表明，未训练模型的架构本身可能具有促进脑对齐的归纳偏差。研究进一步发现，基于序列的模型（如GRU、LSTM和Transformer）比仅依赖最后一个标记表示的模型（如线性模型和MLP）表现出更高的脑对齐。这表明上下文或时间整合是实现高对齐的关键因素。