ChatGPT 是 OpenAI 开发的一项新技术，它非常擅长模仿人类交流，以至于很多人认为它将很快接管世界——以及其中的所有工作。
在 2 月 8 日由布朗大学卡尼脑科学研究所组织的交流中，两位来自不同研究领域的学者讨论了人工智能与人类智能之间的相似之处。
关于 ChatGPT 神经科学的讨论让与会者得以一窥当下机器学习模型的内幕。
计算机科学助理教授兼 Google AI 研究科学家 Ellie Pavlick 表示，尽管围绕新技术的所有讨论很多，但该模型并没有那么复杂，甚至都不是新的。
她解释说，在最基本的层面上，ChatGPT 是一种机器学习模型，旨在预测句子中的下一个单词，下一个表达等。
Pavlick 说，这种类型的预测学习模型已经存在了几十年。长期以来，计算机科学家一直在尝试构建表现出这种行为并可以用自然语言与人类交谈的模型。为此，模型需要访问传统计算组件的数据库，使其能够“推理”过于复杂的想法。
新的是 ChatGPT 的训练或开发方式。它可以访问深不可测的大量数据——正如 Pavlick 所说，“互联网上的所有句子”。
“ChatGPT 本身并不是拐点，”Pavlick 说。“拐点是在过去五年的某个时候，基本相同的结构模型有所增加，但它们变得越来越大。正在发生的事情是，随着它们变得越来越大，它们的表现也越来越好。”
ChatGPT 及其竞争产品可供公众免费使用的方式也很新颖。Pavlick 说，即使在一年前，要与像 ChatGPT 这样的系统进行交互，一个人也需要访问像 Brown 的 Compute Grid 这样的系统，这是一种只有获得特定权限才能供学生、教职员工使用的专用工具，并且还需要一个公平的精通技术的数量。
但是，现在，任何人，无论其技术能力如何，都可以使用 ChatGPT 时尚、流线型的界面。
CHATGPT 真的像人一样思考吗?
Pavlick 说，用如此庞大的数据集训练计算机系统的结果是，它似乎可以识别出一般模式，并且看起来能够生成非常逼真的文章、故事、诗歌、对话、戏剧等。
它可以产生假新闻报道和假科学发现，并产生各种令人惊讶的有效结果——或“输出”。
他们结果的有效性促使许多人相信机器学习模型可以像人类一样思考。但是他们呢?
ChatGPT 是一种人工神经网络，认知、语言和心理科学以及计算机科学教授 Thomas Serre 解释说。这意味着硬件和编程是基于一组相互关联的节点，其灵感来自大脑中神经元的简化。
Serre 说，在计算机大脑和人脑学习新信息并使用它来执行任务的方式上确实存在许多引人入胜的相似之处。
“有研究开始表明，至少从表面上看，像 ChatGPT 这样的算法使用和利用来处理语言信息的单词和句子表示类型与大脑似乎在做什么之间可能存在某种联系，”他说。
例如，ChatGPT 的主干是一种称为 Transformer 网络的最先进的人工神经网络。这些源自自然语言处理研究的网络最近开始主宰整个人工智能领域。
Transformer 网络有一种特殊的机制，计算机科学家称之为“自我注意”，这与已知发生在人脑中的注意机制有关。
Serre 说，与人脑的另一个相似之处是使该技术变得如此先进的一个关键方面。
他解释说，过去，训练计算机的人工神经网络学习和使用语言或执行图像识别需要科学家执行繁琐、耗时的手动任务，例如建立数据库和标记对象类别。
现代大型语言模型，例如 ChatGPT 中使用的模型，无需这种明确的人工监督即可进行训练。而这似乎与 Serre 所说的一种被称为预测编码理论的有影响力的大脑理论有关。这是假设当一个人听到某人说话时，大脑会不断地做出预测并对接下来会说什么产生预期。
虽然这个理论是几十年前提出的，但塞尔说它还没有在神经科学中得到充分的检验。然而，它目前正在推动大量的实验工作。
“我想说，至少在这两个层面上，这个网络的核心引擎的注意力机制一直在预测将要说的内容，这似乎在非常粗略的层面上与与神经科学相关的想法，”Serre 评论道。
最近有一项研究将大型语言模型使用的策略与实际的大脑过程联系起来，他指出：“我们仍然需要了解很多东西，但是神经科学研究中越来越多的研究表明这些大型语言的作用模型和视觉模型 [在计算机中] 所做的与我们处理自然语言时大脑所做的事情并不完全无关。”
从更黑暗的角度来看，就像人类学习过程容易受到偏见或腐败的影响一样，人工智能模型也是如此。Serre 说，这些系统通过统计关联进行学习。数据集中占主导地位的任何信息都将接管并推出其他信息。
“这是人工智能非常关注的一个领域，它并不特定于语言，”Serre 说。他列举了互联网上白人男性的过度代表如何使一些面部识别系统产生偏见，以至于他们无法识别看起来不是白人或男性的面孔。
“系统的好坏取决于我们提供给它们的训练数据，而且我们知道训练数据一开始并不是那么好，”Serre 说。
数据也不是无限的，他补充说，特别是考虑到这些系统的规模和它们的贪婪胃口。
Pavlick 说，ChatCPT 的最新版本包括强化学习层，这些层起到护栏的作用，有助于防止产生有害或仇恨内容。但这些仍在进行中。
“部分挑战在于……你不能给模型一个规则——你不能只是说，'永远不要生成这样那样的东西，'”Pavlick 说。
“它通过例子学习，所以你给它很多事情的例子，然后说，‘不要做这样的事情。做这样的事情。因此，总是有可能找到一些小技巧让它做坏事。”
CHATGPT 不会做梦
人类大脑和神经网络的一个不同领域是在睡眠中——具体来说，是在做梦时。尽管 AI 生成的文本或图像看起来超现实、抽象或荒谬，但 Pavlick 表示，没有证据支持生物做梦过程与生成 AI 的计算过程之间存在功能相似性的概念。
她说，重要的是要了解像 ChatGPT 这样的应用程序是稳态系统——换句话说，它们不会在网上实时发展和变化，尽管它们可能会在离线时不断完善。
“这不像 [ChatGPT] 重播和思考，并试图以新的方式组合事物，以巩固它所知道的或大脑中发生的任何事情，”帕夫利克说。
“这更像是：完成了。这就是系统。我们称之为通过网络的前向传递——没有来自它的反馈。它没有反思它刚刚做了什么，也没有更新它的方式。”
Pavlick 说，当 AI 被要求制作，例如，关于克雷布斯循环的说唱歌曲，或者某人的狗的迷幻图像时，输出可能看起来很有创意，但实际上它只是系统已经完成的任务的混搭被训练去做。
与人类语言使用者不同，每个输出不会自动改变每个后续输出，或增强功能，或以人们认为梦想起作用的方式工作。
Serre 和 Pavlick 强调，任何关于人类智能或人工智能的讨论都需要注意的是，科学家们对这两个系统仍有很多需要了解的地方。
至于关于 ChatGPT 的炒作，特别是神经网络在创建几乎比人类更人性化的聊天机器人方面的成功，Pavlick 说这是当之无愧的，特别是从技术和工程的角度来看。
“这是非常令人兴奋!” 她说。“我们长期以来一直想要这样的系统。”
