浅析:ChatGPT应用的底层原理

人工智能
ChatGPT 模拟真实对话的能力非凡。即使我们知道它是一台机器,一种算法,我们也只能陷入向它提出许多问题的游戏中,以至于机器因其超大的知识而显得神圣。

ChatGPT 无疑是最近网络中最靓的仔,小汪哥通过这段时间的使用,加上对一些资料的查阅,了解了一些背后的原理,试图讲解一下ChatGPT应用的底层原理。如果有不正确的地方,欢迎指正。

阅读本文可能为会你解答以下问题:

为什么有的ChatGPT 收费,有的不收费?

为什么ChatGPT是一个字一个字地回答的?

为什么中文问题的答案有时候让人啼笑皆非?

为什么你问它今天是几号,它的回答是过去的某个时间?

为什么有的问题会拒绝回答?

“ChatGPT 国内版” 运行原理

随着ChatGPT的爆火,出现了很多国内版,这种版本免费是使用次数和后续收费方式都是不同的。小汪哥画了一个草图,试着来帮忙理解。

图片

【对于方式一】:就是注册了账号之后,科学上网就可以使用,目前没有次数限制。注册成本可以参考我之前的文章。

【对于方式二】:据了解不需要科学上网,使用成本是购买“国内版ChatGPT”运营商的服务,所以使用成本也不一样。

ChatGPT,它在内部是如何工作的?

首先,OpenAI 于 2022 年 11 月 30 日推出了一款新的对话助手。该聊天机器人基于语言模型(大型语言模型的 LLM)GPT-3,或者更准确地说,基于其版本 3.5。ChatGPT 实际上是 InstructGPT 的改编版,后者于 2022 年 1 月推出,但当时并没有给人留下同样的印象。

ChatGPT 和前辈相比,厉害在哪里?

归功于它能够自动生成类似于人类的文本的能力,以及它能够在考虑对话上下文的同时避免其前辈的缺点的能力,例如来自 Microsoft 的 Tay 或来自 Meta 的 Galactica。Tay 在 24 小时内变得种族主义和仇外心理。卡拉狄加正在制造胡说八道和错误信息,并且可以以非常有说服力的方式就种族主义发表意见。Tay 在 24 小时内被关闭,Galactica在三天后进行了关闭。OpenAI 似乎从微软和 Meta 的错误中吸取了教训。在很短的时间内,将系统推向了前所未有的水平。

什么是GPT-3?

GPT(Generative Pre-trained Transformer)系列模型是由基于Transformer技术的语言模型组成。它由位于旧金山的公司 OpenAI 开发。OpenAI 于 2015 年 12 月由 Elon Musk(就是特斯拉电动车的老板)和美国商人 Sam Altman 创立,Sam Altman 是孵化器 Y Combinator(Scribd、Reddit、Airbnb、Dropbox、GitLab、Women Who Code 等)的前任总裁。),并自 2020 年起担任 OpenAI 董事会主席。

2020 年,GPT-3 是有史以来最大的语言模型,拥有 1750 亿个参数。它太大了,需要 800 GB 的内存来训练它。

LLM 通常是从大量不同语言和领域的示例文本生成的。GPT-3 已经接受了来自 Common Crawl、WebText2、Books1/2 和 Wikipedia 的数千亿个英语单词的训练(小汪哥认为这也是为什么我们用中文提问,它有时候的回答让我们啼笑皆非的原因)。它还接受了使用 CSS、JSX、Python 等编码的程序示例的训练。它接受 2048 个标记作为输入,这使其能够处理大约 1,500 个单词的非常大的句子(OpenAI 认为标记是单词的一部分大约四个字符,并以 1,000 个标记代表大约 750 个单词为例)。

GPT-3 被归类为生成模型,这意味着它主要接受训练以预测输入句子末尾的下一个标记,即下一个单词(这也是为什么它是一个字一个字的出现在屏幕上的)。现在在搜索引擎或 Outlook 中发现的一种自动完成机制。

GPT-3 因其生成极其接近记者或作者能力的文本的能力而被多次引用。只需给它一个句子的开头,它就会逐字完成段落或文章的其余部分。通过扩展,该模型已经证明它能够处理大量的语言处理任务,例如翻译、回答问题和填充文本中缺失的单词。

GPT-3.5 是 GPT-3 模型的变体。在 2021 年第四季度之前,它已经使用选定的文本和代码的混合物进行了训练。这解释了为什么 ChatGPT 无法在该日期之后唤起事实。(就这解释了为什么你问它今天是几号,它的回答是过去的某个时间)。

我们是有的问题会拒绝回答?

如果我们问一些不道德的问题,它会拒绝回答:如下:

图片

它会礼貌地拒绝回答。与 Tay 和 Galactica 不同,ChatGPT 的训练是在源头使用审核 API 进行审核的,这允许在训练期间推迟不适当的请求。尽管如此,误报和漏报仍然会发生并导致过度节制。审核 API 是由 GPT 模型基于以下类别执行的分类模型:暴力、自残、仇恨、骚扰和性。为此,OpenAI 使用了匿名数据和合成数据(零样本),尤其是在数据不足的情况下。

最后

ChatGPT 模拟真实对话的能力非凡。即使我们知道它是一台机器,一种算法,我们也只能陷入向它提出许多问题的游戏中,以至于机器因其超大的知识而显得神圣。

但当仔细观察它时,它仍然是一个句子生成器,没有像人类那样的理解和自我批评。我更加好奇接下来会发生什么,以及他们将在这种类型的架构上取得多大的成功。

参考:

Model Index: https://beta.openai.com/docs/model-index-for-researchers

InstructGPT: https://openai.com/blog/instruction-following/

ChatGPT : https://openai.com/blog/chatgpt/

BLOOM: https://bigscience.huggingface.co/blog/bloom

Y Combinator: https://fr.wikipedia.org/wiki/Y_Combinator

责任编辑:武晓燕 来源: 小汪哥写代码
相关推荐

2020-11-05 11:14:29

Docker底层原理

2022-12-25 18:03:13

Debug原理软件

2023-12-25 19:21:55

ocr人工智能

2018-10-25 15:13:23

APP脱壳工具

2019-12-16 10:01:54

Java开发Web

2011-04-13 15:01:39

2021-01-08 08:34:09

Synchronize线程开发技术

2020-08-05 08:21:41

Webpack

2023-07-11 08:00:00

2023-01-04 07:54:03

HashMap底层JDK

2024-01-05 09:00:00

SpringMVC软件

2023-02-28 09:07:18

ChatGPTAI

2009-07-06 09:23:51

Servlet定义

2010-08-05 17:35:34

RIP路由协议

2009-07-17 10:59:59

iBATIS接口

2009-07-03 17:48:34

JSP页面翻译

2023-05-11 07:25:57

ReduxMiddleware函数

2009-07-16 10:23:30

iBATIS工作原理

2017-10-23 10:13:18

IO底层虚拟

2022-12-26 09:27:48

Java底层monitor
点赞
收藏

51CTO技术栈公众号