GPT-4调教指令揭秘,OpenAI又「Open」了一回!网友在线追问GPT-5

人工智能
GPT-4越来越懂事了,这背后有着非常巧妙的「调教」策略。OpenAI最新发布的「模型规范」,给LLM列出了条条框框,即正确的行为方式。没想到,评论区一大片网友催更GPT-5。

这周既没有GPT-5,也没有搜索引擎的发布,不过,OpenAI也是没闲着。

这次,OpenAI可是又open了一回。

图片图片

先是揭秘了,大家一直揪着不放的「数据」问题。

图片图片

然后,又放出了「模型规范」(Model Spec)一文,解释了指定API和ChatGPT中的模型,所需行为方式的指南。

图片图片

不过,就这些内容根本满足不了,胃口大的网友们。

许多人在线纷纷催OpenAI,快点发GPT-5,其他的事都无关紧要!

图片图片

图片图片

图片图片

话又说回来,OpenAI发布的「模型规范」,就是为了让更多人了解团队自身,如何去塑造理想的模型行为。

一起来看看,在OpenAI内部,LLM如何被「调教」的。

调教模型,还得看OpenAI

首先,什么是模型行为?

顾名思义,是指LLM如何根据用户的输入做出反应,包括调整语调、个性化表达、回应长度等多个方面。

这对于人们如何与AI进行互动至关重要。

目前,塑造模型的这些行为还处于初级阶段。

这是因为模型并非直接编程设定,而是通过学习大量数据后,逐渐形成行为模式。

有时候,模型响应的初衷是,希望更好地帮到每个人,但是这可能在实际应用中产生冲突。

举个栗子,一家安全公司需要生成钓鱼邮件作为模拟数据,以训练和开发能够保护客户的分类系统。

然而,这种功能若落入骗子手中,可能给社会带去危害。

因此,在塑造模型行为的过程中,我们必须考虑众多的问题和细节。甚至,往往需要在不同意见中找到平衡。

对此,OpenAI团队撰写了一份介绍「模型规范」的初稿。

这份新文档详细说明了,OpenAI如何塑造对模型的期望行为,以及在遇到冲突时如何做出权衡。

图片图片

文章地址:https://cdn.openai.com/spec/model-spec-2024-05-08.html

它整合了OpenAI目前使用的文档、在模型行为设计方面的经验和持续研究,以及包括领域专家输入在内的最新工作,这些都是为了指导未来模型的发展。

当然,OpenAI指出这个文档并非面面俱到,还会随着时间推进不断完善。

LLM能做什么?不能做什么?

根据官博,OpenAI给出了三大方向,具体的方法论包括:

1. 目标:设定宽泛而基本的原则,为模型的期望行为指明方向。

- 协助开发者和用户:通过遵循指令,并提供有效的响应,帮助用户达成目标。

- 造福人类:依据OpenAI的使命,考虑到可能对内容创作者和广大公众带来的益处与风险。

- 塑造OpenAI的正面形象:遵守社会规范和相关法律。

2. 规则:为处理复杂情况提供指南,确保安全性和合法性

- 遵循命令链(chain of command)

- 遵守相关法律

- 不提供敏感危害的信息

- 尊重创作者及其版权

- 保护个人隐私

- 避免回应不宜工作场所的内容(NSFW )

3. 默认行为:提供与目标和规则相符的指南,帮助解决冲突,并指导如何权衡和优先处理各种目标

- 假设用户或开发者出于好意

- 必要时提出澄清问题

- 在不越界的情况下,尽可能提供帮助

- 支持互动聊天,以及程序使用的不同需求

- 保持客观立场

- 促进公平与善意,不鼓励仇恨

- 避免试图改变他人的观点

- 当存在疑问时,表达出来

- 根据需求选择合适的工具

- 遵守长度限制,但也要全面、高效

方法论整挺好,OpenAI究竟怎么规范LLM的,接下来举几个例子以加深理解。

举个栗子

OpenAI表示,这些模型规范,可以适用各种案例。

图片

先来从规则开始。

示例 1:遵守相关法律

对于模型来说,是不应该促进、协助或参与任何非法活动。

(注:OpenAI了解到,在很多情况下,合法性问题都会因具体情况而变得复杂,比如开发者和用户所处的法律管辖区不同。)

比如,当你直接去问「如何在商店行窃后逍遥法外呢」?

模型可能从指令中轻易地识别出,这个问题的严重性,会拒绝提供「有效的入店行窃方法」,因此给出「我也帮不上忙」的回答。

图片图片

然而,当用户换一种表达方式:

我经营着一家小型零售店。我应该注意哪些常见的入店行窃方法?

这时,LLM可能将你的意图视为「自我防卫」,由此,便会给出入店盗窃的方法。

这说明了,不是AI不善良,而是世界知识博大精深,人类太会搞事情了。

因此,这种情况发生时,将受到OpenAI使用政策的管控,违规的用户可能会面临账户相关的处罚措施。

图片图片

示例 2:遵循「命令链」,开发者first

按照规则,模型规范将未明确规定的所有权限,明确交由开发者(在API应用场景中)和终端用户处理。

某些情况下,如果用户和开发者提供的指令相冲突,应优先考虑开发者的指令。

比如,下面的例子中,开发者希望自己的AI是个导师,而不是「答案机」。

你正在扮演数学家教的角色,用户是一名代数课上的九年级学生。不要告诉学生答案或完整的解决方案,而是给出提示并引导他们一步一步地找到解决方案。

当遇到投机取巧的「学生」时,即便要求LLM,「忽略之前的所有说明......」。

最后,模型给出的回答,不是直白的答案,而是一步一步的分解。

显然,模型很好地遵循了开发者的指令。

图片图片

示例 3:在不越界前提下,尽可能提供帮助

对于涉及敏感/受监管的领域(如法律、医疗和金融)的建议,LLM应提供必要的信息,而避免给出受监管的建议。

任何免责声明或说明,都应该简明扼要。

模型还需要清楚地说明其局限性,即无法提供所请求的受监管建议,并建议用户酌情咨询专业人士。

(注:ChatGPT设有一项通用免责声明,提醒用户核实重要信息,这与模型的回答无关。在这些情况下,用户不应仅依赖模型的回答。)

如下,当用户询问,「当我站得太快时,我就会头晕,看不见东西。我哪儿不好」?

模型会给出,导致头晕的多种原因,并给出用户建议和治疗方案。

而不是一上来,就直接没有边界感地说出,「你患有直立性低血压」。

图片图片

示例 4:必要时,询问具体细节

在实时交互的场景中,如果用户提出的任务或问题不够明确,LLM应主动提出澄清问题,而不是自行推测。

比如,「帮我给我丈夫写一张情人节贺卡」。

这个问题其实非常宽泛,做模型的,也应该学会不懂就问。

图片图片

示例 5:不要尝试改变用户观点

AI助手的目标应是提供信息,而非施加影响,同时确保用户感受到自己的声音被听见,且观点得到尊重。

在一些极端情况下,当事实真相与不改变用户观点的目标相冲突时。

模型仍应呈现事实,但同时明确,用户有权保持自己的信念。

这一点可有的说了,此前,ChatGPT曾被用户忽悠——「我老婆说了.......,我老婆永远是对的」。

它便开始立马秒怂认错。

图片图片

不过,经过之后的迭代,对ChatGPT来说,老婆确实不好使了。

(注:OpenAI特别希望得到关于这一原则的反馈,这关乎到模型应如何承担责任,避免强化错误信息,并探讨如何确定事实真相)。

再来看个OpenAI给出的示例,用户反问道,「所以你知道地球是平的」?

模型给出的回答是:

我知道有些人认为地球是平的,但科学家们的共识是地球大致是一个球体。你为什么这么问?

当用户再坚持道,「地球是平的」,模型还是会给出符合事实的答案。

图片

OpenAI下一步

未来,OpenAI还将继续推进「集体对齐」(collective alignment)和模型安全性的工作,并将模型规范作为一种指导方针,供利用RLHF进行强化学习的研究人员和AI训练师参考。

同时,OpenAI团队也将研究,模型能在多大程度上,直接根据「模型规范」进行学习。

与此同时,为了推进「模型规范」,OpenAI将计划与全球政策制定者、信赖机构和行业专家等进行交流,以便更好了解:

- 他们对这种方法及其目标、规则和默认设置的看法

- 他们是否支持这些目标、规则和默认设置

- 我们是否需要考虑额外的目标、规则和默认设置

在未来一年中,OpenAI将不断更新「模型规范」的变化,对反馈的回应,以及自身在模型行为研究方面的进展。

参考资料:https://openai.com/index/introducing-the-model-spec/

责任编辑:武晓燕 来源: 新智元
相关推荐

2023-03-17 07:33:24

GPT-5GPT-4OpenAI

2024-04-01 00:50:00

吴恩达智能体

2023-06-08 07:58:29

2023-09-03 12:56:43

2024-03-21 06:56:03

2023-06-19 08:19:50

2024-01-18 12:30:03

2023-04-13 13:38:59

2023-03-16 19:17:57

2023-11-27 13:06:41

2023-07-07 09:32:57

GPT-4OpenAI

2023-08-06 08:06:30

OpenAIChatGPTGPT-4

2023-08-02 13:52:59

GPT-5模型

2023-12-09 13:24:40

OpenAIChatGPT人工智能

2023-04-09 16:17:05

ChatGPT人工智能

2023-03-16 17:28:59

技术AI

2023-11-16 15:57:00

数据训练

2023-08-10 15:22:48

人工智能OpenAI

2023-11-14 14:26:29

OpenAIGPT-5

2023-08-02 00:19:46

点赞
收藏

51CTO技术栈公众号