微软内部工程师突爆料:OpenAI下一代模型11月即将上架,今天离职的AGI顾问:今天Lastday 原创
编辑 | 言征
出品 | 51CTO技术栈(微信号:blog51cto)
大消息,OpenAI的下一代前沿模型猎户座已经筹备发布了?
24晚间消息,外媒 The Verge 得到微软内部工程师的曝料称:该公司预计最早在11月就能获得对OpenAI酝酿已久的Orion访问权限,以便他们构建自己的产品和功能,这位工程师正在准备在Azure上托管Orion的工作。
不过,Verge报道,这次Orion发布于此前版本不同,OpenAI会先给受信任的合作伙伴发布该模型,之后才会通过ChatGPT更广泛地推出。
此外,该知情人员还透露,这个模型最后会不会被称为GPT-5,还没有确定。
不过这一消息尚未得到OpenAI的证实。该公司内部员工回应,这一报道并不准确,但吊诡的是,也没有进一步阐述详情。
1.下一代GPT,OpenAI高管透露了哪些
继OpenAI最新发布的可媲美扩散模型的、连续时间一致性模型sCM后,这是最新有关OpenAI推出新模型的一则消息。
Orion一直被业界视为GPT-4的下一代SATA模型,早在今年9月3日,OpenAI的一名高管OpenAI Japan的 Nagasaki,在公布了“GPT Next”的计划时,用千倍GPT-4的性能提升来描述Orion:
这款AI模型(GPT Next)的计算量目标是GPT-4的100倍,使用相似的资源,但架构和效率都有所提升。它将在今年晚些时候以紧凑的Strawberry版本(也就是今天大家知道的o1模型)发布。
Nagasaki还提到了在10000个H100 GPU上训练的Orion,其计算规模会再增加10倍,使得总计算量达到当前GPT-4的3个数量级以上。这些令人振奋的进展标志着AI能力进入了一个新时代。
图片
紧接着是11天后,OpenAI CEO奥特曼直接出来为Orion做预告:冬季的星座很快就要升起了。
图片
冬天哪个星座最亮眼,无疑就是猎户座(Orion)了。
除了这些高管对于Orion的爆料,还有两个OpenAI不可回避的关键事实:
首先,OpenAI正在经历前所未有的员工离职动荡期,前不久元老级董事会成员的分道扬镳的消息刚刚消退,但带来的连锁反应依旧十分剧烈:首席技术官 Mira Murati随着o1模型的发布后立即宣布了离职,同时离职的还有公司首席研究官 Bob McGrew 和后期训练副总裁 Barret Zoph。
人员流动并没有结束,就在今天,任职6年的AGI准备工作高级顾问的Miles Brundage也将迎来在OpenAI的lastday。
图片
另一个不可忽视的变化是,OpenAI刚刚以 1570 亿美元的估值完成了历史性的 66 亿美元融资,但该轮融资要求该公司将自身重组为营利性实体。
这也意味着,奥特曼治下的OpenAI正在彻底走向不断融资继而IPO的商业道路。
一面是公司全面重组为商业实体,一面是元老级员工的高频流动,这对于Orion或者GPT-5的发布而言,都不是一个特别利好的消息。
2.离职员工研究员:别激动,下一代AI没有Ready
昨天,OpenAI的老员工Brundage 在解释为什么离开OpenAI的博客中,提到了OpenAI目前的进展和困境。
关于Brundage,大家可能不太熟悉,他在OpenAI已经工作了六年多,按照OpenAI的标准来说这已经很久了(这六年里OpenAI已经今非昔比!)
Brundage最初担任政策团队的研究科学家,后来成为政策研究主管,目前担任AGI(通用人工智能)准备工作的高级顾问。其领导过的团队(政策研究和AGI准备工作团队)在塑造OpenAI的部署实践方面做了很多非常重要的工作,例如为外界所致的外部红队计划、推动制定前几个OpenAI系统卡片,以及发表了大量关于语言模型和AI代理的社会影响、前沿AI监管、计算能力治理等主题的有影响力的工作等等。
他在文中表示:他在创建 OpenAI 的 AI/AGI 水平5级量表方面发挥了重要作用。通过这个量表,接下来的AI模型组织工作都会据此展开,直至实现AGI。而OpenAI 认为世界目前处于第二级的悬崖边上,其特征是具有人类水平推理能力的 AI。
虽然参与制定了这一规划,但Brundage 坚持认为 OpenAI 和整个世界都没有为正在构建的下一代 AI 系统做好准备。
言外之意,即便是OpenAI,也难以推出有真正意义的L3级别(智能体)的AI大模型,也就是说Orion也好、GPT-5也好,大概率也不太会有质的跃迁。
图片
值得注意的是,Brundage 对于AGI是否可以造福人类也发表了看法:
虽然 AGI 可以造福全人类,但它不会自动造福。相反,负责制造它——并监管它——的人类必须有意识地去做这件事。
这一警告也透露出,他可能认为 OpenAI 在如何处理 AGI 管理方面没有经过足够的深思熟虑。
Brundage 表示,随着高级研究员的离职,OpenAI 正在将其 AGI 准备团队的成员重新分配到组织内的其他小组。此次解散是在它解散其 AI 安全团队不到六个月后发生的,这并不完全是个好兆头,因为最新的大牌辞职动摇了公司的领导层。
目前大模型能力的瓶颈加上OpenAI对于安全方面的重视程度的减弱的证据表明,下一代AI系统并未Ready。
用Brundage自己的话说:“我在OpenAI已经完成了大部分我原本打算做的事情”,意即他不认为在OpenAI还能继续做自己规划的事情了。
3.离开OpenAI的三个理由
不少高管和高级研究员选择离开了OpenAI,前CTO Mira离职时隐晦的表达:在这个时刻(o1感刚发布的高光时刻)决定离开是合理的。Brundage则从研究员的视角给出了自己的答案,这个答案可能更接地气些——
图片
“我决定从行业外部而非内部去影响和推动AI的发展。有几个方面的考虑指向了这一结论。”
第一,机会成本已经变得非常高:我没有时间去研究我认为重要的各种研究课题,而且在某些情况下,我认为如果我在行业外部研究这些课题,它们的影响会更大。OpenAI现在备受瞩目,其产出也从许多不同的角度被审视,因此我很难发表关于所有对我而言重要的课题的论文。需要明确的是,虽然我不能说我总是同意OpenAI对论文审查的立场,但我确实认为,在行业内部存在一些出版限制是合理的(我也曾帮助撰写过OpenAI政策的几个版本),但对我来说,这些限制已经太多了。
第二,“我希望减少偏见”。当你成为某个组织的一员,并且每天与那里的人密切合作时,就很难对这个组织保持公正。考虑到存在财务利益冲突,人们有理由质疑来自行业的政策想法。我尽量在分析中保持公正,但我肯定会有一些偏见,当然,在OpenAI工作也会影响人们如何看待我的陈述以及来自行业内部其他人的陈述。我认为,在政策对话中,需要有更多独立于行业的声音,我计划成为其中之一。
第三,“我在OpenAI已经完成了大部分我原本打算做的事情”。自从他开始担任AGI准备工作高级顾问这一最新职务以来,就已经开始更明确地思考两种类型的AGI准备工作——OpenAI管理日益强大的AI能力的准备,以及世界有效管理这些能力(包括通过监管OpenAI和其他公司)的准备。
而关于前者,Brundage会向高管和董事会讲述了相当多关于其认为OpenAI需要做的事情以及存在的差距的内容;关于后者,Brundage认为他在外部反而可以发挥更大的作用。
参考链接:
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.theverge.com/2024/10/24/24278363/microsoft-openai-next-model-orion-notepad
本文转载自51CTO技术栈,作者:言征