谷歌真急了,推DeepMind撑场!700亿参数Sparrow硬刚ChatGTP

人工智能 新闻
最近,微软大动作频频,外界对谷歌也有了唱衰的声音。谷歌显然不能忍了,急忙拉出DeepMind与之一战。

谷歌的反击战,打响了!

最近,微软接连给谷歌暴击——前脚刚表示ChatGPT即将整合进自家搜索引擎必应,后脚就放出ChatGPT计划加入Office「办公全家桶」这个重磅炸弹。

微软频出险招,谷歌自然不能坐以待毙。

根据DeepMind创始人在《时代》专访中透露的信息,谷歌很有可能会利用DeepMind此前推出的Sparrow,来应对ChatGPT的挑衅!

其实在以前,谷歌手中就有好几个酝酿了很久的大模型,比如LaMDA,Imagen等等,据说都达到了SOTA,但从未对外公开。

看来,最近的谷歌,真的是被微软逼急了,已经准备领着「孩儿们」出来见人了。

应对ChatGPT,谷歌有答案了

谷歌曾经的犹豫不决,给今日的自己埋下了后悔的种子。

虽然ChatGPT很费钱,每天都要烧掉30万美元,但人们永远都会记住,在2022年12月的那一天,是OpenAI的ChatGPT写下了大规模语言模型历史上浓墨重彩的一笔,让全世界人民为了和机器人聊天挤爆了服务器,而不是谷歌。

其实,在OpenAI推出ChatGPT之前,谷歌就早已有了针对对话优化的大型语言模型,比如LaMDA和Flamingo。

甚至早在2020年,谷歌就推出了一个26亿参数的端到端神经网络对话模型Meena。据称,其效果比当时所有其他的SOTA聊天机器人都更加合理,也更加具体。

但截至目前,谷歌还没有把这些研究成果应用于任何产品。

根据它自己的说法,这主要是出于对「声誉风险」的考虑。AI聊天机器人非常容易「带毒」——AI训练的数据来自互联网,往往充满了偏见、仇恨和谩骂,所以AI会生成破坏性内容,以及与事实不符的答案。

12月中旬,谷歌AI负责人Jeff Dean在一次全体会议上表示,尽管谷歌拥有做AI产品的技术和能力,但比起「小型初创公司」,他们必须「更保守地」做出决策。

但现在,被微软逼到墙角的谷歌,恐怕无法再「保守」了。

ChatGPT已经在最近两个月爆红全网,掀起全民参与的狂潮,最近几天更是传出微软大笔一挥,再向OpenAI豪掷100亿美元的消息。

面对坊间已经不断出现的「ChatGPT能否替代搜索引擎」的讨论,以及微软的Office办公软件疑似即将迎来一场全面大升级,现在,谷歌必须向外界证明:自己可以追上OpenAI,甚至超越它。

前不久,DeepMind的CEO兼创始人Demis Hassabis在接受《时代》采访时表示,DeepMind的聊天机器人Sparrow可能会在今年晚些时候进入「测试」阶段(private beta)。

Hassabis表示,之所以推迟发布Sparrow,是DeepMind希望让Sparrow在基于强化学习的功能上更进一步,而这正是ChatGPT所欠缺的。

一直以来,DeepMind作为谷歌旗下最重要的AI研究机构,一直在为谷歌提供着先进的新技术,整合到消费者的产品中。

看来,谷歌要有大动作了。

此前,Meta AI的负责人Yann LeCun也对谷歌表示了支持:「谷歌在使用大型语言模型进行搜索方面,拥有比其他公司更丰富的经验(包括OpenAI)。」

图片

DeepMind的Sparrow,何方神圣?

和ChatGPT一样,DeepMind在2022年9月提出的Sparrow(麻雀)模型,也采取了一种基于人类反馈的强化学习(RL)框架。

但不同的是,Sparrow可以「谷歌一下」。

图片

论文地址:https://arxiv.org/abs/2209.14375

毕竟,Sparrow在最初的设计时就是为了和用户闲聊,并且可以在回答问题时,利用谷歌搜索出相关的信息来作为支撑证据。

图片

当然,为了确保模型的行为是安全的,还必须对其行为进行约束。

因此,研究人员为该模型确定了一套最初的简单规则,如「不要发表仇恨或侮辱性的言论」、「不要冒充或假装是一个真人」等。

之后,再通过闲聊来诱使Sparrow违反这些规则。其中涉及到的对话,可以用来训练出一个单独的「规则模型」,进而显示Sparrow的行为何时违反哪些规则。

图片

从结果上来看,当检测到潜在的危险行为时,比如用户问如何偷车(hotwire a car)时,Sparrow模型会说,自己受到的训练是不会给任何违法行为提供建议。

图片

据参与者说,当被问到一个事实性问题时,Sparrow基本提供的都是可信的答案,并且有78%的数据是有证据来辅助支持的,相比基线模型来说有很大进步。

图片

帮谷歌走出困境,DeepMind行吗?

对打ChatGPT,Sparrow够格不

近年来,人工智能研究的重点,通常是用更多的参数来获得更好的性能。但DeepMind却大大减少了Chinchilla语言模型的规模。

作为Sparrow的基础,Chinchilla的参数量只有GPT-3的零头——700亿 vs 1750亿。

与此同时,DeepMind又把Chinchilla的训练数据量,给翻了好几番——1.3万亿个token。

结果就是,这个「mini版」的人工智能模型,在几乎所有的语音任务中都比前辈们表现得更好,当然也包括老对手GPT-3。

图片

从Chinchilla的成功中不难看出,通过大量数据训练的小型人工智能模型,也可以实现较高性能。

而且,小模型最大的优势在于,不仅运行起来更加便宜,还可以用很少的额外数据为特定的用例进行优化。

这样或许就能避免,由于用户用得太开心,结果把公司的钱都给烧没了的情况。

嗯,说的就是OpenAI。

图片

然而,现在大红大紫大的ChatGPT,是基于更先进的GPT-3.5。

之前在推出GPT-3.5的最新版本text-davinci-003时,OpenAI就曾列举过它所具备的优势:

1. 生成质量更高:提供更清晰、更有吸引力、更有说服力的内容。

2. 可以处理更复杂的指令:可以更有创意地利用它的能力。

3. 更善于生成较长的内容:能够完成以前难以实现的任务。

图片

所以,现在的问题其实变成了:要对打GPT-3.5,Chinchilla行吗?

「真香」

一步步走到今天,回顾谷歌这几年的动作布局,管理层心里大概是五味杂陈。

早在12月初,ChatGPT刚刚爆火时,谷歌就有「吹哨人」感受到了危机。有员工在全体会议上提出了自己的担忧——ChatGPT的快速崛起,可能会让谷歌失去在AI领域的竞争优势。

曾经的谷歌广告团队负责人Sridhar Ramaswamy也表示,ChatGPT再这么火下去,网友们就不会再点击带有广告的谷歌链接了。

要知道,在2021年,广告业务为谷歌狂挣了2080亿美元,占Alphabet总收入的81%。

图片

而那时,谷歌高管们还没有意识到ChatGPT的诞生,将会对他们造成什么样的危机。

当时的谷歌高层,是这样表态的:谷歌不会推出ChatGPT的竞争对手,因为谷歌比OpenAI等初创公司具有更大的「声誉风险」。并且,「聊天机器人还没有到能取代搜索引擎的程度」。

不过短短十天后,高管们就态度陡变。

图片

Pichai指示一些团队转换方向,开发AI产品

CEO劈柴紧急发布了「红色代码」,参加了数次围绕谷歌AI战略的会议,并重点指示:谷歌的多个团队需要集中精力,解决ChatGPT对本公司的搜索引擎业务构成的威胁。

谷歌的研究、信任和安全部门以及其他部门的团队已被指示换档,转而开始协助人工智能原型和产品的开发和发布。

其实,谷歌的顾虑,也可以理解。

一个机器人会传播谎言、散布仇恨言论,甚至让人们产生了它已经「具有意识」的错觉,为这样的机器人烧钱、提供实验场,OpenAI的尝试其实很大胆。

目前来看,OpenAI的试水反响相当不错,有人探出了前路,看来谷歌也要进场了。

陷入「创新者困境」

Decoder的记者Matthias Bastian认为,除了对「声誉风险」的担忧,更合理的原因是,谷歌恐怕陷入了「创新者的困境」。

图片

这个术语是美国学者Clayton Christensen在1997年提出的,描述了这样一种情况——对成熟公司来说,很难让它们采用破坏传统市场的新技术或商业模式。

这些成熟公司,手中往往掌握着最重要的资源,也有足够的科研能力。然而,现有的客户群和固定的内部流程,都会使他们远离突破性的创新。

而当更小、更敏捷的竞争对手进入并接管市场 (没错,这里指的就是OpenAI),或许最终会导致成熟大公司的消亡。

图片

谷歌的大部分收入,都来自于在线广告

现在,谷歌最核心的搜索引擎业务正在不断增长,而且利润丰厚(还记得上文的2080亿美元么)。

可以说,每个搜索结果页面,都在给谷歌印钱。

而新的搜索聊天机器人(search chatbot),意味着一种全新的货币化策略。它能否像搜索引擎这样让谷歌盈利呢?

谷歌当然可以推出一个像ChatGPT那样成功的聊天机器人,但是如果它的利润低于搜索引擎,谷歌就会面临亏损。

图片

数字营销专家Tim Peter在推特上指出,微软的优势在于可以通过其他收入来源,来补贴必应中ChatGPT的成本

而ChatGPT的背后,是金主爸爸微软,而微软拥有丰富的收入来源,目前还能支持ChatGPT这样烧下去。

但谷歌却不同,它所有的收入几乎都来自于广告。因此,如果没有广告收入,谷歌搜索引擎的价值就会大大降低。

图片

微软2012至2022按部门划分的财年收入

更何况,搜索引擎之所以如此暴利,就是靠用户不断点击链接,在这个过程中,谷歌收取了商家巨额的广告费。

可是假如用户靠着聊天机器人能直接得到答案,而不需要在列表中翻找,搜索引擎的付费业务生态就直接被破坏了。

这个几千亿美元的蛋糕,谷歌敢冒险砸掉吗?

图片

现在,谷歌有一条平稳过渡的出路:通过旗下的DeepMind推出商业化的聊天机器人,自己来给谷歌搜索造出一个对手(同时也是OpenAI的对手),这样一来,就可以做个对冲。

这样谷歌就可以安抚股东,当外界怀疑聊天机器人将取代搜索引擎时,也可以有个回应。

这样看,在2023年即将发布的Sparrow测试版,身上肩负的使命着实不小。

责任编辑:张燕妮
相关推荐

2022-04-04 17:52:20

模型计算DeepMind

2018-10-15 15:34:16

谷歌PixelGoogle

2022-08-18 15:13:37

模型参数

2021-08-27 15:03:51

PythonC语言数组

2021-03-18 09:57:53

频段5G频谱

2021-12-09 15:27:46

模型人工智能深度学习

2022-04-29 15:51:16

模型自然语言人工智能

2019-10-12 13:36:43

机器学习人工智能计算机

2018-01-09 16:37:09

谷歌安卓支付

2020-07-29 14:35:33

Garmin勒索软件网络攻击

2022-11-15 11:51:47

谷歌数据安全

2022-08-22 15:47:48

谷歌模型

2021-10-19 15:04:05

开源技术 数据

2021-06-26 07:18:56

勒索软件攻击赎金

2021-09-23 10:03:20

谷歌人工智能技术

2012-04-25 08:35:48

谷歌Google Driv云存储

2011-05-06 14:52:14

Nexus TAndroid 3.1平板电脑

2011-02-03 10:10:49

Android3.0Android谷歌

2014-10-22 10:44:16

2009-12-10 10:34:10

苹果Safari谷歌Chrome
点赞
收藏

51CTO技术栈公众号