号称可以成为 ChatGPT 平替的开源模型 “Dolly”

开源
你需要一款 ChatGPT 的平替?还得是开源的?看起来我们已经被卷入了与 ChatGPT 的开源大战。

Databricks 这家软件公司,在各个领域都有所建树,尤其是在数据仓库和基于人工智能的解决方案方面。

最近,随着 ChatGPT 横空出世,Meta、谷歌甚至 Mozilla 都开始效仿 ChatGPT。

而现在,Databricks 开源了其 大型语言模型large language model(LLM)“Dolly”,也正在以自己的方式进行尝试。

我们一起来看看它。

发生了什么? 在最近的公告中,Databricks 介绍了他们号称 “廉价构建” 的 LLM,使用 EleutherAI 的已经开源的参数 模型 提供功能。

他们在该模型基础上稍作调整,赋予了 Dolly 指令诸如头脑风暴和文本生成的能力。

当你拿它与 GPT-3 中的 1750 亿个参数 比较时,Dolly 的 60 亿个参数 就可能显得微不足道。

但是,当 Databricks 的人看到即使数据量与 GPT-3 相差这么多,Dolly 也能 展示很多与 ChatGPT 相同的能力 时,他们感到非常震惊。

下面是他们展示的其中一个例子:

a screenshot of how dolly performs in an open question and answer scenario

a screenshot of how dolly performs in an open question and answer scenario

原始模型使用了 ​​Alpaca​​ 的数据,该模型由斯坦福大学以 Meta 的 ​​LLaMA​​ LLM 为基础建立。

但是,正如你所看到的,原始模型产生了一个非常杂乱无章的结果,而 Dolly,通过不同的模型和调整,能够产生一个更为可用的答案。

📝 有趣的事实:“多莉Dolly” 名字取自世界上第一只克隆羊。

为什么是现在? 根据 Databricks 的说法,他们认为 **许多公司更愿意建立自己的模型,**而不是将数据发送给某个紧紧掌握模型只对外提供 API 的集中式供应商。

许多公司可能不愿意将他们最敏感的数据交给第三方,然后在模型质量、成本和所需行为方面进行各种权衡。

你想看看吗?

当然,但有一个问题。

你必须 使用他们的平台来使用 Dolly,他们已经开源了一个 ​​Databricks 笔记本​​,可以帮助你在 Databricks 上构建它。

此外,如果你想获得训练好的权重,你必须联系他们。不过我不确定他们是否会免费提供使用权。

总而言之,这种开源其模型的举动应该对其他公司有好处,可以保护他们的数据、节省运营成本,其他公司也能使用它创建自己的模型。

你可以查看其 ​​公告博客​​,以了解更多技术细节和其他计划。

责任编辑:庞桂玉 来源: Linux中国
相关推荐

2023-05-16 20:47:38

2023-04-13 15:32:09

数据集开源

2023-04-20 14:43:38

Linux模型GPT4

2023-04-10 16:15:16

模型开源

2023-04-07 09:28:31

模型训练

2023-04-13 08:25:03

2024-01-03 12:56:39

2023-03-20 09:34:14

ChatGPT开源

2023-04-04 19:09:20

ChatGPT开源

2023-04-07 13:54:37

模型AI

2023-03-31 13:55:00

模型智能

2023-03-30 16:04:45

计算机训练

2023-03-13 12:32:45

ChatGPT开源

2023-03-06 09:44:06

模型开源

2023-04-26 13:56:17

模型ChatGPT

2023-10-13 13:12:27

2023-05-26 10:50:38

模型AI

2022-12-30 12:39:36

模型AI

2023-09-08 16:32:42

2023-08-18 14:34:00

研究模型
点赞
收藏

51CTO技术栈公众号