如何低成本、便捷地使用大模型?看亚马逊云科技解锁生成式 AI 的方法

原创
人工智能
在生成式 AI 赛道,亚马逊云科技则选择搭建基础模型平台服务,便于用户可以使用成熟的第三方模型以及亚马逊云科技自研的大模型,降低使用生成式 AI 的技术门槛。

如今,我们进入到“百模大战”时代,科技公司纷纷推出自己的大模型,想在人工智能赛道上抢占先机。然而,大模型要想发挥更大的价值,还应更加深入千行百业,加速在实体产业落地,为社会创造更大的价值。

和诸多企业推出自己的大模型方法不同,亚马逊云科技则选择搭建基础模型平台服务,便于用户可以使用成熟的第三方模型以及亚马逊云科技自研的大模型,降低使用生成式 AI 的技术门槛。

亚马逊云科技全球产品副总裁 Matt Wood 博士在接受采访时表示,生成式AI是整个技术行业的巨大突破,能够以前所未有的方式在支持和处理数据。亚马逊云科技的目标就是用尽可能简单的方法,帮助客户构建自己的大语言模型。

亚马逊云科技全球产品副总裁 Matt Wood 博士

降低使用门槛,解锁生成式 AI 价值

生成式 AI 正在重塑各行各业,可以释放超越传统界限的创新,将我们推向未知的领域。亚马逊对于生成式AI的发展感到非常兴奋,各个部门都在生成式 AI 方面夜以继日地来开展工作,制定工作计划,来提升各种能力,为在这个领域取得成功而努力。在云服务方面,亚马逊云科技也在践行以低成本、简单的方式,帮助客户来使用生成式 AI 的技术和工具,加速企业创新变革,实现生成式AI带来的价值。

首先,在模型访问方面,亚马逊云科技认为不会有一个单一的模型可以包办一切。Matt Wood 表示,“企业不能依赖一个万能的、单一的大语言模型来应对各种任务,并且这个大模型还是由其他人来掌控。企业应该可以访问多个模型,根据自己的需求和数据,以私密和安全的方式来定制自己企业的模型。”为此,亚马逊云科技推出了 Amazon Bedrock 服务,包括了第三方提供的生成式 AI 模型 Anthropic Claude、AI21Labs 和 Stability AI,还有亚马逊云科技自研的预训练基础模型 Amazon Titan。借助 Amazon Titan 系列基础模型,客户可以根据自身需求,在大语言模型的基础之上,使用自己的数据进行专业化模型的构建和训练。

第二,亚马逊云科技提供一个安全和私密的环境,让企业可以定制自己的大模型,并且进行优化和调优等工作。亚马逊云科技提供企业虚拟私有云中的专用节点,企业可以使用自己的数据进行模型的训练和优化,并将模型和数据存储到 Amazon S3 中,亚马逊云科技会对其进行加密。当企业再次使用时,只需要加载到专用节点即可。

第三,亚马逊云科技通过定制的芯片,用于基础模型的训练和推理,极大地提升性能,同时尽可能降低成本和延迟。在模型训练方面,亚马逊云科技自研的训练芯片 Amazon Trainium 所支持的计算实例Trn1n 是网络增强型的实例,相比于 Trn1 网络带宽提升了 1 倍,达到 1.6 TB,旨在为大型的网络密集型的模型训练来使用。在推理方面,亚马逊云科技的 Inferentia2 实例,相比第一代芯片不仅吞吐量提升了 4倍、延迟降低了 10 倍,还实现了加速器之间的超高速网络连接,并且将云中推理成本降到最低。

第四,为了提高企业生成力,亚马逊云科技推出了为开发者提供的代码生成服务 Amazon CodeWhisperer。开发者可以通过自然语言提示,系统就可以生成他们所需要的代码,极大地提升用户的开发体验。目前,Amazon CodeWhisperer 支持 15 种不同的编程语言,未来还会加入更多的编程语言。

Matt Wood 强调,亚马逊云科技与众不同之处就是,要确保提供的生成式AI是普遍可用的,并以极低的成本以及尽可能低的延迟来向用户交付服务,并确保操作或者运维性能的最优化。

打造模型平台+自研模型,降低大模型使用门槛

在生成式 AI 方面,产业界普遍的做法是自己研发大模型,然后对外开放,并且支持企业定制化,生成某个行业或某个企业的大模型。

而亚马逊云科技的做法是,打造一个大模型的平台服务Amazon BedRock,接入市场上优秀的已经训练过的模型,方便企业可以直接使用。同时,该平台也提供亚马逊云科技自研的基础模型 Amazon Titan,便于企业训练自己的大模型。

Matt Wood 指出,企业可以直接通过已经训练过的或者预训练模型开启自己的大模型之旅,而无需自己投入时间和资金从零开始训练。“客户可以立即使用稳定且经过验证的基础模型,从而构建他们自己专用的模型。这也是我们取名为‘Amazon Bedrock’的原因,它是一个基石,为客户提供坚实且可快速使用的基础。”

目前,亚马逊云科技根据客户的需求,挑选了行业领先的模型,对接在Amazon Bedrock服务中,包括 Stability AI、Anthropic 和 AI21 Labs 三个外部模型。Matt Wood 表示,未来会有越来越多的第三方模型出现,同时也会有更多的 Amazon Titan 模型供客户选择。但是,亚马逊云科技不会将 Amazon Bedrock 做成类似应用市场那样的模型市场。

亚马逊云科技在挑选基础模型时,会挑选非常新颖、有趣、有用、与众不同,并且确保它们是低时延的,具有广泛可用的运维性能的模型。Matt Wood 表示,最终,在 Amazon Bedrock 服务中会形成几十个拳头模型产品。此外,企业也可以通过 Amazon SageMaker JumpStart 来选择其他基础模型进行训练,从而形成自己的自建模型。

如今,市场上的大模型都属于通用目的型模型,这些模型广泛适用于各种类型的问题,但是深度不够,即博而不渊,对一定的市场场景比较合适,例如聊天机器人、搜索工作等。但是,绝大多数客户还是希望模型在特定领域能有更深入的理解和解决问题的能力,即使用面可以不广博但要具有足够的深度。

Matt wood 表示,企业可以通过使用 Amazon Bedrock,来选择他们需要的模型,然后在 Amazon Bedrock 通过微调的方式就可以极大地来提升模型性能,使得模型输出的结果与用户特定的使用案例以及使用场景是高度匹配的。因此,当大模型在回答特定类型的问题或者解决相关难题的时候,就能够给出更加深入的解决方案。

目前,已经有许多行业模型在亚马逊云科技的平台之上进行训练。例如,彭博社在亚马逊云科技上面运行了非常大的一个金融服务模型。Matt Wood 表示,企业会根据自己的行业来选择相应的基础模型,然后对模型进行训练。此外,客户还会根据自身情况来补充添加独有的、私有信息,从而使模型的输出结果和他们提出的问题或者需求高度相关。

责任编辑:鸢玮 来源: 51CTO
相关推荐

2021-03-16 16:38:10

亚马逊云科技EFS

2023-04-27 09:04:02

亚马逊云科技

2023-11-13 15:00:48

亚马逊云科技生成式AI

2023-02-23 17:51:03

亚马逊云科技AI

2022-07-13 16:45:34

​大模型AI微软

2023-03-14 10:56:22

2022-03-10 23:21:03

云计算云迁移技术

2024-04-10 09:36:05

亚马逊云科技Claude3Anthropic

2024-01-23 10:35:09

ChatGPT人工智能

2012-09-03 16:58:45

微软谷歌云计算

2024-04-23 11:00:35

亚马逊云科技生成式AI

2022-06-30 08:55:15

DDoSWAF网络攻击

2023-12-29 17:43:04

亚马逊云科技re:InventAmazonQ

2022-06-30 11:03:27

DDoS攻击WAF

2023-10-11 17:58:22

2024-04-10 10:28:47

2023-06-27 13:39:58

AI运维企业

2022-11-11 10:27:05

AI谷歌人工智能
点赞
收藏

51CTO技术栈公众号