社区编辑申请
注册/登录
字节跳动开源大模型训练框架veGiantModel ,性能最高提升6.9倍
新闻 自然语言处理
自然语言处理是人工智能研究的一个重要领域,旨在帮助计算机理解、解释和运用人类语言。

近日,字节跳动应用机器学习团队开源了一款名为 veGiantModel 的大模型训练框架,该训练框架主要应用于自然语言处理领域的大模型训练,最高可将大模型训练的性能提升6.9倍,大幅降低训练系统的压力。目前,字节跳动旗下的企业级技术服务平台火山引擎已在其机器学习平台上原生支持了 veGiantModel,该平台正在公测中 。

自然语言处理是人工智能研究的一个重要领域,旨在帮助计算机理解、解释和运用人类语言。近些年,自然语言处理在应用方面取得了较为显著的突破,主要是归功于 Bert、GPT、GPT-3 等预训练语言模型的普及。可以说,预训练语言模型已经成为人工智能领域的基础设施。由于大模型的算法表现更加出众,预训练语言模型在近几年呈现出迅速向大模型发展的趋势。然而,模型体积的快速增长也对现有的训练系统带来了不小的挑战,主要体现为显存压力、计算压力和通信压力。

针对现有训练系统在大模型训练场景下的上述挑战, 字节跳动应用机器学习团队提出了大模型训练框架 veGiantModel。

veGiantModel的中文名称叫做火山引擎大模型训练框架,是基于开源深度学习框架 PyTorch 、并在 Megatron 和 DeepSpeed 两大开源主流训练框架的基础之上构建的高性能大模型训练框架。

veGiantModel 可同时支持数据并行、算子切分、流水线并行 3 种分布式并行策略,并支持自动化和定制化的并行策略;基于字节自研的高性能异步通讯库 ByteCCL,veGiantModel 的训练任务吞吐相比其他主流开源框架有 1.2 倍到 3.5倍的提升,并且提供了更友好、灵活的流水线支持,降低了模型开发迭代所需要的人力;另外,veGiantModel 可在 GPU 上高效地支持数十亿至上千亿参数量的大模型,对网络带宽要求也更低,在私有化部署时无 RDMA 强依赖。

与 Megtraon 和 DeepSpeed 的对比测试显示,veGiantModel 的性能表现最好、受网络带宽影响最小,在Tesla V100上较上述两者有1.2 倍到3.5倍的提升,在 Ampere A100上最高可提升6.9倍。


veGiantModel开源 地址:

​https://github.com/volcengine/veGiantModel​​​

火山引擎机器学习平台 公测地址:

​https://www.volcengine.com/product/ml-platform​


责任编辑:黄显东 来源: 51CTO
相关推荐

2022-03-21 15:06:10

模型字节跳动框架

2022-05-11 15:08:52

驱动开发系统移植

2022-06-27 17:46:53

PythonFlask

2022-06-24 11:14:00

美团开源

2022-06-08 13:25:51

数据

2022-06-10 07:45:09

CentOS国产操作系统

2022-06-30 10:56:18

字节云数据库存储

2022-06-15 08:21:49

Linux运维工程师

2022-06-24 10:52:47

人工智能作业帮T前线

2022-06-30 11:03:27

DDoS攻击WAF

2022-06-28 10:03:56

CentOSLinux

2022-06-22 09:19:55

HDC鸿蒙ADB命令

2022-06-03 09:41:03

DockerKubernetes容器

2022-06-17 18:49:25

pythonexcel

2022-05-17 08:39:05

VueViteTypeScript

2022-05-23 13:30:48

数据胡实践

2022-06-16 07:32:38

VSCodePython插件

2022-06-15 16:16:21

分布式数据库鸿蒙

2022-06-28 14:01:42

MITOpenAI预训练模型

2022-06-01 17:47:24

运维监控系统

同话题下的热门内容

都怪二维码,造就了网友们的社死现场...月活 12.8 亿的微信,海量请求下是如何防止崩溃的?裁员真能拯救中国互联网?李飞飞划重点的「具身智能」,走到哪一步了?六月大事记:错过的干货全在这新出生的机器狗,打滚1小时后自己掌握走路,吴恩达大弟子成果Linux内核将引入Rust,Linus:以防此事搞砸我又发脾气,先道个歉并发编程的三大核心问题

编辑推荐

斩获BAT技术专家Offer,他到底经历了什么?支付宝即将下线收款业务:2018年1月1日起正式执行,网友炸锅了!我活着从柬埔寨技术“魔窟”逃出来了…甲骨文云平台全面升级,助力客户稳步上云一文看懂Java收费 附可替换方案!
我收藏的内容
点赞
收藏

51CTO技术栈公众号