阿里巴巴、智源研究院、清华大学联合发布国内超大预训练AI模型

新闻
1月12日,阿里巴巴、智源研究院、清华大学等联合研究团队发布面向认知的超大规模新型预训练模型“文汇”。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

1月12日,阿里巴巴、智源研究院、清华大学等联合研究团队发布面向认知的超大规模新型预训练模型“文汇”。该模型不仅能提升AI的理解能力,还可基于常识实现AI创作,未来将应用于文本理解、人机交互、视觉问答等场景。

[[375374]]

与传统AI训练需要人工标注数据不同,面向认知的预训练语言模型提供了一种全新的学习思路,即AI首先自动学习大量语言文字和图像数据,记忆和理解其中的信息以及人类语言表述的规律后,再进一步学习专业领域知识,从而让AI同时掌握常识和专业知识。

此次发布的“文汇”是目前国内规模最大的预训练模型,参数量级达113亿,采用阿里自研的统一多种并行策略的高性能分布式框架,使用模型并行、流水并行、数据并行训练进行分布式训练。“文汇”突破了多模态理解与多模态生成两大难题,可轻松理解文本图像信息,并能完成创造性任务。例如,仅需输入诗歌题目、朝代以及作者,“文汇”即可自动生成仿古诗词。目前,“文汇”已支持基于认知推理的多种自然语言及跨模态应用任务,部分应用即将上线。

阿里巴巴、智源研究院、清华大学联合发布国内最大预训练AI模型

模型可根据诗歌题目、朝代以及作者自动生成诗歌

达摩院2020十大科技趋势曾提到:AI已经在“听、说、看”等感知智能领域达到或超越了人类水准,但其逻辑推理能力依旧处于初级阶段,多模态预训练模型是实现感知智能向认知智能跨越的关键基础。达摩院智能计算实验室负责人周靖人表示,“预训练语言模型是过去70多年以来最具创新的自然语言模型之一,其模型设计难度也远高于传统模型,达摩院研究团队将持续攻克算法及系统工程难题,加速人工智能走向认知智能。”

作为国内最早投入认知智能研究的科技公司之一,阿里巴巴已有30多个研究成果被国际顶级会议收录,获得世界人工智能大会最高奖项—SAIL奖,与清华大学联合获得国家科学技术进步奖二等奖,旗下图神经网络框架Graph Learn已面向全球开源,可减少模型的算力、存储资源消耗,同时缩短算法开发上线周期。

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-01-12 11:06:44

阿里巴巴AI人机交互

2020-11-18 10:29:07

模型人工智能开源

2021-03-22 11:16:50

人工智能应用基础设施

2021-09-02 18:41:48

智源研究院人工智能

2021-03-16 14:48:42

人脸识别人工智能数据

2021-09-29 10:10:56

人工智能技术清华

2023-01-14 14:59:05

达摩院

2012-07-24 18:28:52

2020-06-09 14:57:24

人工智能机器学习技术

2023-06-20 13:44:49

清华推理

2024-03-04 09:00:00

模型压缩

2014-11-19 15:08:38

SAP

2016-11-03 23:08:40

高德

2023-03-24 16:14:32

框架训练

2017-10-11 20:03:51

阿里云南京云栖

2021-03-26 16:41:39

网络安全

2021-04-19 11:02:06

阿里云达摩院AI

2021-03-31 11:33:21

人工智能的未来
点赞
收藏

51CTO技术栈公众号