无需GPU,手机芯片也能运行多模态模型!面壁智能发布MiniCPM,性能超过Mistral-7B!

原创
人工智能
据了解,面壁智能源于清华 NLP 实验室,是在国内较早开展大模型研究的团队之一,其在 2018 年发布了全球首个基于知识指导的预训练模型 ERNIE。2022 年 8 月开始公司化运作的面壁智能,去年经历了两轮融资,其推出的应用「面壁露卡」也拿到了网信办第二批大模型备案。

2月1日,面壁智能发布了旗舰端侧模型 MiniCPM,它以小博大的性能超越了 Mistral-7B,并在 MT-Bench 等榜单上表现出色。

MiniCPM 是一款能说会看、具备编程能力、拥有多模态能力的端侧模型。它不仅在性能上优秀,而且具有极低的成本,支持 CPU 推理。MiniCPM 开源,并已在主流移动操作系统上进行了适配和测试。

1、端侧成本极致降低:Mistral的1/100,GPT-4的1/360

在终端硬件厂商加速产品AI化的趋势下,面壁智能认为,成本是大模型的隐形竞争力,“比起size,我们更在意成本”。

以搭载了骁龙855芯片的OPPO手机为例,MiniCPM每秒能处理7.5 Tokens,运行5年后报废,成本为600元,由此可得170万Tokens的推理成本仅1元——MiniCPM的推理成本仅Mistral的1/100,GPT-4的1/360。

据介绍,目前MiniCPM-2B在CPU(比GPU计算吞吐量低)上就能跑起来,相较于用GPU才能运行的大模型,能够降低推理成本。与此同时,即便将大小压缩75%,MiniCPM的性能也能做到基本无损耗。

在性能上,MiniCPM-2B的中文知识能力、代码能力、数学能力已经超过Mistral-7B,而英文知识能力、逻辑能力和常识问答能力还存在一定差距。而在测试模型接近人的程度的评测榜单MT-Bench上,MiniCPM-2B的表现超过了Llama 2-70B-Chat。

图片图片

2、手机芯片也可运行

面壁智能团队目前验证了MiniCPM使用手机芯片进行推理的可行性。据悉,进行Int4量化后,MiniCPM只占2GB空间,具备在端侧手机进行模型部署的条件。

其中,对于Android、Harmony系统,使用开源框架MLC-LLM进行模型适配,支持文本模型、多模态模型;对于iOS,使用开源框架LLMFarm进行模型适配,仅支持文本模型。

MiniCPM让手机上具备了无需联网、无需搜索也能识图解答的能力。

图片图片

图片图片

“此前尚未有工作尝试在手机上部署多模态大模型。我们此次在MLC-LLM上验证了手机部署MiniCPM-V的可行性,能够正常输入输出,但也存在图片处理时间较长的问题,需要进一步优化。”

下图是测试的手机型号、系统和处理器信息。

图片图片

目前代码已开源:https://github.com/OpenBMB/MiniCPM

3、多模态模型开源

此外,据介绍面壁还开源了一个多模态模型 OmniLMM,展现出了实时动作识别和精准理解等能力。

图片图片

在发布会上,面壁智能演示了 Gemini 发布时同款的石头剪刀布 demo。用英文向 AI 提问:我正在玩什么游戏?大模型会回答:石头剪子布。

4、团队平均年龄28岁80%清北

据了解,面壁智能源于清华 NLP 实验室,是在国内较早开展大模型研究的团队之一,其在 2018 年发布了全球首个基于知识指导的预训练模型 ERNIE。2022 年 8 月开始公司化运作的面壁智能,去年经历了两轮融资,其推出的应用「面壁露卡」也拿到了网信办第二批大模型备案。

目前,面壁智能已经组建起 100 余人的科研团队,其中 80% 人员来自清北,平均年龄 28 岁。

面壁智能正在构建“大模型 + Agent”的双引擎战略,希望能构建出更小规模、更快速度、更低成本的解决方案。

此外,面壁智能联合创始人还做了一个剧透:“我们会在春节之后不断发布 MiniCPM 的新版本,性能还会进一步提升。我们要给大家春节的休息时间。”

责任编辑:武晓燕 来源: 51CTO技术栈
相关推荐

2012-12-28 16:33:08

2012智能手机芯片ARM

2013-06-07 10:26:07

智能手机芯片服务器

2024-01-17 12:08:32

模型训练

2012-05-01 07:54:42

联发

2020-09-01 10:39:57

芯片高通手机

2012-10-23 10:53:38

讲座

2012-05-01 21:15:02

华为

2013-05-27 11:15:14

超级计算机手机芯片

2020-01-08 10:38:17

5G手机芯片5G通信

2011-03-28 14:19:22

英特尔Medfield高通

2011-06-15 09:36:50

联发科

2021-02-20 11:38:48

Linux 系统 数据

2021-12-15 09:32:59

AI 科技人工智能

2016-09-07 09:27:39

多核心芯片CPU手机芯片

2018-09-27 14:02:51

华为谷歌人工智能

2023-06-28 21:47:54

2024-02-19 14:09:00

模型Eagle 7BRNN

2023-05-11 07:45:48

PaLM 2人工智能Bard
点赞
收藏

51CTO技术栈公众号