在2GB DAYU200上本地部署大语言模型

人工智能 OpenHarmony
在2GB的DAYU200开发板上部署alpaca模型,实现OpenHarmony设备本地部署语言模型。(注意:本地部署语言模型对设备RAM要求较高需要4GB左右,加上swap交换空间就可以)。

实现思路和步骤

移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统,编译出能在OpenHarmony运行的二进制产物。(InferLLM 是一个简单高效的 LLM CPU 推理框架,可以本地部署 LLM 中的量化模型)

使用OpenHarmony NDK来编译OpenHarmony上的InferLLM可执行文件(具体使用OpenHarmony lycium 交叉编译框架,然后编写一些脚本。然后把其存放在tpc_c_cplusplusSIG仓库。)

在DAYU200上本地部署大语言模型

编译获取InferLLM三方库编译产物

下载OpenHarmony sdk,下载地址:

http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList

下载本仓库

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1
# 设置环境变量
export OHOS_SDK=解压目录/ohos-sdk/linux  # 请替换为你自己的解压目录
 
cd lycium
./build.sh InferLLM

获取InferLLM三方库头文件及生成的库 

在tpc_c_cplusplus/thirdparty/InferLLM/目录下会生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目录,该目录下存在已编译完成的32位和64位三方库。(相关编译结果不会被打包进入lycium目录下的usr目录)。

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-build  
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

将编译产物和模型文件推送至开发板运行

  • 下载模型文件:https://huggingface.co/kewin4933/InferLLM-Model/tree/main
  • 将编译InferLLM生成的llama可执行文件、OpenHarmony sdk中的libc++_shared.so、下载好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夹 llama_file
# 将llama_file文件夹发送到开发板data目录
hdc file send llama_file /data
# hdc shell 进入开发板执行
cd data/llama_file

# 在2GB的dayu200上加swap交换空间
# 新建一个空的ram_ohos文件
touch ram_ohos
# 创建一个用于交换空间的文件(8GB大小的交换文件)
fallocate -l 8G /data/ram_ohos
# 设置文件权限,以确保所有用户可以读写该文件:
chmod 777 /data/ram_ohos
# 将文件设置为交换空间:
mkswap /data/ram_ohos
# 启用交换空间:
swapon /data/ram_ohos

# 设置库搜索路径
export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH

# 提升rk3568cpu频率
# 查看 CPU 频率
cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq

# 查看 CPU 可用频率(不同平台显示的可用频率会有所不同)
cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies

# 将 CPU 调频模式切换为用户空间模式,这意味着用户程序可以手动控制 CPU 的工作频率,而不是由系统自动管理。这样可以提供更大的灵活性和定制性,但需要注意合理调整频率以保持系统稳定性和性能。
echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor

# 设置rk3568 CPU 频率为1.9GHz
echo 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed

# 执行大语言模型
chmod 777 llama
./llama -m chinese-alpaca-7b-q4.bin -t 4

移植InferLLM三方库在OpenHarmmony设备rk3568上部署大语言模型实现人机对话。最后运行效果有些慢,跳出人机对话框也有些慢,请耐心等待。

责任编辑:姜华 来源: 鸿蒙开发者社区
相关推荐

2022-05-23 10:45:34

DAYU200鸿蒙

2022-05-31 14:32:23

Stack堆叠容器

2022-06-01 22:30:15

滑动容器堆叠容器

2022-05-30 15:21:27

Hi3861TCP通信

2023-07-25 10:42:39

鸿蒙遥控3861小车

2022-05-17 11:30:34

Stage模型浏览器鸿蒙

2022-07-05 16:13:37

ArkUI-eTS智能晾晒系统

2022-04-14 11:53:38

HarmonyRelease鸿蒙

2022-04-01 15:26:06

Harmony操作系统鸿蒙

2022-07-05 16:31:49

MPPT鸿蒙

2010-04-28 10:39:25

2023-10-11 09:00:00

2023-06-01 08:18:47

GPT大语言模型

2022-01-13 10:11:00

Ubuntu树莓派硬件门槛

2009-07-09 15:49:50

JVM内存

2022-07-08 14:53:46

扫雷小游戏鸿蒙

2022-07-06 20:51:32

神经网络机器学习

2012-03-16 16:22:55

笔记本评测

2022-06-06 10:44:10

C++语言鸿蒙

2009-04-30 08:57:11

微软操作系统Windows 7
点赞
收藏

51CTO技术栈公众号