4月17日,OpenVINO™2025.1版正式发布了。我们尝个鲜,利用OpenVINO在英特尔哪吒开发套件上部署deepseekr1distillQwen7b模型。一、在边缘终端部署本地大模型的好处边缘终端,如树莓派和英特尔哪吒开发套件,通常具有较低的功耗和成本,同时具备一定的计算能力。在这些设备上部署DeepSeekR1大模型,可以带来以下好处:1.降低云端依赖边缘终端的本地化部署减少了对云端服务的依赖,使得设备能够在离线或网络不稳定的情况下独立运...
2025-04-26 21:24:33 982浏览 0点赞 0回复 0收藏