嵌入式AI入坑第三步，在开发板上部署DeepSeek-R1大模型

工程师进阶笔记 · 发表于昨天 17:50

星标+置顶，掌握嵌入式AIoT前沿技术资讯
点赞+关注，一起变得更加优秀！& {7 e/ n8 C3 r) I

开发环境的软硬件设备描述
$ w6 l" L) M& I

PC主机：Windows11（32GB内存，1TB 固态硬盘）
虚拟机：Ubuntu22.04（分配16GB内存，512GB硬盘）
开发板：ELF2（RK3588 4G+32G），运行Ubuntu22.04 Desktop系统

DeepSeek火遍朋友圈之后，工程师们都知道DeepSeek具有部署门槛低的优点，很多科技爱好者都尝试在本地设备部署DeepSeek，并且对其离线使用。

ELF2开发板搭载的是瑞芯微RK3588高性能处理器，该处理器包含四核ARM Cortex-A76和四核ARM Cortex-A55，4GB内存和32GB EMMC，

还带有一个6TOPS算力的神经网络处理器，其性能配置是可以满足DeepSeek-R1-1.5B模型运行的。

以下是DeepSeek-R1-1.5B在 ELF2 开发板上部署的详细过程。

创建Anaconda虚拟环境
6 }" m/ P: v" G

1、按照前面开发环境搭建的章节内容，先在虚拟机Ubuntu22.04上搭建好Anaconda，并且创建一个名为“py3.10-rkllm-1.1.4”的conda虚拟环境，这个开发环境专门用来部署DeepSeek大语言模型。

执行以下命令创建python3.10的conda虚拟环境：

conda create -n py3.10-rkllm-1.1.4 python=3.10

usuo0op0tuc6403250720.png

2、在虚拟机Ubuntu22.04上面，安装rkllm_toolkit工具，rknn-llm-release-v1.1.4工具包可以直接在以下链接进行下载，下载完成后上传到虚拟机，并且进行解压。

下载链接：https://github.com/airockchip/rknn-llm/tree/release-v1.1.4
安装rkllm_toolkit工具

3、虚拟机Ubuntu22.04进入conda虚拟环境，执行以下命令安装rkllm_toolkit-1.1.4相关的Python依赖包，完成conda虚拟环境的搭建。

conda activate py3.10-rkllmcd rknn-llm-release-v1.1.4/rkllm-toolkit/packages/pip3 install rkllm_toolkit-1.1.4-cp310-cp310-linux_x86_64.whl
4、可以执行以下命令，进入Python3，然后导入rkllm的API接口，如果命令没有报错，则表示虚拟机Ubuntu22.04的rkllm_toolkit环境搭建成功。

k3osj5ive526403250820.png

下载DeepSeek-R1-1.5B模型
) {' ~8 s' W1 `0 A! o$ i" E

5、先安装huggingface-cli工具，这是一个huggingface大模型下载的客户端工具，在conda虚拟环境中执行以下命令：

pip3 install huggingface-cli -i https://mirrors.huaweicloud.com/repository/pypi/simple
6、在rknn-llm-release-v1.1.4/rkllm-toolkit/examples/目录下新建一个huggingface文件夹，然后把DeepSeek-R1-1.5B的模型下载到此目录下，执行以下命令。

mkdir rknn-llm-release-v1.1.4/rkllm-toolkit/examples/huggingface -pcd rknn-llm-release-v1.1.4/rkllm-toolkit/examples/huggingfaceexport HF_ENDPOINT=https://hf-mirror.comhuggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir . --local-dir-use-symlinks False
7、上一步配置的HF_ENDPOINT环境变量，会使用国内的加速节点进行下载，但有时候也会下载失败，有时候直接在官网点击下载链接会更快，也可以搜索一下网上的网盘，也有该模型提供，模型下载完成后，如下图所示。

wm0fihnehb56403250920.png

转换DeepSeek-R1-1.5B模型

: z x+ m" l+ N( V" I0 @# z
8、创建一个Python脚本，名为“export_deepseek_1.5b_rkllm.py”，并且把该脚本放在rkllm-toolkit/examples/目录下，脚本的内容如下。

from rkllm.api import RKLLMimport os#os.environ['CUDA_VISIBLE_DEVICES']='0'modelpath = './huggingface/deepseek-r1-1.5b'llm = RKLLM()# Load model# Use 'export CUDA_VISIBLE_DEVICES=0' to specify GPU device# options ['cpu', 'cuda']ret = llm.load_huggingface(model=modelpath, model_lora = None, device='cpu')if ret != 0: print('Load model failed!') exit(ret)# Build modeldataset = "./data_quant.json"qparams = Noneret = llm.build(do_quantization=True, optimization_level=1, quantized_dtype='w8a8', quantized_algorithm='normal', target_platform='rk3588', num_npu_core=3, extra_qparams=qparams,dataset=dataset)if ret != 0: print('Build model failed!') exit(ret)# Export rkllm modelret = llm.export_rkllm(f"./deepseek-1.5b-w8a8-rk3588.rkllm")if ret != 0: print('Export model failed!') exit(ret)

9、在rkllm-toolkit/examples/目录下还需要一个data_quant.json文件，这个文件在网上可以搜索到，关于export_deepseek_1.5b_rkllm.py文件和data_quant.json文件，也可以联系我这边获取。

10、在conda虚拟环境下，执行以下命令，开始把DeepSeek-R1-1.5B模型转换为rkllm格式的模型，

python3 export_deepseek_1.5b_rkllm.py
模型转换成功后，如下图所示。

whkfbuqjhup6403251020.png

11、需要注意的是，虚拟机Ubuntu22.04在转换huggingface模型的时候，需要先为电脑创建swap分区，使用一部分硬盘空间用作运行内存，防止出现无法转换而出现转换进程挂掉的情况，关于虚拟机Ubuntu22.04创建交换分区的方法，请查阅网络资料。

编译和部署DeepSeek应用程序
7 e( W: u8 J0 F

12、创建一个例程elf2_deepseek_demo，这个例程在开发板的Ubuntu22.04上运行，把上一步转换成功的.rkllm模型，复制到例程的rkllm_model文件夹里面，然后执行./build-linux.sh脚本进行编译。

注意：编译前要确保已经搭建好ELF2的交叉编译环境。

0fbgtarmmll6403251120.png

（应用程序源码请后台联系作者获取）

13、编译成功后，可执行文件存放在install/elf2_deepseek_rkllm_demo目录下，把elf2_deepseek_rkllm_demo文件夹上传到ELF2开发板，此外，还需要把一些动态库上传到开发板的usr/lib目录。

adb push elf2_deepseek_demo/lib/libgomp/libgomp.so /usr/lib/libgomp.so.1adb push elf2_deepseek_demo/lib/librkllm_api/librkllmrt.so /usr/lib
运行测试

8 U$ c) H4 S n" E4 ?/ K# F% s5 W
14、在开发板的elf2_deepseek_rkllm_demo目录下，执行以下命令启动DeepSeek应用程序，等待加载完毕后，就可以在终端输入界面进行提问交互，并且是完全离线运行，如下图所示。

3e5vxnkcud56403251221.png