把 DeepSeek-R1 大模型部署到RK3588开发板上，看看运行情况如何？

工程师进阶笔记

我是老温，一名热爱学习的嵌入式工程师
关注我，一起变得更加优秀！
  t* m1 v& h- {# rDeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。

5 y5 W4 J: d9 PDeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。

RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。

DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。
0 u2 x# @+ O6 d. f6 X
# y' [) p: |5 v& t3 x6 ^% V  `这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。
) q; Y+ v" I! n  q- @
& D; k. o4 v. l& a; M4 q$ W' n7 R接下来，让我们深入探讨这一过程是如何具体实现的。

一、移植过程（1）下载DeepSeek-R1源码在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
（2）安装转换工具在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。
2 S9 G- x2 I. _5 K（3）模型转换使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。
) K: j- Q4 _. T（4）编译DeepSeek-R1程序安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
; ?& X6 a" P7 o& {2 ?" @（5）模型部署将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。
二、效果展示
- K1 U& X4 Z* v5 F2 WDeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。
5 E) s$ Q$ J/ V, o- J3 h即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。
; H* H2 N/ M4 |: a$ l. h3 A% K5 w（1）普通信息搜索DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。

) Q' U- i  u7 S) k+ W. I* [（2）专业设备问题维修意见对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。
9 f( f  \2 v$ _/ E' P- C
（3）数学题解答DeepSeek-R1拥有卓越的数学运算能力，擅长攻克各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。
  ]# n/ D& x' z) L
（4）编程任务DeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。
, H5 X3 X9 f9 u' v+ F6 G/ F/ [
从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。
% @  U8 I6 U$ [$ g( g* q三、性能测评
在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：
8 Q* v! [) a9 q5 u8 z实时性：从视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。
5 h5 O% V- ~# A! YCPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。
4 O0 J0 d# N& M) A/ h

dug1wnatfj2640508057.png

内存占用：在进行上述功能测试时，DeepSeek-R1的内存占用率约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。
, X+ x$ }" T) i' q( y7 Q

1agxf3zfmjs640508157.png

0 i% I5 v5 G) S0 O8 K
NPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。

l3xxgpkz1sl640508257.png

在此次演示中，我们全面展示了DeepSeek-R1的实际应用成效，其强大功能与高效能表现得到了有力证明。
8 r9 Q& ?  Z4 [( ~- a后续文章中将详细介绍DeepSeek-R1向OK3588-C开发板的移植细节，包括多样化的移植方式及操作步骤。
9 x& f( B- \& i2 z6 _如果您对这一过程感兴趣，欢迎随时与我们联系，飞凌嵌入式将为您提供全面的技术支持和详细指导，期待与您共同探索更多可能性！
% o9 P: @0 e  ^9 e文章来源：飞凌嵌入式
点击【阅读原文】进入飞凌嵌入式官网，即可了解有关OK3588-C开发板的更多产品详情。
& w# R" Z4 l" E, d0 X

on2htpexwig640508357.jpg

2 d5 ~" [/ g7 L* w4 ~4 {5 S1 f& n-END-
往期推荐：点击图片即可跳转阅读

+ z% M( s2 ^1 A                                                       
0 b+ ~: ]9 w+ H$ A( F2 A                                                               
                                                                       
                                                                               

3arj0cjg0ic640508457.jpg

- k0 o$ ~+ c6 x9 H! B8 r' W# }                                                                               
$ k5 e  q6 }9 `/ p, b* [                                                                                        现在的嵌入式 ARM 芯片，性能越来越炸裂了！
                                                       
& C0 b' F: D9 T) T4 z                                                               
                                                                       
3 p# h- ^, {( t& `7 C                                                                               

cnvksyazd02640508557.jpg

0 L1 r2 ~/ v: n$ m                                                                               
                                                                                        嵌入式软硬件开发，离不开优秀的文档资料！
                                                               
                                                                       
                                                                               
, n, P; L/ Z6 }/ }! O

kqa40usrjxj640508658.jpg

+ H# ?; h* R  S8 x                                                                               
3 g0 I4 [2 W" Y( k2 i4 n& J/ s: Y+ ]                                                                                        在内卷中突围，开始学习嵌入式 AI 和多媒体应用技术！
                                                                               
/ e  q9 d5 X8 v                                                                       
                                                               
! m: d4 a, H4 {# M0 U                                                        我是老温，一名热爱学习的嵌入式工程师
: K" b! j% [3 {# F7 m( k关注我，一起变得更加优秀！