RK3588开发板上部署DeepSeek-R1大模型的完整指南

罗罗诺亚

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。

  N3 e3 y$ V/ P, D* |RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。

; I3 b* J! |+ S6 g3 G9 `一、移植过程
（1）下载DeepSeek-R1源码
$ C7 s: e7 \- Q在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
1 D' M* r% U. h; D, ^
- Q, D0 r" w3 U" J- @( @0 s（2）安装转换工具
9 R2 r' L- D! A2 s在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。
( D) r3 v3 V- d0 }# x" f$ P
（3）模型转换
" b& T  n/ C9 `, R$ `使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。
* s" ?/ n" S# E7 w- E; q
（4）编译DeepSeek-R1程序
安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。

7 K* l* ?+ E0 \  j$ k& y+ @（5）模型部署
9 \7 _* T# u. m# x8 W9 S4 h4 [/ }2 Y将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。

  ]! a* M, ?6 I二、效果展示
+ l) F+ r# `. ^4 EDeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。
" d1 t$ V" V$ e: a- |0 f: E% J
（1）普通信息搜索
% k, r* b4 c' z7 v0 I/ V3 aDeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。
: @& o2 _+ p8 Y+ h4 a' v8 G
2 p8 X& m4 r4 C& C! ~9 z

& ~6 J+ E' J/ l3 q$ R9 Q[backcolor=var(--GBK09A)]

* q. v$ m, {* O. E$ w* x

[color=var(--GBK99A)]上传视频封面

3 K+ ]9 P0 i; N& A/ k0 b3 W# o
' J# b2 `  z' j  s8 G7 t
$ I- T: k% x2 {% b
, ~: h0 G# Q; w4 K0 n
6 t/ ?/ Q2 c" t) j+ {1 Q, B( j3 e
+ n: F9 D3 E/ l& ?6 C: f/ i​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
0 ]" F. _% C9 E" u/ g9 J
  U! O2 F" M+ ~; J( T

/ ?2 _* N5 _% c9 Y- Z8 `' T; y$ ^
# i$ X( J9 E) n3 C6 j( Z
7 R5 t/ @9 R& \( y4 |6 }

! v5 g/ a" _* m  c7 l0 ^- ^/ \2 m（2）专业设备问题维修意见
+ v4 ?% }( d# a, Z对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。

5 E0 O7 h5 h! b
# y% q: S3 x+ |, k; V/ a
/ u; K! }9 a: z8 L4 y[backcolor=var(--GBK09A)]
1 G% d% n2 M4 \: U4 C& J
! D5 w2 z/ X. B7 [$ e1 c' [

[color=var(--GBK99A)]上传视频封面

2 w; k, N4 G# E6 o: V
7 E( V7 {. p6 M6 C- _9 B
' o) O- j7 Z. T% Z) O" k7 ?
! Y8 `4 l, b. n/ u

0 h& ]3 @  x0 ?9 T+ Y: |
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
( L1 M. K" [3 y9 V6 k9 W





1 }: ]$ X+ S5 C
（3）数学题解答
& _! k" n& {# bDeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。
9 |, |+ i, s' C. T4 Y) N% S

3 L/ v4 g# r. m. n
[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

5 S) U. w6 X1 h

9 g% L& |1 q! q# j0 j: d) s
2 ~+ z6 o6 s8 Q8 _# x/ r" w​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
+ `) y+ ~: u1 Y- J( `


* Q8 H8 R7 O8 D" K
9 ?: d0 H% T8 [: }- c$ K: e

4 f& k- _! d1 e: O" g7 \
. u3 R1 f6 @/ z) u/ M& Z6 B（4）编程任务
, U  g, x$ ?  tDeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。

4 k6 {3 F2 T& q( B* {. y

[backcolor=var(--GBK09A)]
* J# I& A7 b# `) n

[color=var(--GBK99A)]上传视频封面

$ H- R4 I3 n$ p# `0 r1 T4 N$ I



8 K  [9 W% a& D4 R+ M2 e- q$ w

# m7 g# f- o8 Y3 T! w​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

' o# i$ ?7 Y5 G) w+ K
( e  E6 I/ I9 h* ]2 M
% ^) t! c' Z. C5 q: S0 }



从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。

三、性能测评
+ O+ R" ~& A- W3 r在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。



! E9 P# C1 B: I7 @! F( Y/ m9 O4 x
% _; s+ }2 w& T) V2 A

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

8 X. l& u9 |+ F& G; d# W: x
# f$ H( ~. v1 f# k9 n% @6 m8 j

/ {. y1 @$ E0 i8 r
+ [) y, K5 I2 B; b8 X1 d% c添加图片注释，不超过 140 字（可选）
, {/ X3 v- K! u+ k) ~: C$ W0 Z
1 I7 N9 a( b- G( z


内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。
: E8 Z9 y( W4 H

6 S. w2 K3 X6 ~3 f8 N1 @6 l8 j- Y

) P) v2 d4 r0 w2 J" R

[backcolor=rgba(0, 0, 0, 0.1)]
* i- w2 t$ H, T+ G! R[backcolor=rgba(0, 0, 0, 0.1)]
( H* g: [! X+ T0 B

添加图片注释，不超过 140 字（可选）

% R, t7 W5 Y% q0 |) f+ c
. C; a# U+ V7 K; [2 \- k5 M4 t( o

2 L! J9 g6 |5 t, F5 nNPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。

" V( b7 z) M  P; m7 X


( N6 {% a7 h2 N  G# c, F8 D* P

[backcolor=rgba(0, 0, 0, 0.1)]
9 B! L& S; `7 M% E  I[backcolor=rgba(0, 0, 0, 0.1)]

: {4 m, D6 [( m* u) s. P  u


/ {0 R4 O0 J( t5 }: D8 G- E/ ~
添加图片注释，不超过 140 字（可选）

& S+ W" T& I+ [' H& `1 c
: }0 ~5 v/ }$ X
4 N* @! n4 ]0 t) D; n

kingweison

:):)

kingweison

:):):)