专⽤数据处理器(DPU)技术⽩⽪书4：DPU软件栈五层模型

名字好听吗

1. 软件栈开发面临的挑战
DSA架构和XPU芯片的兴盛在给解决算力问题带来新机遇的同时，也给软硬件开发带来了新的挑战。与传统的以CPU为核心的应用开发模式相比，异构计算的开发难度较高。异构计算的一个特点是“异构”，即缺少“通用性”，需要开发人员同时深入了解多种处理器的开发和调优方式，给软硬件开发带来了更高的复杂度。异构计算的另一个特点是“软硬协作”，它需要开发人员将软件硬件作为一个整体来架构和开发，给当下计算生态中软硬界限分明、技术栈分层的开发模式带来颠覆性挑战，尤其是当DPU兴起之后的“多PU“共存（CPU+DPU+GPU/XPU）时代，如何协同调度好各个处理器编程框架（如GPU的CUDA、FPGA的OpenCL/HLS等），使其发挥最大效用，并且构建一个面向开发人员友好的协同软件开发生态，是迫切需要解决的问题。针对这个问题，根据职责分层、按功能抽象的思路，提出一个针对DPU芯片应用场景的异构计算五层架构模型。该模型定义了在异构计算场景下的通用 的开发架构模式，以此来降低包括DPU芯片在内的异构计算应用研发的难度，提高开发、维护和迭代效率。

( Z4 Y8 ?0 Z% e/ _' t+ H' k2. DPU异构计算架构五层开发模型
# e+ }" K2 P6 a* C, N) N8 ^9 u一般说来，异构计算的核心目的是解决特定应用场景下算力不足的问题，并且大幅度提升整体系统的计算性能。在整体架构上，它的分层逻辑从应用场景出发，通过上层的需求来定义下层的功能，而每一层是对特定功能的抽象与封装。在定义每一层功能时，要达到以下几个目标：
& z8 v$ Y7 C0 R; [• 各层职责单一
" O1 X/ F  w5 s0 G• 层间边界清晰
• 层内功能实现独立
• 灵活易扩展
6 L% [. m5 P' h* u/ U基于上述目标，将一个异构计算的系统抽象为五层（如图4-1所示），自下而上分别是：
. f9 W7 I; n( [* @. \: r; n6 p1）DSA设备层（DSA device Layer），
2）DSA操作层 （DSA Operating Layer），
3）计算引擎层（Scheduling Operating Layer），
8 ^0 G6 @& |$ r7 ?- ~3 p4）应用服务层（APPlication Service Layer）
5）业务开发层 （Business Development Layer），详述如下：
6 B3 C$ ~: ]- n8 L7 V" _
  o- C' |! `7 }# n8 l7 {. G, N2.1.DSA设备层
DSA设备层代表的是执行异构计算的DSA处理器以及集成了该处理器的硬件设备，例如，以DPU或GPU为处理器的异构计算设备。异构计算设备需要具备以下两个核心能力：
1）提供支持专用计算操作的指令集（Instruction Set），
2）CPU或其他DSA设备的标准通信接口，如PCIe数据传输标准。

/ _$ U  W$ M: i: A. l# f2.2. DSA操作层
DSA操作层是对DSA处理器的指令集的管理以及基础开发平台的整合，该层完成了对硬件资源的抽象，从而使上层软件对底层设备透明；DSA操作层是对DSA设备层计算设备的抽象和计算资源的封装，是软件与硬件、逻辑与物理 的边界。它基于如DPU芯片等DSA处理器提供的指令集，以更加抽象和编程友 好的方式对上层提供了异构计算开发和访问的软件接口、以及设备监控管理的接口。该层内部有四个必要的模块，分别是设备驱动器，指令集管理器，资源访问接口，开发和管理平台。
• 设备驱动器：设备驱动器是硬件设备的软件抽象，它基于操作系统标准的驱动框架及PCIe协议，实现了对计算设备的物理访问，主要包括设备处理器的指令执行和设备存储的读写。
0 d: D/ g; l  X* e  ^' G- U• 指令集管理器：指令管理器的作用是对计算设备所提供的指令集进行统一管理，通过对指令集的封装及组合，提供更加友好的编程接口。
- N6 `& P% c# e' J! e; t• 资源访问接口：基于设备驱动器和指令集管理器的功能，该模块完成对整个计算资源访问的抽象和封装，它以编程接口的方式对上层提供资源访问 入口，服务于上层计算逻辑和控制逻辑的执行。
* e: S9 v. p% R6 w4 a• 开发和管理平台：除了上述运行时所需的能力外，还需要针对开发人员提供友好的编程工具，如指令集编译工具、监控管理工具、日志工具、异构计算卡模拟器等。
: ^: [0 g7 U/ m3 |  I3 R2.3.计算引擎层
$ N; W6 X, H$ L, M计算引擎层是对计算逻辑的封装，为上层提供通用的计算能力。与DSA操作层的对计算资源封装不同，计算引擎层是对计算逻辑的封装，它基于DSA操作层提供的资源访问接口，根据上层应用层软件对算力的需求，提供了可复用的算子集合及执行接口。
: o9 a- h, H4 K7 g4 h2.4. 应用服务层
应用服务层是数据处理的应用服务软件，也是算力的需求侧。应用服务层代表具有通用功能的软件系统，这些软件系统可以利用计算引擎提供的算子进行异构计算，从而达到计算性能提升的目的。常见的应用层软件系统有分布式计算领域的Spark, Flink, Hadoop；数据库领域的PostgreSQL, MySQL；分布式网络中的gPRC，Network Gateway，Nginx；以及存储服务中的Ceph等等，基本上 通用服务型的系统都属于该层的范畴。
5 M% c# X% Y6 \7 S) O) Z8 O) `5 c2.5. 业务开发层
业务开发层是在某特定领域的业务系统。业务开发层是最贴近实际业务场景的软件系统，通常它是针对某个特定行业的具体业务需求定制的软件系统，如金融行业的交易系统，互联网行业的数据分析系统等等。整个异构计算架构本质上就是解决业务层的性能瓶颈问题，所以在实际开发过程中，应该从业务端出发，寻找要解决的根本问题，然后驱动整个异构系统的构建。同时，整体架构也要保证底层构建对具体的业务系统完全透明，达到对各行业业务软件系统的无缝支撑和业务逻辑开发的隔离。

3. 典型软件框架案例
1 A4 P& t- ~; A5 K3 [3.1. NVIDIA DOCA软件框架
1、设计⽬的
NVIDIA BlueField DPU的核心目的是解决数据中心中基于CPU计算的基础设施的算力问题，主要涉及网络、存储、安全及基础设施管理这个几个方面。而DOCA是为了将BlueField DPU提供的硬件能力做软件抽象和封装，以SDK Library的形式提供友好的可编程接口，提高应用开发的效率。
2、技术细节
0 W$ O" X7 H0 n2 \9 A6 sDOCA架构如图4-2所示，DOCA有三个模块，分别是：
（1）DOCA drivers: 是对DPU硬件资源的低层次封装，其提供的low-level API是对硬件卸载能力的访问，主要包含网络卸载、安全卸载、存储卸载等算力的访问，同时支持DPDK, RDMA，Virtio-net（网络虚拟化)，Virtio-blk（存储虚拟化），PCIe等通用能力。
（2）DOCA lIBS: 是基于DOCA drivers为上层应用封装的high-level API, 这些API是面向应用层所需的功能，例如面向网络应用的Flow，Data Integrity,UPF(User Plane Function), VNF(Network Functions Virtualization)；面向存储应用的SPDK；面向安全应用的DPI(Deep Packet InSPECtion), Host intrOSPection等。
. [1 G) {$ i: B# S（3）DOCA services: 封装了基础设施的控制和管理功能，如DPU设备的管理，SDN（Software-Defined Network）的控制接口, 存储管理，NetworkTelemetry等。

7 j! P5 z8 @: e" M3、功能分析
从纵向的功能角度来看，DOCA SDK提供了网络加速、安全加速、存储加速和基础设施管理加速的功能，相关的技术细节如下：
. z$ z* \: N7 ?% G& Z7 g% ^: F5 d（1）网络加速SDK：支持ASAP2 (Accelerated Switching and Packet Processing) SDN、VirtIO、OVS (open virtual switching) 、P4 编程、RDMA。
（2）安全加速SDK：支持Inline encryption、DPI (Deep Packet Inspection)、 TLS、IPSec。
  |2 d" `5 V8 A' l6 H1 d, t（3）存储加速SDK：支持SPDK、VirtIO、NVMe-oF、数据加解密和数据压缩等。
0 z# w  E. a( x5 J  b（4）基础设施管理加速SDK：支持DPU management、Traffic telemetry、Packet fiLTEring。
, R' u/ u2 I7 I! r
3.2. Intel OneAPI软件框架
9 X& e& f$ k* w6 g, }( ]5 G; w; H0 P（1）设计⽬的
3 ?  y1 ?0 }0 XOneAPI设计的目的是通过实现一个跨平台，开放的，标准的通用编程模型及接口来提高在异构加速器架构下的开发效率。OneAPI本身并不提供DPU设备，而是构建一个软件框架来整合业界现有的异构计算设备11。
3 r8 i6 D& s1 A0 Y3 d0 t2 w（2）技术细节
OneAPI抽象出两层APIs，分为L0 (Low-level) API 和L1 (High-Level) API。其结构如图4-3所示。

: l2 k0 {/ n1 w) W/ ZL0 API: OneAPI 的L0 API整合并封装了业界流行的异构计算设备（如GPU，AI，FPGA等）及其软件框架（如CUDA，OpenCL），并提供统一的针对硬件资源访问的low-level API。这样，不同的硬件平台对上层应用开发来说是 透明的，从而起到了跨平台的作用。
L1 API：OneAPI的L1 API提供了一系列针对特定应用场景的High-level API,这些API主要服务于机器学习、数据分析、并行计算、视频处理等特定领域，有Deep Learning API, Data Science API, Data Analysis API，Multiple Thread API,video Processing API等。

" V; h0 V7 K# f/ y1 x
7 h" ^/ s; P0 W6 w- O+ ]5 T

Dollche

这个不错啊，学习了，谢谢楼主慷慨分享

dragongfly

不错啊，学习了，谢谢楼主慷慨分享