/
/

[RKNN] Orange pi 5 와 RKNN

Orange Pi 5의 NPU에 대한 간단한 설명
RKNNOrange PiEmbeddedAI
avatar
DevHDL
2025.03.04
·
4 min read

Intro

라즈베리 파이를 사용하다가 성능의 한계가 느껴져 새로운 싱글보드 컴퓨터를 찾던 중, Orange Pi 5를 발견했다. Orange Pi 5의 하드웨어는 어떻게 이루어져 있는지 살펴보자.

Orange Pi 5

3693

위의 이미지가 바로 Orange Pi 5의 모습이다. 생긴게 라즈베리 파이와 굉장히 유사한 만큼, 활용 용도도 비슷할 것 같다.

3694

Orange Pi 5는 RK3588 프로세서, 4/8/16GB RAM, 26pin headers, Gigbit LAN 등의 하드웨어 스펙을 가지고 있다. 특히, RK3588 프로세서는 "A new generation AIoT chip"이라며 6Tops AI computing power의 NPU 가 탑재되어 있다.

3695

RK3588의 NPU는 INT4/INT8/INT16/FP16/BF16/TF32를 지원하며, 다양한 딥러닝 프레임워크(TensorFlow, Pytorch 등)를 적용시킬 수 있다고 나와있다.

RKNPU와 RKNN

그렇다면 어떻게 RK3588 프로세서의 NPU에 AI 모델 연산을 시킬 수 있을까?

3698

RKNPU(RK3588의 NPU)는 RKNN 모델만 NPU 연산을 한다. 즉, RKNN 모델만이 RKNPU에서 AI 연산을 할 수 있다는 것이다.

하지만 위의 Datasheet에서는 다양한 딥러닝 프레임워크를 지원한다고 했는데?

그것은 바로 다양한 딥러닝 프레임워크로 만들어진 모델을 .rknn 확장자의 모델 파일로 변환하여 RKNPU에서 연산을 할 수 있도록 지원한다는 의미이다. 그리고 rknn 모델 변환을 위한 API는 airockchip에서 github를 통해 제공해준다.

RKNN 모델을 사용하기 위해서는 2가지의 API가 존재한다.

  • RKNN-Toolkit2

  • RKNN-Toolkit-Lite2

RKNN-Toolkit2와 RKNN-Toolkit-Lite2

RKNN-Toolkit2는 사용자가 PC와 NPU 플랫폼에서 rknn으로 모델 변환, 추론 및 성능 평가를 수행할 수 있는 소프트웨어다. 즉, Tensorflow, Pytorch, ONNX 등 다양한 딥러닝 프레임워크에서 만들어진 AI 모델을 rknn 모델로 변환하기 위해 만들어진 소프트웨어다. 모델 변환 외에도 추론, 성능 평가 등의 기능도 제공된다.

RKNN-Toolkit-Lite2는 사용자가 RKNN 모델을 NPU에 배포하고, AI 애플리케이션 구현을 가속화할 수 있도록 도와주는 소프트웨어다. 즉, rknn으로 변환한 모델을 직접 NPU에 올리는 소프트웨어가 바로 RKNN-Toolkit-Lite2이다.

Next...

다음에는 RKNN-Toolkit2를 직접 사용하여 어떻게 rknn 파일로 변환하는지에 대해서 글을 쓰고자 한다.

Reference

- 컬렉션 아티클