[YARN] About YARN
yarnhadoop
내용 피드백 시 환영 후 절 한 번 해드림.
Hadoop YARN
정의: Hadoop의 리소스 관리와 스케줄링을 담당하는 컴포넌트
특징
Hadoop v2.X 에서 도입
MapReduc 중심 구조 확장하여 다양한 분산 어플리케이션을 지원
YARN Component
Resource Manager
클러스터 전반의 리소스를 관리
어플리케이션의 실행을 조정하고 자원 요청에 따라 자원을 할당
서브 컴포넌트
Scheduler: 각 어플리케이션에 자원 할당을 담당, 실제 실행에는 관여하지 않음
Application Manager: 어플리케이션의 상태 관리, 어플리케이션 마스터 실행을 지원
Node Manager
각 워커 노드에서 실행, 해당 노드의 리소스를 관리
Resource Manager와 통신하여 Container 실행 및 리소스 사용 상태를 보고함
Application Master
특정 어플리케이션 실행을 관리하는 독립적인 프로세스
리소스를 요청하고 작업을 실행 및 모니터링
Container
YARN에서 리소스(CPU, 메모리 등)를 정의하는 기본 단위
작업이 실행되는 환경을 제공
YARN Life Cycle
Client → 작업 제출 → Resource Manager
Application Master → 작업 실행에 필요한 리소스 요청 → Resource Manager
Resource Manager → 작업 분배 → Node Manager
Node Manager → 생성 및 작업 실행 → Container
Application Master → Resource Manager → 작업 진행 상태 보고 → Client