avatar
dawn.py

[YARN] About YARN

yarnhadoop
6 days ago
·
2 min read

내용 피드백 시 환영 후 절 한 번 해드림.

Hadoop YARN

2580
  • 정의: Hadoop의 리소스 관리와 스케줄링을 담당하는 컴포넌트

  • 특징

    • Hadoop v2.X 에서 도입

    • MapReduc 중심 구조 확장하여 다양한 분산 어플리케이션을 지원

YARN Component

2581
  • Resource Manager

    • 클러스터 전반의 리소스를 관리

    • 어플리케이션의 실행을 조정하고 자원 요청에 따라 자원을 할당

    • 서브 컴포넌트

      • Scheduler: 각 어플리케이션에 자원 할당을 담당, 실제 실행에는 관여하지 않음

      • Application Manager: 어플리케이션의 상태 관리, 어플리케이션 마스터 실행을 지원

  • Node Manager

    • 각 워커 노드에서 실행, 해당 노드의 리소스를 관리

    • Resource Manager와 통신하여 Container 실행 및 리소스 사용 상태를 보고함

  • Application Master

    • 특정 어플리케이션 실행을 관리하는 독립적인 프로세스

    • 리소스를 요청하고 작업을 실행 및 모니터링

  • Container

    • YARN에서 리소스(CPU, 메모리 등)를 정의하는 기본 단위

    • 작업이 실행되는 환경을 제공

YARN Life Cycle

  1. Client → 작업 제출 → Resource Manager

  2. Application Master → 작업 실행에 필요한 리소스 요청 → Resource Manager

  3. Resource Manager → 작업 분배 → Node Manager

  4. Node Manager → 생성 및 작업 실행 → Container

  5. Application Master → Resource Manager → 작업 진행 상태 보고 → Client

참고

Apache Hadoop 2.7.2 – Apache Hadoop YARN


- 컬렉션 아티클






데이터 엔지니어 꿈나무입니다.