dawn.py
Search...
Dawn
2 팔로워
·
0 팔로잉
데이터 엔지니어 꿈나무입니다.
팔로우
Overview
Collections
4
Articles
6
Stars
0
최신순
necessity
GCP
BigQuery
Cloud Logging
hdfs
worm
hadoop
component
namenode
datanode
fsImage
editlog
yarn
server
Infra
scaleup
scaleout
[Server] 인프라 확장, Scale UP, Scale OUT
Scale up개념: 서버 한 대의 성능을 개선하거나, 하드웨어를 업그레이드장점서버 한 대만 관리하기 때문에 서비스를 유지하면서 성능 업그레이드가 가능.단점하드웨어 업그레이드이기 때문에 비용이 기하급수적으로 올라감.비용 대비 효율성이 떨어질 가능성 있음.Scale out개념: 여러 대 서버를 운영, 작업 부하를 분산시킬 수 있음.장점고가용성과 장애 복원력을
Computer
0
0
5 days ago
3 min read
[YARN] About YARN
내용 피드백 시 환영 후 절 한 번 해드림.Hadoop YARN정의: Hadoop의 리소스 관리와 스케줄링을 담당하는 컴포넌트특징Hadoop v2.X 에서 도입MapReduc 중심 구조 확장하여 다양한 분산 어플리케이션을 지원YARN ComponentResource Manager클러스터 전반의 리소스를 관리어플리케이션의 실행을 조정하고 자원 요청에 따라 자
Hadoop
0
0
5 days ago
2 min read
[HDFS] Namenode, Datanode, FsImage, EditLog
내용 보고 피드백 시 환영 후 절 한 번 해드립니다.도서관 이용하는 사용자사용자는 사서에게 책을 요청(대여, 반납)하고 사서는 책장에서 요청을 처리.사서는 책장에서 변경된 내용(책의 위치 변경, 삭제 등)을 업무용 다이어리에 기록도서관 마감시간이 되거나 일정 시간 이후 사서는 다이어리의 내용을 토대로 카탈로그를 업데이트HDFS 이용하는 사용자사용자는 Nam
Hadoop
0
0
5 days ago
3 min read
[HDFS] HDFS와 WORM
WORM(Write Once, Read Many Times)Write-Once데이터를 저장할 때 한 번 쓰면 수정 불가.데이터를 변경하려면 전체 파일을 새로 작성해야함.Read-Many-Times쓰여진 데이터는 여러 번 읽이에 적합하게 설계.대규모 데이터를 분석하거나 처리하기 위함.HDFS의 설계철학HDFS는 기본적으로 WORM 패턴에 최적화된 분산 파일
Hadoop
0
0
5 days ago
2 min read
[GCP] Logging Sink 생성 시 오류 원인 파악
GCP Logging Sink를 활용해 BigQuery에 로그를 적재하는 과정에서 발생한 권한 문제 해결 방안.
Cloud Issue
1
0
3 months ago
5 min read
[Kafka] 1. 카프카의 필요성
왜 많은 기업은 카프카를 선택할까
Apache Kafka
1
0
3 months ago
6 min read
Made with
üntil