티스토리 뷰
Hadoop이란?
MapReduce + HDFS + (YARN)
HDFS 데이터 블록 크기 = 128MB
HDFS 구성요소
- Namenode: 데이터 블록의 위치를 저장
- Secondary Namenode: HDFS 파일시스템 이미지 및 Edit Log 병합
- DataNode: 데이터 블록 저장
데이터 읽기
데이터 쓰기
첨부
'BigData > Hadoop' 카테고리의 다른 글
HDFS에 파일을 저장할 때, 데이터 노드 장애로 Replication을 모두 저장하지 못한 경우 (0) | 2017.04.24 |
---|---|
HDFS 네임노드에서 metadata size 한계는 어떻게 될까? (0) | 2017.04.24 |
Hadoop shell 사용법 (0) | 2016.02.10 |
Hadoop 에서 작은 크기의 파일을 처리하는 방법 (0) | 2016.02.10 |
HDFS 내에 여러 파일을 하나의 파일로 합쳐보기 (0) | 2015.05.21 |
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- mysql
- spring
- mongodb
- db
- bigdata
- PYTHON
- Oracle
- linux
- Django
- java
- Git
- HADOOP
- exception
- 태그를 입력해 주세요.
- spark
- 알고리즘
- jenkins2.0
- 확률분포
- Learning Spark
- json
- jackson
- Hdfs
- jenkins
- 데이터 리터러시
- Sqoop
- 책요약
- flume
- Apache Spark
- mongo
- 데이터과학자
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
글 보관함