HADOOP8 Hadoop Safe-Mode란? HDFS를 재시작하다 보면 간혹 Namenode is safe mode라는 메시지를 접할 때가 있다.보통 비정상적으로 종료될 때 발생하는 것으로 알고 있는데, 꼭 그런 것만은 아닌 것 같다. 먼저 Safe-Mode를 알기 위해서는 네임노드가 start 되는 과정을 알아야 한다. fsimage 로딩 editlog 증분 로딩 2017. 6. 15. mapreduce.task.io.sort.mb 옵션이란? “하둡완벽가이드”의 6장 MapReduce 프로그래밍을 보면 샘플코드에서 mapreduce.task.io.sort.mb 옵션을 지정한다.(p.223) 처음 보는 옵션이라 어떤 역할을 하는 옵션일까? Hadoop 공식 문서에서는 아래와 같이 설명하고 있다. mapreduce.task.io.sort.mb 100 The total amount of buffer memory to use while sorting files, in megabytes. By default, gives each merge stream 1MB, which should minimize seeks. 옵션 이름만 봐도 알 수 있듯이 buffer memory size이고 mb 단위로 설정한다. 기본값은 100mb로 되어 있다. 그렇다면 어떤 .. 2017. 5. 18. HDFS에 파일을 저장할 때, 데이터 노드 장애로 Replication을 모두 저장하지 못한 경우 Replication=3로 설정된 HDFS에서 파일을 저장할 때, 특정 데이터 노드에서 장애가 발생한다면 어떻게 될까? 데이터노드 1, 2, 3에 쓴다고 가정하자. 만약 데이터노드2가 장애로 작성에 실패한다면 HDFS 클라이언트 요청은 데이터노드 1, 3에만 저장하고 정상 종료된다. Replication=3으로 설정되어 있음에도 복제본 2개만 가지고 종료된다. 단 네임노드에 불완전 복제 블록으로 알려준다. 질문: 그렇다면 Replication=3이므로 3번째 복제본은 누가 작성하는 것일까? 답변: 결론부터 이야기하면 네임노드가 데이터노드에 복제요청을 한다. 복제 블록의 상태에는 여러 가지가 있다.(CDH 공식문서) 각 상태마다 네임노드가 처리하는 방식에 차이가 있는 듯 하다. 다음에 HDFS 복구 플랜에.. 2017. 4. 24. [하둡완벽가이드] 3장 HDFS Hadoop이란?MapReduce + HDFS + (YARN) HDFS 데이터 블록 크기 = 128MB HDFS 구성요소Namenode: 데이터 블록의 위치를 저장Secondary Namenode: HDFS 파일시스템 이미지 및 Edit Log 병합DataNode: 데이터 블록 저장 데이터 읽기 데이터 쓰기 첨부 2017. 4. 19. 이전 1 2 다음
