mapreduce.task.io.sort.mb 옵션이란?
“하둡완벽가이드”의 6장 MapReduce 프로그래밍을 보면 샘플코드에서 mapreduce.task.io.sort.mb 옵션을 지정한다.(p.223) 처음 보는 옵션이라 어떤 역할을 하는 옵션일까? Hadoop 공식 문서에서는 아래와 같이 설명하고 있다. mapreduce.task.io.sort.mb 100 The total amount of buffer memory to use while sorting files, in megabytes. By default, gives each merge stream 1MB, which should minimize seeks. 옵션 이름만 봐도 알 수 있듯이 buffer memory size이고 mb 단위로 설정한다. 기본값은 100mb로 되어 있다. 그렇다면 어떤 ..
BigData/Hadoop
2017. 5. 18. 16:39
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- jackson
- jenkins
- db
- flume
- Hdfs
- mongodb
- 확률분포
- Learning Spark
- Django
- spark
- linux
- exception
- jenkins2.0
- spring
- 데이터 리터러시
- mysql
- 책요약
- 데이터과학자
- Sqoop
- Git
- Oracle
- json
- 태그를 입력해 주세요.
- Apache Spark
- mongo
- 알고리즘
- HADOOP
- bigdata
- java
- PYTHON
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함