Spark Memory Config on Apache YARN
spark application 수행시 config 정보를 설정하는 방법은 크게 두 가지가 있다. Spark 서버에 설정 spark-env.sh Spark Process 수행시 환경변수 설정 값 spark-default.properties Spark 설정 기본값 Spark Application 에서 SparkConf() 에 설정 수많은 설정 파라메터들이 있으나, 기본값들이 미리 다 지정되어 있기 때문에 변경이 필요한 값들만 변경해서 설정하면 된다. 설정을 진행하다보면, worker 와 executor 설정들이 나온다. 예를 들면, SPARK_WORKER_INSTANCES, SPARK_WORKER_MEMORY spark.executor.instances, spark.executor.memory worker..
BigData/Spark
2015. 7. 15. 21:36
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Django
- Learning Spark
- linux
- bigdata
- Oracle
- 태그를 입력해 주세요.
- HADOOP
- db
- mysql
- exception
- Hdfs
- PYTHON
- jackson
- Git
- Sqoop
- flume
- json
- mongodb
- 알고리즘
- Apache Spark
- jenkins
- spark
- 확률분포
- java
- 데이터과학자
- jenkins2.0
- mongo
- 데이터 리터러시
- 책요약
- spring
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함