config1 Spark Memory Config on Apache YARN spark application 수행시 config 정보를 설정하는 방법은 크게 두 가지가 있다. Spark 서버에 설정 spark-env.sh Spark Process 수행시 환경변수 설정 값 spark-default.properties Spark 설정 기본값 Spark Application 에서 SparkConf() 에 설정 수많은 설정 파라메터들이 있으나, 기본값들이 미리 다 지정되어 있기 때문에 변경이 필요한 값들만 변경해서 설정하면 된다. 설정을 진행하다보면, worker 와 executor 설정들이 나온다. 예를 들면, SPARK_WORKER_INSTANCES, SPARK_WORKER_MEMORY spark.executor.instances, spark.executor.memory worker.. 2015. 7. 15. 이전 1 다음
