spark-submit 을 이용하여 Custom Argument 전달하기
Spark Application 을 작성하게 되면 실행시 argument 가 필요한 경우가 있다. spark-class 에서는 -arg 옵션을 통해서 전달했는데, spark-submit 에서는 어떻게 할 수 있을까? https://spark.apache.org/docs/1.1.0/submitting-applications.html Spark 문서(위 URL 참고) 에 보면 아래와 같이 설명하고 있다. ./bin/spark-submit \ --class --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] [application-arguments] 즉, command 마지막 부분에 argument 들을 나열하면..
BigData/Spark
2015. 7. 17. 22:21
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 데이터 리터러시
- spark
- json
- linux
- Sqoop
- exception
- bigdata
- jenkins
- mongo
- PYTHON
- Git
- jenkins2.0
- jackson
- mongodb
- Hdfs
- flume
- Django
- Apache Spark
- db
- mysql
- Learning Spark
- 태그를 입력해 주세요.
- 알고리즘
- 책요약
- java
- 확률분포
- HADOOP
- spring
- Oracle
- 데이터과학자
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함