Spark Memory Tuning Case-Study
Spark 기본 구조 Spark Memory JVM 내부 Reserved Memory Spark Memory Execution Memory (operation) Storage Memory (cache): RDD Persistance JVM 외부 OffHeap Memory External Process Memory 5GB 기준 메모리 영역 예제 Q) 빠르다고 해서 Spark 를 사용하는데, 느려요~??? Memory 는 충분한가? 무한정 늘릴 순 없다 YARN (Resource Manager) 적절히 분배해 주는가? => Spark Properties 정해진 메모리를 효율적으로 사용하고 있는가? spark.executor.memory 늘려준다 spark.executor.cores 조정 (얼마가 적당할까?)..
BigData/Spark
2024. 4. 14. 14:54
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 데이터과학자
- Sqoop
- PYTHON
- Hdfs
- exception
- Learning Spark
- 알고리즘
- jenkins2.0
- mongodb
- jenkins
- jackson
- 확률분포
- bigdata
- flume
- mongo
- HADOOP
- db
- Apache Spark
- linux
- 데이터 리터러시
- spark
- json
- mysql
- Django
- 태그를 입력해 주세요.
- Git
- spring
- 책요약
- Oracle
- java
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함