Spring-Batch commit-interval 설정
spring-batch commit-interval 이 정상적으로 수행되지 않아 삽질했던 경험이 있다. (혹시 유사한 삽질을 경험하고 있으신 분에게 도움이 되시길...) 담당 시스템에서 spring-batch 를 사용하고 있다. chunk 단위로 reader-writer 구조를 갖고 있는데, writer 에서 약 150만건의 데이터를 insert 하는 로직이다. 여기서만 2시간 이상 시간이 소요되었다. (때론 3시간이 넘게 걸리는 경우도 있었다.) 왜 이렇게 오래 걸릴까를 생각하다가 한건씩 처리되고 있는 것은 아닐까? 라는 의문이 들었다. 그래서 재현을 진행해 보았다. =“testReader" writer
Programing/Spring-Batch
2016. 3. 19. 12:58
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- exception
- json
- java
- mongo
- jackson
- bigdata
- linux
- spark
- 데이터과학자
- Git
- db
- 알고리즘
- Hdfs
- Apache Spark
- spring
- HADOOP
- Learning Spark
- 태그를 입력해 주세요.
- mongodb
- Sqoop
- flume
- PYTHON
- mysql
- 확률분포
- Django
- 책요약
- 데이터 리터러시
- jenkins
- Oracle
- jenkins2.0
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함