HDFS 내에 있는 파일에 Append 하기
HDFS 파일을 작성할 때 기존에 존재하는 파일에 내용을 write 하면 이미 존재하는 파일이라고 오류가 발생한다. 이를 어떻게 해결할 수 있을까? 기존에 있는 파일이라면 파일에 내용을 Append 할 순 없을까? 구글링을 해 보니 dfs.support.append 옵션을 활용할 수 있다. 이 옵션이 true 일 경우 좀 더 간편한 반면, false라면 좀 복잡하긴 하나 가능은 하다. 두 가지 경우에 대해서 테스트를 진행해보자. 1. dfs.support.append 속성이 true 인 경우 먼저 hdfs-site.xml에 아래와 같이 설정하자. dfs.support.append true 그리고 아래와 같이 Util 클래스를 하나 만들었다. /** * HDFS 내 파일에 데이터 작성 * @param hd..
BigData/Hadoop
2015. 5. 20. 16:58
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Git
- HADOOP
- db
- Sqoop
- Hdfs
- jackson
- bigdata
- 책요약
- Learning Spark
- jenkins
- 확률분포
- 알고리즘
- mongodb
- flume
- Oracle
- spring
- json
- mongo
- 데이터과학자
- Apache Spark
- java
- mysql
- jenkins2.0
- 데이터 리터러시
- Django
- spark
- linux
- exception
- 태그를 입력해 주세요.
- PYTHON
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함