Flume RpcClient 사용기
Flume Avro 데이터를 전송하기 위한 방법은 몇가지가 있으나, 보통 쉬운 log4j appender 를 이용하는 것으로 알고 있다. log4j appender 의 경우 flume-ng-sdk.jar 에서 제공되기 때문에 log4j 설정만 하면되는 간편함이 있다. 하지만 log4j 특성상 전송되는 Event 에 Header에 데이터를 포함해서 전송할 수 없다. 만약 Flume 으로 데이터 전송시 Header 에 원하는 데이터를 전달할 수 있다면, Multiplexing 설정을 통해 좀 더 General 한 source-channel-sink 구조를 만들 수 있을 것이라 생각했다. 이를 위해서 Flume 에서 제공되는 것이 RpcClient 클래스이다. Flume 1.6.0(최신버전 at 2016/01..
BigData/Flume
2016. 1. 20. 21:16
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- java
- 데이터 리터러시
- bigdata
- Apache Spark
- linux
- jenkins2.0
- mongo
- jenkins
- 데이터과학자
- 태그를 입력해 주세요.
- PYTHON
- Sqoop
- mysql
- HADOOP
- mongodb
- Learning Spark
- 책요약
- spark
- Git
- flume
- exception
- spring
- Hdfs
- Oracle
- 알고리즘
- db
- json
- Django
- 확률분포
- jackson
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함