본문 바로가기

Total220

flume multi sink 설정하기 단일 싱크 구조는 아래와 같다. 하나의 source와 channel, sink를 가지는 구조이다. 위 그림에서는 Flume을 이용하여 MongoDB에 저장하는 구조이다. 여기서 하나의 Event에 대해 2군데 데이터를 전송하려면 어떻게 해야할까? 예를 들어 하나의 Event를 보냈을 때, MongoDB에도 저장하고 HDFS 에도 저장하려고 한다. 2개의 sink를 연결해 볼 수 있다. 이 경우에는 Event 정보가 MongoDB나 HDFS 둘 중에 하나만 저장이 된다. 어떤 Sink가 선택이 되는지는 알 수 없으나, 설정상 나중에 연결된 sink 부터 전달되는 듯 하다. 테스트를 해보면 위 경우 HDFS Sink를 먼저 시도한다. 이 때 HDFS sink에 실패한다면 Mongo Sink를 시도한다 이는 .. 2015. 4. 14.
Sqoop의 개념 Sqoop이란? Apache Sqoop is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases. Apache Sqoop은 SQL-to-Hadoop 의 약자로 Apache Hadoop과 정형화된 Datasource, 예를 들어, Oracle 같은 RDB 간의 대량 데이터를 전송하기 위해 만들어진 툴이다. Oracle DB에 저장된 대량의 데이터를 HDFS 로 옮겨 분석을 하고자 할 때 쉽게 데이터를 Import 할 수 있으며, 반대로 분석 결과(HDFS)를 RDB로 Export 할 수 있다. 또한 Hive, Pig, Hba.. 2015. 4. 10.
ORA-14074 분할영역 유지 작업에 분할영역 범위가 너무 적습니다. 시스템 운영 중에 ORA-14074 오류가 발생했다. ORA-14074: 분할영역 유지 작업에 분할영역 범위가 너무 적습니다. 이는 Partition 생성시 발생하는 오류로 원인은 partition high_value를 같는(포함하는) partition이 이미 존재하기 때문이다. 예를 들어 아래와 같이 Partition을 생성한다고 하자.ALTER TABLE SAMPLEADD PARTITIOIN SAMPLE_20150409 VALUES LESS THAN (TO_DATE(' 2015-04-10 00:00:00', 'SYYYY-MM-DD HH24:MI:SS', 'NLS_CALENDAR=GREGORIAN')) 이렇게 생성했을 때, ORA-14074가 발생했다고 하자.이는 2015-04-10 00:00:00(h.. 2015. 4. 9.
[자바8 람다의 힘] 3장 String, Comparator 그리고 filter 이 글은 "자바 8 람다의 힘" 책을 정리한 글입니다. Chapter 3. String, Comparator 그리고 filter 1. String Iteration 문자열(String) 의 각 문자들을 출력해보자. public class IteraeString { public static void main(String[] args) { final String str = "w00t"; str.chars().forEach(System.out::println); } } 2장 컬렉션 사용에서 공부한 것 처럼 method reference와 함께 사용할 수 있다. 여기서 chars() 는 CharSequence 인터페이스로부터 파생한 String 클래스의 새로운 메소드이다. 위 코드를 실행해보면 아래와 같이 숫자.. 2015. 4. 1.

티스토리툴바