BigData66 Apache Storm 무작정 따라하기 Maven Project 생성 pom.xml 설정 4.0.0 com.jw.storm hellostorm 0.0.1-SNAPSHOT jar hellostorm http://maven.apache.org UTF-8 junit junit 3.8.1 test org.apache.storm storm-core 0.9.3 maven-assembly-plugin 2.2.1 jar-with-dependencies make-assembly package single 구조 Spout에서 Bolt로 "hello storm"이라는 메시지를 전송한다. 실제 클러스터 환경에서는 spout은 외부로부터 데이터를 받아서 가공 후 bolt로 전송해 주는 식으로 적용될 것이다. 여기서 spout과 bolt를 연결해 주는 Topology.. 2015. 3. 6. MongoDB Having 쿼리 적용하기 http://docs.mongodb.org/manual/reference/sql-aggregation-comparison/ 위 페이지에서 RDBMS에서 사용하는 SQL과 Mongo Query에 대해서 비교해주고 있다. 그 중 having 절을 Mongo Query로 어떻게 생성할까? 방법만 이야기 해보면 $match를 한 번 더 하면 된다. 예를 들면 고객별 날짜별 구입가격 합을 구하는 SQL이 아래와 같이 있다고 하자. SELECT cust_id, ord_date, SUM(price) AS total FROM orders GROUP BY cust_id, ord_date 여기에 일별 총 구매가가 250 이상인 고객만 가져오고 싶다면 having 절을 사용한다. SELECT cust_id, ord_date.. 2015. 3. 5. MongoDB Aggregation시 Document Size 오류 MongoDB aggregate 를 통해 데이터를 집계하다가 아래와 같은 오류를 접하게 되었습니다. { errmsg: \"exception: aggregation result exceeds maximum document size (16MB)\", code: 16389, ok: 0.0 }"} 원인은 MongoDB의 경우 Document기반의 NoSQL DB로 Document size가 16MB로 고정되어 있습니다.(기본적으로는 수정 불가, 단, GridFS 적용시 가능) aggregate 수행결과 또한 Document이기 때문에, 이 결과도 16MB를 초과할 수 없습니다. 위 오류는 결과가 16MB를 초과하여 발생한 것 입니다. 이를 해결하기 위해서 MongoDB 공식 사이트를 검색해보니, Aggregat.. 2015. 3. 5. MongoDB paddingFactor 옵션 compact 시에 option을 추가할 수 있는데, paddingFactor라는 것이 있다. paddingFactor란 무엇일까? MongoDB 공식 가이드에는 아래와 같이 설명되어 있다. The amount of space added to the end of each document at insert time. The document padding provides a small amount of extra space on disk to allow a document to grow slightly without needing to move the document. mongod automatically calculates this padding factor 즉, document 저장시 실제 데이터 내용보.. 2015. 3. 5.
