MongoDB aggregate 를 통해 데이터를 집계하다가 아래와 같은 오류를 접하게 되었습니다. { errmsg: \"exception: aggregation result exceeds maximum document size (16MB)\", code: 16389, ok: 0.0 }"} 원인은 MongoDB의 경우 Document기반의 NoSQL DB로 Document size가 16MB로 고정되어 있습니다.(기본적으로는 수정 불가, 단, GridFS 적용시 가능) aggregate 수행결과 또한 Document이기 때문에, 이 결과도 16MB를 초과할 수 없습니다. 위 오류는 결과가 16MB를 초과하여 발생한 것 입니다. 이를 해결하기 위해서 MongoDB 공식 사이트를 검색해보니, Aggregat..
compact 시에 option을 추가할 수 있는데, paddingFactor라는 것이 있다. paddingFactor란 무엇일까? MongoDB 공식 가이드에는 아래와 같이 설명되어 있다. The amount of space added to the end of each document at insert time. The document padding provides a small amount of extra space on disk to allow a document to grow slightly without needing to move the document. mongod automatically calculates this padding factor 즉, document 저장시 실제 데이터 내용보..
1. 인덱스 생성 & 삭제 db.emp.ensureIndex({ eno:1 }, { unique:true }); db.emp.dropIndex({ eno:1 }); 1 => ASC -1 => DESC 2. 인덱스 재구성 및 삭제 db.emp.dropIndexes(); db.emp.dropIndex({ eno:1 }); db.runCommand({dropIndexes:'em', index:{eno:1}}) db.emp.reIndex(); db.runCommand({reIndex:'emp'}); Index의 대소문자는 엄격히 구분됩니다. Document를 Update 할 때 해당 Index Key만 변경되지만, 변경되는 Document 크기가 기존 Extent 공간 크기보다 큰 경우에 더 큰 Extent 공..
Spark를 설치해서 무작정 돌려보자. 일단 Spark 다운로드... 현재 최신 버전은 1.2.1이다.(2015/02/26 기준) https://spark.apache.org/downloads.html 에 접속해서 spark 다운로드를 받는다. hadoop을 포함한 pre-built 버전으로 설치해 본다. (추후 소스코드 받아서 compile해보자.) 위 처럼 지정하고 Download 받아 압축을 해제하면 된다. 편의상 심볼릭 링크를 생성해 두었다. 설치 끝? Spark-Shell을 이용하여 Spark를 간단히 돌려보자. ./bin/spark-shell 을 수행하면 아래처럼 확인할 수 있다. ({SPARK_HOME} 설치 디렉토리에서 위처럼 수행하자. 테스트 샘플 데이터 파일이 Spark 설치 디렉토리에..
- Total
- Today
- Yesterday
- jenkins
- bigdata
- PYTHON
- spring
- Oracle
- db
- jackson
- 알고리즘
- flume
- java
- mongodb
- 확률분포
- Django
- mysql
- Apache Spark
- 데이터 리터러시
- Hdfs
- Sqoop
- jenkins2.0
- HADOOP
- 태그를 입력해 주세요.
- Git
- 책요약
- Learning Spark
- spark
- mongo
- linux
- 데이터과학자
- exception
- json
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |