BigData66 R과 Shiny 를 이용한 데이터 제품 만들기 http://data-science.xwmooc.org/ R 기본 사용법 부터 이를 이용하여 데이터 제품을 만들어가는 과정에 필요한 지식들을 잘 설명하고 하고 있는 것 같다.마지막에는 Docker 나 Travis, CI 같은 데이터 과학에서 사용되는 툴에 대한 소개도 링크가 되어 있다. 시간날 때 따라서 해 보자. 2016. 2. 26. Hadoop shell 사용법 http://hadoop.apache.org/docs/r0.20.0/hdfs_shell.html Overview The FileSystem (FS) shell is invoked by bin/hadoop fs . All FS shell commands take path URIs as arguments. The URI format is scheme://autority/path. For HDFS the scheme is hdfs, and for the local filesystem the scheme is file. The scheme and authority are optional. If not specified, the default scheme specified in the configuration i.. 2016. 2. 10. Hadoop 에서 작은 크기의 파일을 처리하는 방법 Hadoop 은 기본적으로 Input 파일 갯수만큼 Map Task 가 생성된다. 만약 작은 파일이 엄청 많다면? Block Size 이하의 파일들이 많은 경우는? block size(64MB) 보다 작은 파일이 여러 개 더라도 Map Task 는 파일 당 하나씩 생성된다. 그렇다면 어떻게 처리하는 것이 좋을까? http://blog.recopick.com/24 위 블로그에 잘 정리되어 있다. 결론만 정리해보면 아래와 같다. hdfs 에 저장할 때, 파일 내용을 append 하는 방법 작은 파일들을 하나로 합치는 작업을 주기적으로 실행하는 방법 hadoop archive (har) 파일을 이용하는 방법 파일 이름과 파일 내용을 각각 키와 값으로 해서 sequence file 로 저장하는 방법 Combin.. 2016. 2. 10. Flume(TCP/AVRO source + Memory channel + logger sink) - Log4j로 연동하기 flume 설정 agent.sources = testSource agent.channels = testChannel agent.sinks = testSink # For each one of the sources, the type is defined agent.sources.testSource.type = syslogtcp agent.sources.testSource.host = 127.0.0.1 agent.sources.testSource.port = 9999 agent.sources.testSource.channels = testChannel # Each sink's type must be defined agent.sinks.testSink.type = logger agent.sinks.testSink.. 2016. 1. 20. 이전 1 ··· 3 4 5 6 7 8 9 ··· 17 다음