HADOOP8 Flamingo Seminar(2016/11/25) 후기 2016년 11월 25일 강남토즈점에서 진행된 Flamingo Seminar 참석 1. Flamingo Project 소개 Flamingo란 Hadoop Ecosystem과 연계하여 빅데이터를 처리할 수 있는 솔류션 시스템입니다. 2016년 12월에 Flamingo 3.0(FEM)을 공개할 예정이며, 특징으로는 프로젝트의 목적에 맞게 컴포넌트가 분리되어 제공됩니다.(아래 3가지 참고) Flamingo Analytics(FEA) Flamingo(FL) Flamingo Management(FEM) Flamingo 개발환경은 jdk 1.8에서 개발되고 있습니다.(그 외 버전 정보들을 소개하였으나 너무 많아서 생략합니다.) FEM에는 아래와 같은 특징이 있었습니다.(FEM 시연 영상을 보고 정리한 내용) 대시보.. 2016. 11. 26. Hadoop shell 사용법 http://hadoop.apache.org/docs/r0.20.0/hdfs_shell.html Overview The FileSystem (FS) shell is invoked by bin/hadoop fs . All FS shell commands take path URIs as arguments. The URI format is scheme://autority/path. For HDFS the scheme is hdfs, and for the local filesystem the scheme is file. The scheme and authority are optional. If not specified, the default scheme specified in the configuration i.. 2016. 2. 10. Hadoop 에서 작은 크기의 파일을 처리하는 방법 Hadoop 은 기본적으로 Input 파일 갯수만큼 Map Task 가 생성된다. 만약 작은 파일이 엄청 많다면? Block Size 이하의 파일들이 많은 경우는? block size(64MB) 보다 작은 파일이 여러 개 더라도 Map Task 는 파일 당 하나씩 생성된다. 그렇다면 어떻게 처리하는 것이 좋을까? http://blog.recopick.com/24 위 블로그에 잘 정리되어 있다. 결론만 정리해보면 아래와 같다. hdfs 에 저장할 때, 파일 내용을 append 하는 방법 작은 파일들을 하나로 합치는 작업을 주기적으로 실행하는 방법 hadoop archive (har) 파일을 이용하는 방법 파일 이름과 파일 내용을 각각 키와 값으로 해서 sequence file 로 저장하는 방법 Combin.. 2016. 2. 10. HDFS 내에 여러 파일을 하나의 파일로 합쳐보기 Hadoop ecosystem을 사용하다 보면 output 디렉토리에 여러 파일이 생기는 경우가 있다. 보통 output 파일은 하나로 나와야 하나, 병렬처리를 하다보면 병목현상을 줄이기 위해 output 파일을 여러개로 만들기도 하는데. 최종 처리를 하기 위해 하나의 파일로 합치는 게 필요할 수도 있다. HDFS에서 파일을 합치는 것은 어떻게 할 수 있을까? HDFS FileSystemShell 가이드에 보면 getmerge라는 command가 존재한다. http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html getmerge Usage: hadoop fs -getmerge [addnl] Tak.. 2015. 5. 21. 이전 1 2 다음
