BigData/Spark24 Spark로 WordCount 구현하기. #1 WordCount 로직을 구현해보자. Java로 구현하더라도 함수형 언어 코딩 개념이 필요하다.(java8을 경험해봤다면 좀 더 쉽게 이해할 수 있을 것이다.) public void executeSparkTask(String sourceFilePath, String outputFilePath) throws Exception { SparkConf conf = new SparkConf() .setAppName("SampleApp") .setMaster("yarn-cluster") .setExecutorEnv("cores", "1") ; JavaSparkContext javaSparkContext = new JavaSparkContext(conf); try { JavaRDD logData = javaSpark.. 2015. 5. 21. Apache Spark: Transformations 샘플 스파크 Transformation관련 API 정리가 잘 되어 있는 글이다.http://www.supergloo.com/fieldnotes/apache-spark-examples-of-transformations/나름 정리가 잘 되어 있는 듯 하다. 꼭 실습을 해 봐야지 ㅎ 2015. 3. 17. Apache Spark 1.2.0은 Netty기반과 고가용성, 머신러닝 API를 지원한다. http://www.infoq.com/news/2015/01/Apache-Spark-1.2.0-Released아래 내용은 위 원문 기사를 번역한 내용이다. Apache Spark 1.2.0은 Netty기반과 고가용성, 머신러닝 API를 지원한다. Apache Spark 1.2.0 was released with major performance and usability improvements in the Spark core engine. It represents the work of 172 contributors from over 60 institutions and comprises more than 1000 patches.아파치 스파크 코어엔진 성능과 가용성이 향상된 1.2.0 버전이 릴리즈 되었다. 6.. 2015. 3. 6. 001. Spark를 설치해서 무작정 돌려보자. Spark를 설치해서 무작정 돌려보자. 일단 Spark 다운로드... 현재 최신 버전은 1.2.1이다.(2015/02/26 기준) https://spark.apache.org/downloads.html 에 접속해서 spark 다운로드를 받는다. hadoop을 포함한 pre-built 버전으로 설치해 본다. (추후 소스코드 받아서 compile해보자.) 위 처럼 지정하고 Download 받아 압축을 해제하면 된다. 편의상 심볼릭 링크를 생성해 두었다. 설치 끝? Spark-Shell을 이용하여 Spark를 간단히 돌려보자. ./bin/spark-shell 을 수행하면 아래처럼 확인할 수 있다. ({SPARK_HOME} 설치 디렉토리에서 위처럼 수행하자. 테스트 샘플 데이터 파일이 Spark 설치 디렉토리에.. 2015. 3. 5. 이전 1 ··· 3 4 5 6 다음
