spark10 Spark 2.0 Technical Preview Databricks 에서 게제한 Spark 2.0 Technical Preview 글을 요약해 보았습니다. spark 1.0 이 공개된 뒤 2년 만에 2.0 release 를 앞두고 있습니다. Databricks 에서 공개한 Technical Preview 에서는 Spark 2.0의 3가지의 주요 특징을 소개하고 있습니다. Easier, Faster, Smarter Easier 표준 SQL 지원 서브쿼리도 지원하는 새로운 Ansi-SQL 파서 적용 DataFrame/Dataset API 통합 Java/Scala 에서 DataFrame/Dataset 통합 SparkSession SQLConext 나 HiveContext 를 대체할 DataFrame API 를 위한 진입점 좀 더 간단하고 성능 좋은 Accu.. 2016. 5. 15. Learning Spark Chapter. 10 Spark Streaming RDD 개념을 갖고 있는 Spark 와 유사하게 Spark Streaming 은 DStream 또는 Discretized Streams 라고 불리는 추상개념을 갖고 있다. DStream 이란? 시간 흐름에 따른 순차적 데이터를 의미한다. 내부적으로 DStream 은 각 시점에 RDD 시퀀스이다. DStream 은 Flume, Kafka 또는 HDFS 같은 많은 Input 유형으로 부터 생성될 수 있다. DStream 에는 두 가지 유형의 Operation 이 제공된다. Transformation DStream 을 생성(파생) Output 외부 데이터 저장소에 결과 저장 기본적으로 RDD 에 제공되는 Operation 과 시간 기반의 Operation(예를 들면 sliding window) 을 제공한다. .. 2015. 8. 20. Spark로 WordCount 구현하기. #2 #1 을 해봤다면, 조금 불편함을 느꼈을 것이다. 분석 대상 파일과 output 경로를 모두 code에 포함되어 있기 때문이다. 그렇다면 이런 값들을 파라메터로 받아서 처리할 순 없을까? spark-submit으로 수행시에는 AppClass 내에 파라메터를 전달할 방법이 마땅치 않다. http://coe4bd.github.io/HadoopHowTo/sparkJava/sparkJava.html 위 블로그를 참고하여 진행해보자. 우선 아래와 같이 Argument를 파싱하는 Enum을 생성해 보았다. public static void main(String[] args) throws Exception { if (ArrayUtils.getLength(args) > 4) { LOGGER.debug(""); LOGG.. 2015. 5. 21. Spark로 WordCount 구현하기. #1 WordCount 로직을 구현해보자. Java로 구현하더라도 함수형 언어 코딩 개념이 필요하다.(java8을 경험해봤다면 좀 더 쉽게 이해할 수 있을 것이다.) public void executeSparkTask(String sourceFilePath, String outputFilePath) throws Exception { SparkConf conf = new SparkConf() .setAppName("SampleApp") .setMaster("yarn-cluster") .setExecutorEnv("cores", "1") ; JavaSparkContext javaSparkContext = new JavaSparkContext(conf); try { JavaRDD logData = javaSpark.. 2015. 5. 21. 이전 1 2 3 다음
