http://www.infoq.com/news/2015/01/Apache-Spark-1.2.0-Released아래 내용은 위 원문 기사를 번역한 내용이다. Apache Spark 1.2.0은 Netty기반과 고가용성, 머신러닝 API를 지원한다. Apache Spark 1.2.0 was released with major performance and usability improvements in the Spark core engine. It represents the work of 172 contributors from over 60 institutions and comprises more than 1000 patches.아파치 스파크 코어엔진 성능과 가용성이 향상된 1.2.0 버전이 릴리즈 되었다. 6..
1. rsync 서버 측 설정 (원본서버)- rsync 활성화 : 아래 파일의 disable 되어 있는 부분을 yes에서 no 으로 변경root@localhost# vi /etc/xinetd.d/rsync# default: off # description: The rsync server is a good addition to an ftp server, as it \ # allows crc checksumming etc. service rsync { disable = no socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID }- rsync 설정 파일 : ..
[crontab 사용법] // cron deamon이 돌고 있는지 확인한다. ps -ef | grep cron // cron deamon kill kill -9 "pid of cron" // deamon 재실행 /usr/sbin/cron // crontab 명령어 위치 /usr/bin/crontab // 기본사용법 crontab { -l | -r | -e } [cron 형식] ------ -------- --------------------------------------------------- 필 드 의 미 범 위 ------ -------- --------------------------------------------------- 첫번째 분 0-59 두번째 시 0-23 세번째 일 0-31 네번째 월..
Posix란? 서로 다른 운영체제와 프로그램들을 위한 소프트웨어 표준을 제공하기 위해 Posix표준이 전개되었으며, IEEE와 ISO가 관련되어 있다. 목표는 서로 다른 플랫폼으로의 프로그램 이식성을 향상시키기 위한 표준을 만드는 것이며, unix-like 컴퓨팅 환경을 제공하는 것이다. 참고 bash 쉘에서 $표시는 일반유저의 쉘을 의미한다 bash 쉘에서 #표시는 슈퍼유저(root)의 쉘을 의미한다. 보통 쉘 스크립트를 작성할 때 스크립트의 최상단에 본 쉘일 경우 #!/bin/sh, bash 쉘일 경우 #!/bin/bash, 파이썬일 경우 #!/usr/bin/python 을 입력하여 스크립트를 실행할 언어를 지정해야 한다. #!/bin/env bash 형태를 사용하기도 하는데, 이 경우에는 bash ..
- Total
- Today
- Yesterday
- 확률분포
- 알고리즘
- Apache Spark
- Learning Spark
- flume
- Sqoop
- jenkins
- mysql
- db
- PYTHON
- 데이터과학자
- jenkins2.0
- 데이터 리터러시
- spark
- mongo
- HADOOP
- Django
- bigdata
- 태그를 입력해 주세요.
- Git
- mongodb
- jackson
- exception
- linux
- json
- java
- Oracle
- spring
- 책요약
- Hdfs
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |