Apache Spark 설치 하기
Requirements
소스 받기
$ wget http://apache.mirror.cdnetworks.com/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
$ tar zxvf spark-1.5.2-bin-hadoop2.6.tgz
PATH 등록
export SPARK_HOME={Spark Directory}
export PATH=$SPARK_HOME/sbin:$PATH
Config 변경
config 파일 복사
$ cp $SPARK_HOME/spark-defaults.conf.template $SPARK_HOME/spark-defaults.conf
$ cp $SPARK_HOME/slaves.template $SPARK_HOME/slaves
spark-default.conf 수정
$ vi $SPARK_HOME/conf/spark-defaults.conf
| 환경변수 |
설명 |
값 |
| spark.master |
Master 주소 |
spark://192.168.10.251:7077 |
| spark.eventLog.enabled |
로그 사용여부 |
TRUE |
| spark.eventLog.dir |
로그 폴더 |
$SPARK_HOME/logs |
| spark.serializer |
|
org.apache.spark.serializer.KryoSerializer |
| spark.driver.memory |
|
2g |
| spark.executor.extraJavaOptions |
JVM Option |
-XX:+PrintGCDetails -Dkey=value -Dnumbers=”one two three” |
slaves 수정
$ vi $SPARK_HOME/conf/slaves
slave가 될 host명 또는 ip를 입력한다.
Spark Cluster 실행
