Primero los dos 2 servers deben verse por medio de ssh para esto sigan este post :
Luego descargamos spark desde internet:
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
Luego desempaquetamos:
tar -xzvf spark.tar.gz
Luego vamos a conf y copiamos a el template de spark-env pero sin ".template"
cp spark-env.sh.template spark-env.sh
Luego editamos spark-env y agregamos el java home y el ip del master :
export JAVA_HOME=/path/java-openjdk
export SPARK_MASTER_HOST='xx.xx.xx.xx'
En SPARK_MASTER_HOST va la ip del master (esto hay que hacerlo en los dos servers)
Por ultimo levantamos todos los servicios :
$ ./start-all.sh
Y listo! Podemos chequear su funcionamiento en el puerto 8080 del master :
No hay comentarios.:
Publicar un comentario