[Spark/Linux] 리눅스 환경에 스파크 설치하기

< 참고자료 >

https://dreamlog.tistory.com/607

우분투 20.04에서 Apache Spark 설치

 

과제였는데, 우리 동아리 회장님이 "너 할당받았던 개발환경에다가 설치한번 해봐라" 해서 바로 ㄱ

 

위에 참고한 글이 정말 설명이 잘 되어있어서 쉽게 진행하였다.

 

기본적으로 java, Hadoop, Spark만 버전 잘 맞춰서 깔아주면 된다.

애초에 Spark랑 Hadoop은 같이 깔리니까 웬만하면 헤멜일 별로 없는듯...

 

바꿔줄 부분은 wget으로 스파크 설치할때 버전만 최신버전으로 바꾸면된다.

나는 할당받은 포트로 접속포트를 바꾸고 싶어서

start-master.sh --port (원하는 포트) --webui-port (원하는 포트)

이렇게 바꾸어주었다.

 

브라우저 접속은 http://접속할아이피:마스터포트 로 들어간다.

본인컴퓨터라면 127.0.0.1로 접속하면 되지만, 나는 원격서버에 설치하였기때문에 서버컴 아이피로 접속하였다.

 

브라우저에서 스파크에 접속한 화면. 설치가 잘 되었다.

 

<설치정보>

Spark : 3.2.3

Hadoop : 3.2

Java : JDK 11.0.18

master : Spark standalone