이것저것 프로그래밍 정리(Macbook)

apache spark를 설치하지 않고 pip를 통해서 pyspark를 설치해서 jupyter notebook 또는 python shell에서 사용도 가능합니다. 한 번 알아보도록 하겠습니다. 1. pip 이용해서 pyspark 설치하기 먼저 터미널에서 pip를 이용해서 pyspark를 설치해 주도록 하겠습니다. python3 -m pip install pyspark 위 명령어를 통해서 pyspark 라이브러리를 설치 해줬습니다. 2. SparkSession 생성하기 spark를 사용하기 위해서 SparkSession 객체를 생성하고 사용하면 된다. 먼저 사용한 pyspark 라이브러리를 import 해주도록 하겠습니다. 여기서부터는 jupyter notebook 환경에서 진행하면 됩니다. import ..