이것저것 프로그래밍 정리(Macbook)

Jupyter Notebook을 맨처음에 사용하다 보면 python의 경로 혹은 다른 문제 때문에 아래 사진처럼 분면 pip를 통해서 install 했음에도 python shell에서는 import 할수 있음에도 불구하고 설치한 모듈(ex) pandas, tensorflow)들을 Jupyter에서는 import 하지 못하고 No module named 'module' 이라는 ModuleNotFoundError이 발생할 때가 있다. 저는 python3, jupyter는 homebrew를 통해서 설치했고, numpy, pandas 등 다른 모듈들은 pip를 통해 설치한 상태입니다. 이 문제를 해결해 보도록 하자. 먼저 python shell과 Jupyter notebook에서 각각 어떤 파이썬을 사용하고 있..

spark 3.0.1 버전이 나왔습니다. 이번 글에서는 spark 3.0.1 버젼 설치법에 대해 알아보겠습니다. 기본적으로 아랫글 spark@2.4.4 와 유사합니다. parkaparka.tistory.com/2 apache-spark 시작하기(Macbook), spark 설치 스파크 사용 이유는? 먼저 데이터가 엄청난 양으로 증가되며, 이를 처리하기 위해 분산 프레임워크인 Hadoop과 최근에 Spark가 많이 쓰이고 있다. Hadoop은 데이터를 수집하는 목적으로 많이 사용된�� parkaparka.tistory.com 이전 spark 버전은 python@2가 사용 가능했지만 spark@3.0.0 부터는 python@3만 사용 가능합니다. 먼저 python3를 brew를 통해 설치해 주겠습니다. br..