이것저것 프로그래밍 정리(Macbook)

Jupyter Notebook을 맨처음에 사용하다 보면 python의 경로 혹은 다른 문제 때문에 아래 사진처럼 분면 pip를 통해서 install 했음에도 python shell에서는 import 할수 있음에도 불구하고 설치한 모듈(ex) pandas, tensorflow)들을 Jupyter에서는 import 하지 못하고 No module named 'module' 이라는 ModuleNotFoundError이 발생할 때가 있다. 저는 python3, jupyter는 homebrew를 통해서 설치했고, numpy, pandas 등 다른 모듈들은 pip를 통해 설치한 상태입니다. 이 문제를 해결해 보도록 하자. 먼저 python shell과 Jupyter notebook에서 각각 어떤 파이썬을 사용하고 있..

자바의 버젼을 관리하기 위해 jenv를 사용하는 것처럼 node의 버젼을 관리하기 보다 편하게 사용환경에 쓸 수 있도록 nvm을 이용할수 있습니다. 터미널에서 homebrew를 통해 먼저 nvm을 설치해 줍니다. brew install nvm 설치가 완료되었으면 다음과 같은 환경변수를 ~/.zshrc 또는 ~/.bash_profile 에 저장해줍니다. export NVM_DIR="$HOME/.nvm" [ -s "/usr/local/opt/nvm/nvm.sh" ] && . "/usr/local/opt/nvm/nvm.sh" # This loads nvm [ -s "/usr/local/opt/nvm/etc/bash_completion.d/nvm" ] && . "/usr/local/opt/nvm/etc/bash..

스파크 사용 이유는? 먼저 데이터가 엄청난 양으로 증가되며, 이를 처리하기 위해 분산 프레임워크인 Hadoop과 최근에 Spark가 많이 쓰이고 있다. Hadoop은 데이터를 수집하는 목적으로 많이 사용된다. spark는 수집한 데이터를 분석한 용도로 많이 사용된다. 구분 Spark Hadoop 사용목적 데이터 분석 데이터 수집 파일 시스템 자체 파일 시스템 X(HDFS,DB,CSV 등 사용) HDFS(Hadoop 자체 파일 시스템) 속도 pipeline을 사용하므로 빠름 보다 느림 Spark 분산 클러스터 컴퓨팅 프레임워크로서, API를 사용해서 데이터추출, 변환, 기계학습, 그래프분석을 할 수 있다. Hadoop과 달리 메모리에서 처리하게 때문에 빠르다. scala로 개발되어 jvm에서 실행. sca..

Jenv 여러가지 버젼의 자바가 나오고 있지만 많은 프레임워크와 라이브러리에서 Java8이 최적화 되어있습니다. 따라서 Jenv를 통해서 여러가지 버젼의 Java를 활용하는 방법을 알아보겠습니다. AdoptopenJDK 먼저 필요한 Java 버젼을 터미널에서 Homebrew를 통해서 설치합니다. brew cask install java 2019.10 기준 java13 설치됩니다. java13이 아닌 다른 java버전 설치를 원할 경우 아래와 같이 합니다. brew tap AdoptOpenJDK/openjdk brew cask install OpenJDK8 -> adoptopenjdk8 OpenJDK9 -> adoptopenjdk9 OpenJDK10-> adoptopenjdk10 OpenJDK11 -> a..