목록분류 전체보기 (25)

이것저것 프로그래밍 정리(Macbook)

pip에서 pyspark 라이브러리 설치해서 이용하기

apache spark를 설치하지 않고 pip를 통해서 pyspark를 설치해서 jupyter notebook 또는 python shell에서 사용도 가능합니다. 한 번 알아보도록 하겠습니다. 1. pip 이용해서 pyspark 설치하기 먼저 터미널에서 pip를 이용해서 pyspark를 설치해 주도록 하겠습니다. python3 -m pip install pyspark 위 명령어를 통해서 pyspark 라이브러리를 설치 해줬습니다. 2. SparkSession 생성하기 spark를 사용하기 위해서 SparkSession 객체를 생성하고 사용하면 된다. 먼저 사용한 pyspark 라이브러리를 import 해주도록 하겠습니다. 여기서부터는 jupyter notebook 환경에서 진행하면 됩니다. import ..
apache-spark(big data) 2020. 12. 10. 16:41
Jupyter Notebook - python 경로, pip module 인식 못함

Jupyter Notebook을 맨처음에 사용하다 보면 python의 경로 혹은 다른 문제 때문에 아래 사진처럼 분면 pip를 통해서 install 했음에도 python shell에서는 import 할수 있음에도 불구하고 설치한 모듈(ex) pandas, tensorflow)들을 Jupyter에서는 import 하지 못하고 No module named 'module' 이라는 ModuleNotFoundError이 발생할 때가 있다. 저는 python3, jupyter는 homebrew를 통해서 설치했고, numpy, pandas 등 다른 모듈들은 pip를 통해 설치한 상태입니다. 이 문제를 해결해 보도록 하자. 먼저 python shell과 Jupyter notebook에서 각각 어떤 파이썬을 사용하고 있..
Mac 2020. 10. 12. 14:07
apache-spark@3.0.1 설치

spark 3.0.1 버전이 나왔습니다. 이번 글에서는 spark 3.0.1 버젼 설치법에 대해 알아보겠습니다. 기본적으로 아랫글 spark@2.4.4 와 유사합니다. parkaparka.tistory.com/2 apache-spark 시작하기(Macbook), spark 설치 스파크 사용 이유는? 먼저 데이터가 엄청난 양으로 증가되며, 이를 처리하기 위해 분산 프레임워크인 Hadoop과 최근에 Spark가 많이 쓰이고 있다. Hadoop은 데이터를 수집하는 목적으로 많이 사용된�� parkaparka.tistory.com 이전 spark 버전은 python@2가 사용 가능했지만 spark@3.0.0 부터는 python@3만 사용 가능합니다. 먼저 python3를 brew를 통해 설치해 주겠습니다. br..
apache-spark(big data) 2020. 9. 16. 15:27
히스토그램(평활화(equalize))

https://parkaparka.tistory.com/24 히스토그램(히스토그램 생성, 정규화(normalize)) 히스토그램 머신비전에서 히스토그램이란 [0,L-1] 사이의 명암값 각각이 영상에 몇번 나타나는지 표시해 주는 막대 그래프이다. 쉽게 말해서 0,1,2,...,L-2,L-1 화소가 각각 몇개인가를 막대 그래프로 parkaparka.tistory.com 위 링크의 글은 기본 히스토그램 생성과 히스토그램을 정규화해주는 글이니 참고 하실 분은 참고 하시길 바랍니다. 노멀라이즈 같은 경우는 한곳에 분포가 집중되어 있는 경우 효과적이지만, 집중 된 부분에서 벗어나면 효과가 없습니다. 이럴때 equalize, 평활화가 필요합니다. 평활화는 히스토그램을 평평하게 만들어 주는 연산으로서, 영상화소를 재배..
machine vision 2020. 8. 23. 16:39
Prev 1 2 3 4 5 ··· 7 Next