이것저것 프로그래밍 정리(Macbook)

Logistic Regression(로지스틱 회귀)은 발생할 결과 값이 이진인 경우의 분류에 적용합니다. 예를 들어 환자의 데이터로부터 병의 유무, 이메일이 스팸인지 아닌지 등 이진 분류일 때 적용 가능합니다. 예제를 통해 pyspark에서 Logistic Regression의 사용법을 알아보도록 하겠습니다 건강 지표들을 통해 심장병의 유무에 대해 예측해보고 얼마나 정확한지 측정해 보도록 하겠습니다. 0. 필요 라이브러리 import하기 필요한 라이브러리들을 먼저 import 해놓도록 하겠습니다. 1. 데이터 불러오기 다음 아래의 csv 파일을 DataFrame으로 불러오도록 하겠습니다. 위 사진과 같이 trainDf를 생성해 주었습니다. trainDf의 column들은 다음과 같습니다. 현재 train..

히스토그램 머신비전에서 히스토그램이란 [0,L-1] 사이의 명암값 각각이 영상에 몇번 나타나는지 표시해 주는 막대 그래프이다. 쉽게 말해서 0,1,2,...,L-2,L-1 화소가 각각 몇개인가를 막대 그래프로 표현해 놓은 것이다. 이를 통해 전체 영상의 픽섹들의 색상이나 명암의 분포를 파악 할 수 있습니다. 히스토그램은 현재 영상이 어떤 상태인지 예측, 분석하는 용도로 활용도이다. openCV에서 히스토그램을 계산 해주는 cv2.calcHist() 함수를 사용하기 전에 numpy를 통해 직접 히스토그램을 생성해 보도록 하자. 위의 영상을 읽어서 1차원 히스토그램을 출력해 보겠습니다. numpy 통해 히스토그램 생성 numpy를 이용하여 다음과 같이 그레이 스케일 이미지의 히스토그램을 계산하여 그려볼수 있..

https://parkaparka.tistory.com/16 apache-spark 에서 word count하기(1) 대문자, 소문자 변환 단어의 객수 count 하기, word count 하기를 앞서서 대문자로 되어있는 단어와 소문자로 되어있는 단어는 모두 같기 때문에 대소문자 변경하는 것을 먼저 알아보도록 하자. 먼저 예시 dataset.. parkaparka.tistory.com 저번 word count에 이어서 이번에는 필요 없는 불용어를 문장에서 제거하고 word count 하는 방법을 알아보도록 하자. 불용어를 먼저 설정해 보도록 하자. 훨씬 많은 불용어들이 있지만, 위와 같이 일부의 불용어만 설정해 보았다. 위 ds_bigdata_stopwords_ex.txt 예제에 나오는 문장을 예제로 w..

map() 함수를 이해하기 위해 map() 함수를 사용하지 않고 섭씨를 화씨로 변환하는 c2f() 파이썬 함수를 만들어 보자. Python 함수 c2f() 위 함수를 간단히 설명하면 데이터를 하나씩 읽어서 for문으로 처리하고 list로 변환하여 반환해 주었다. map() 함수를 이용하면 for문을 없앨 수 있다. 한번 map() 함수를 사용해보도록 하자. map 함수 사용 c2f() python은 map(), reduce(), filter() 함수를 이미 갖고 있다. 간단히 세 함수에 대해 알아보도록 하자. 함수 설명 예 map() 각 데이터 요소에 함수를 적용해서 'map'타입으로 반환 map(fn,data) filter() 각 데이터 요소에서 함수의 결과 true를 선택해서 반환 filter(fn,..