이것저것 프로그래밍 정리(Macbook)

https://parkaparka.tistory.com/12 Ethereum으로 프로그래밍 - HelloWorld 간단한 HelloWorld 프로젝트를 실행해보도록 하자. 이더리움을 이용한 블록체인 코딩을 할때 크게 4단계로 나뉜다. 1번째 스마트 컨트랙 개발, 2단계 컴파일해서 abi,byte code 가져오기, 3단계 스마트 � parkaparka.tistory.com 앞에 Hello에서는 sayHello 함수 하나로만 구성되어 있었다. 이번에는 조금 더 나아가 데이터를 수정하고 저장하는 contract을 개발해보도록 하자. web3@0.2.0, solidity@0.5.0 또는 0.6.3, node@13.8.0 의 개발 환경이다. 1. 스마트 컨트랙 개발 get(), set() 함수를 이용할 것이다...

Dataframe 개요 spark 에서 제공하는 데이터 구조 중 하나이 Dataframe에 대해 알아보도록 하자. spark에서 많이 사용하는 다른 데이터 구조인 RDD는 schema를 정하지 않는 것과 달리 Dataframe은 모델 schema를 설정해서 사용한다. Column은 Dataframe의 열에 해당하고, data type을 갖는다. Row는 Dataframe의 행으로, 데이터 요소항목을 묶어서 구성한다. Python에서 list 혹은 dictionary를 사용해서 row를 구성할 수 있다. Data type으로는 다음과 같은 항목들이 있다. NullType, StringType, BinaryType, BooleanType, DataType,TimestampType, DoublType, Dec..

https://parkaparka.tistory.com/16 apache-spark 에서 word count하기(1) 대문자, 소문자 변환 단어의 객수 count 하기, word count 하기를 앞서서 대문자로 되어있는 단어와 소문자로 되어있는 단어는 모두 같기 때문에 대소문자 변경하는 것을 먼저 알아보도록 하자. 먼저 예시 dataset.. parkaparka.tistory.com 저번 word count에 이어서 이번에는 필요 없는 불용어를 문장에서 제거하고 word count 하는 방법을 알아보도록 하자. 불용어를 먼저 설정해 보도록 하자. 훨씬 많은 불용어들이 있지만, 위와 같이 일부의 불용어만 설정해 보았다. 위 ds_bigdata_stopwords_ex.txt 예제에 나오는 문장을 예제로 w..

대문자, 소문자 변환 단어의 객수 count 하기, word count 하기를 앞서서 대문자로 되어있는 단어와 소문자로 되어있는 단어는 모두 같기 때문에 대소문자 변경하는 것을 먼저 알아보도록 하자. 먼저 예시 dataset을 만들어 보도록 하자. %%writefile data/ds_bigdata_wcex.txt big data big DaTa BiG data BIg DAta aPAche spArk aPache SpaRk ApaChe spArk ApaCHE Spark 위의 데이터를 사용하도록 하겠다. 항상 하던 것처럼 RDD를 생성해주고 단어를 분리 시켜주도록 하자. 이후 대문자로 만들어 주는 함수와 소문자로 만들어주는 함수를 만들어 주도록 하자. 만든 함수를 적용해서 각각 대문자와 소문자로 만들어 보도..