일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- Apache Spark
- 이더리움
- word count
- MAP
- RDD
- BlockChain
- Python
- OpenCV
- remix
- node
- solidity
- web3
- web3@1.2.8
- pyspark
- HelloWorld
- Histogram
- macbook
- nodejs
- docker
- Ethereum
- 블록체인
- apache-spark
- lambda
- jenv
- stopwords
- Greeter
- python3
- geth
- bigdata
- Spark
- Today
- Total
목록분류 전체보기 (25)
이것저것 프로그래밍 정리(Macbook)
1. Ethereum의 네트워크 1-1. Ethereum 메인 네트워크(main network) ethereum 메인 네트워크는 네트워크 상의 모든 사람에게 공유되는 환경이고, 발생하는 모든 거래가 기록된다. 다른 사설망(private netword)와는 다르게 실제 ether가 유통되고 거래가 되기 때문에 주의해야 한다. 메인 네트워크에서 개발한 애플리케이션을 실제로 운영 할 수 있다. 1-2. Ethereum 테스트 네트워크(test network) 메인 네트워크에서는 실제 ether가 유통되고 거래되기 때문에 개발한 애플리케이션을 테스트 해 볼 수 있는 네트워크이다. 사용 가능한 네트워크로 Ropsten, Kovan, Rinkeby 등이 있다. 아래와 같은 명령어로 testnet에 접속할수 있다. ..
1. ethereum에 필요함 기술 스택 네트워크: geth 명령어로 블록체인을 사용하기 위한 P2P네트워크를 구성한다. smart contract: smart contract는 Solidity, Serpent, LLL로 구현한다. 이 contract은 데이터를 저장할 수 있고 프로세스를 실행하면서 기존의 서버가 하는 역할을 한다. 이런 작업들이 P2P네트워크 블록체인 상에서 실행된다. EVM: Ethereum Virtual Machine. 자바가상머신과 같이 콘트랙 바이트코드를 실행할 수 있는 환경 runtime environment이다. 클라이언트: 블록체인을 서버로 간주해서, 그 서버에 있는 데이터 또는 소스코드를 실행하여 작업을 처리하게 자신의 로컬컴퓨터에서 처리한다. geth 단말 또는 node..
자바의 버젼을 관리하기 위해 jenv를 사용하는 것처럼 node의 버젼을 관리하기 보다 편하게 사용환경에 쓸 수 있도록 nvm을 이용할수 있습니다. 터미널에서 homebrew를 통해 먼저 nvm을 설치해 줍니다. brew install nvm 설치가 완료되었으면 다음과 같은 환경변수를 ~/.zshrc 또는 ~/.bash_profile 에 저장해줍니다. export NVM_DIR="$HOME/.nvm" [ -s "/usr/local/opt/nvm/nvm.sh" ] && . "/usr/local/opt/nvm/nvm.sh" # This loads nvm [ -s "/usr/local/opt/nvm/etc/bash_completion.d/nvm" ] && . "/usr/local/opt/nvm/etc/bash..
스파크 사용 이유는? 먼저 데이터가 엄청난 양으로 증가되며, 이를 처리하기 위해 분산 프레임워크인 Hadoop과 최근에 Spark가 많이 쓰이고 있다. Hadoop은 데이터를 수집하는 목적으로 많이 사용된다. spark는 수집한 데이터를 분석한 용도로 많이 사용된다. 구분 Spark Hadoop 사용목적 데이터 분석 데이터 수집 파일 시스템 자체 파일 시스템 X(HDFS,DB,CSV 등 사용) HDFS(Hadoop 자체 파일 시스템) 속도 pipeline을 사용하므로 빠름 보다 느림 Spark 분산 클러스터 컴퓨팅 프레임워크로서, API를 사용해서 데이터추출, 변환, 기계학습, 그래프분석을 할 수 있다. Hadoop과 달리 메모리에서 처리하게 때문에 빠르다. scala로 개발되어 jvm에서 실행. sca..