Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- lambda
- apache-spark
- docker
- solidity
- 이더리움
- pyspark
- MAP
- stopwords
- Apache Spark
- Histogram
- nodejs
- OpenCV
- word count
- Python
- BlockChain
- Greeter
- macbook
- Ethereum
- HelloWorld
- web3@1.2.8
- bigdata
- remix
- Spark
- geth
- python3
- RDD
- 블록체인
- web3
- node
- jenv
Archives
- Today
- Total
목록DataFrame (1)
이것저것 프로그래밍 정리(Macbook)
apache-spark의 Dataframe(1) - pyspark
Dataframe 개요 spark 에서 제공하는 데이터 구조 중 하나이 Dataframe에 대해 알아보도록 하자. spark에서 많이 사용하는 다른 데이터 구조인 RDD는 schema를 정하지 않는 것과 달리 Dataframe은 모델 schema를 설정해서 사용한다. Column은 Dataframe의 열에 해당하고, data type을 갖는다. Row는 Dataframe의 행으로, 데이터 요소항목을 묶어서 구성한다. Python에서 list 혹은 dictionary를 사용해서 row를 구성할 수 있다. Data type으로는 다음과 같은 항목들이 있다. NullType, StringType, BinaryType, BooleanType, DataType,TimestampType, DoublType, Dec..
apache-spark(big data)
2020. 4. 29. 16:33