Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- Java
- Sort
- hadoop2
- graph
- 주식분석
- C언어
- effective python
- RNN
- C
- python
- collections
- LSTM
- 선형대수
- 하이브
- yarn
- 알고리즘
- 하둡2
- scrapy
- hive
- 그래프이론
- 텐서플로
- recursion
- 파이썬
- 딥러닝
- GRU
- NumPy
- 코딩더매트릭스
- codingthematrix
- tensorflow
- HelloWorld
Archives
- Today
- Total
목록hive function (1)
EXCELSIOR
하이브(Hive) - 데이터 업로드
1. 데이터 업로드 하이브는 로컬 파일 시스템에 있는 데이터와 HDFS에 저장도니 데이터를 모두 업로드 할 수 있다. 여기서는 항공운항통계 데이터 파일을 업로드 하겠다. (항공운항데이터는 http://stat-computing.org/dataexpo/2009/에서 다운로드 받을 수 있다.) 하이브 CLI에서 다음과 같이 LOAD DATA를 입력한다. OVERWRITE INTO 절은 중복된 데이터가 있어도 무시하고 입력한다는 의미이다. PARTITION 절은 파티션 키인 delayYear 값을 2008로 설정해 데이터를 입력하는 설정이다. 앞에 포스팅한 글에서 테이블을 생성할 때 파티션을 설정했는데, 데이터를 업로드할 때 PARTITION절을 설정하지 않으면 LOAD DATA 실행 시 오류가 발생한다. h..
DataBase/Hadoop
2016. 11. 26. 15:47