Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 코딩더매트릭스
- hive
- 알고리즘
- 주식분석
- RNN
- scrapy
- recursion
- HelloWorld
- codingthematrix
- collections
- 파이썬
- GRU
- graph
- tensorflow
- C
- 그래프이론
- NumPy
- C언어
- Java
- yarn
- Sort
- 하둡2
- 선형대수
- effective python
- LSTM
- 텐서플로
- python
- hadoop2
- 하이브
- 딥러닝
Archives
- Today
- Total
목록하이브 함수 (1)
EXCELSIOR
하이브(Hive) - 데이터 업로드
1. 데이터 업로드 하이브는 로컬 파일 시스템에 있는 데이터와 HDFS에 저장도니 데이터를 모두 업로드 할 수 있다. 여기서는 항공운항통계 데이터 파일을 업로드 하겠다. (항공운항데이터는 http://stat-computing.org/dataexpo/2009/에서 다운로드 받을 수 있다.) 하이브 CLI에서 다음과 같이 LOAD DATA를 입력한다. OVERWRITE INTO 절은 중복된 데이터가 있어도 무시하고 입력한다는 의미이다. PARTITION 절은 파티션 키인 delayYear 값을 2008로 설정해 데이터를 입력하는 설정이다. 앞에 포스팅한 글에서 테이블을 생성할 때 파티션을 설정했는데, 데이터를 업로드할 때 PARTITION절을 설정하지 않으면 LOAD DATA 실행 시 오류가 발생한다. h..
DataBase/Hadoop
2016. 11. 26. 15:47