일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- C
- scrapy
- 파이썬
- hadoop2
- yarn
- 텐서플로
- GRU
- NumPy
- codingthematrix
- collections
- C언어
- graph
- 코딩더매트릭스
- RNN
- tensorflow
- 선형대수
- 하둡2
- Java
- effective python
- 그래프이론
- HelloWorld
- 하이브
- recursion
- 주식분석
- Sort
- python
- 딥러닝
- LSTM
- hive
- 알고리즘
- Today
- Total
목록MAPREDUCE (2)
EXCELSIOR
1. Mapper.javapublic class Mapper { //을 의미 public class Context extends MapContext { public Context(Configuration conf, TaskAttemptID taskid, RecordReader reader, RecordWriter writer, OutputCommitter committer, StatusReporter reporter, InputSplit split) throws IOException, InterruptedException { super(conf, taskid, reader, writer, committer, reporter, split); } } /** * Called once at the beginni..
1. 맵리듀스 개념맵리듀스 프로그래밍은 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 데이터를 처리한다.맵(Map)은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)하며, 리듀스(Reduce)는 맵의 결과 데이터를 집계(aggregation)한다. [출처: http://www.slideshare.net/kwnam4u/hadoop-38481079] 2. 맵리듀스 아키텍처 1) 시스템 구성- 맵리듀스 시스템은 클라이언트, 잡트래커, 태스크트래커로 구성된다. [출처: http://zetawiki.com/] - 클라이언트 : 클라이언트는 사용자가 실행한 맵리듀스 프로그램과 하둡에서 제공하는 맵리듀스 API를 의미 - 잡트래커 : 클라이언트가 하둡으로 실행을 요청하는 맵리듀스 프로..