EXCELSIOR

1. 하이브QL (HiveQL)하이브는 하이브QL 이라는 SQL문과 유사한 언어를 제공한다. 대부분의 기능은 SQL과 유사하지만 다음과 같은 차이점이 있다.하이브에서 사용하는 데이터가 HDFS에 저장되는데, HDFS가 한 번 저장한 파일은 수정할 수 없기 때문에 UPDATE와 DELETE는 사용할 수 없다. 또한, INSERT도 비어 있는 테이블에 입력하거나 이미 입력된 데이터를 덮어 쓰는 경우에만 가능하다. 따라서 하이브QL은 "INSERT OVERWRITE"라는 키워드를 사용한다.SQL은 어떠한 절에서도 서브쿼리를 사용할 수 있지만 하이브QL은 FROM 절에서만 서브 쿼리를 사용할 수 있다.SQL의 뷰는 업데이트할 수 있고, 구체화된 뷰 또는 비구체화된 뷰를 지원하지만 하이브QL의 뷰는 읽기 전용이며..

멱집합 주어진 집합의 모든 부분집합의 집합을 멱집합이라 한다. 예를 들어 집합 A = {a, b, c, d}일 때, 멱집합의 개수는 이다. 즉, n개의 원소에 대해 자신을 포함하는지 아닌지, 2가지 경우의 수가 있으므로 집합의 원소의 개수가 n개일 때 멱집합의 개수는 개이다. Recursion을 이용한 멱집합 구하기1) Recursion을 사용하여 멱집합을 구하는 방법은 다음과 같은 과정을 반복하면 된다. 예를 들어, {a, b, c, d, e, f}의 멱집합을 구하려면 a를 제외한 {b, c, d, e, f}의 멱집합을 나열하고, {b, c, d, e, f}의 모든 부분집합에 {a}를 추가한 집합들을 나열한다. {b, c, d, e, f}의 멱집합에 {a}를 추가한 집합들을 나열하려면 {c, d, e,..

1. 문제자연수로 이루어진 길이가 같은 수열 A,B가 있습니다. 최솟값 만들기는 A, B에서 각각 한 개의 숫자를 뽑아 두 수를 곱한 값을 누적하여 더합니다. 이러한 과정을 수열의 길이만큼 반복하여 최종적으로 누적된 값이 최소가 되도록 만드는 것이 목표입니다.예를 들어 A = [1, 2] , B = [3, 4] 라면 1. A에서 1, B에서 4를 뽑아 곱하여 더합니다. 2. A에서 2, B에서 3을 뽑아 곱하여 더합니다.수열의 길이만큼 반복하여 최솟값 10을 얻을 수 있으며, 이 10이 최솟값이 됩니다. 수열 A,B가 주어질 때, 최솟값을 반환해주는 getMinSum 함수를 완성하세요. 2. 풀이 1) 내가작성한 코드sort 메소드와 reverse 메소드를 사용하여 해결했다. def getMinSum(A..

1. 하이브 페이스 북에서 개발한 하이브는 하둡에 저장된 데이터를 쉽게 처리할 수 있는 데이터웨어하우스(DW) 패키지 이다. 1)하이브 아키텍처하이브의 클라이언트는 커맨드 라인 인터페이스(Command Line Interface: CLI), 하이브 서버, 웹 인터페이스로 구성된다. 하이브 서버의 경우 JDBC, ODBC, 쓰리프트로 개발된 클라이언트가 하이브 서비스를 이용할 수 있게 쓰리프트 서비스를 제공한다.하이브는 메타스토어(Metastore)라는 저장소를 만들어 하둡에서 처리된 메타데이터의 구조를 메타스토어에 저장한다. 하이브는 오라클, MySQL 등 JDBC를 지원하는 모든 데이터베이스를 이용해 메타스토어를 구축할 수 있다. 드라이버는 사용자가 입력한 하이브QL문을 해석한다. 하둡과 연결되어 하이..

1. 문제어떤 수를 입력받아 그 수의 약수를 모두 더한 수 sumDivisor 함수를 완성해 보세요. 예를 들어 12가 입력된다면 12의 약수는 [1, 2, 3, 4, 6, 12]가 되고, 총 합은 28이 되므로 28을 반환해 주면 됩니다. 2. 풀이 1) 내가 작성한 코드 for문을 통해 나머지가 0이 되는 값을 찾아 더해 해결했다. def sumDivisor(num): answer = 0 for i in range(1,num+1): if num%i==0: answer += i return answer # 아래는 테스트로 출력해 보기 위한 코드입니다. print(sumDivisor(12)) 2) 다른 풀이 sum메소드를 통해 깔끔하게(?) 해결했다. 부럽다. def sumDivisor(num): ret..

1. N - Queens Problem ( 8 - Queens Problem )어떠한 행, 열, 대각선에 말이 겹치지 않도록 놓는 방법 1) 상태공간트리(State-Space Tree)상태공간트리란 찾는해를 포함하는 트리를 말한다. 즉 해가 존재한다면 그것은 반드시 이 트리의 어떠 한 노드에 해당한다.→ 상태공간 트리의 모든 노드를 탐색해야 하는 것은 아니다. 2) 되추적 기법(Backtracking)상태공간 트리를 깊이 우선 방식으로 탐색하여 해를 찾는 알고리즘을 말한다. [출처: https://ko.wikipedia.org] 2. Design Recursion1) 전체 pseudocode int [ ] cols = new int [N+1];return-type(boolean) queens( argum..

1. 통계학의 정의와 분류1) 통계학: 불확실하고 잘 알려져 있지 않은 사실과 대상에 대한 통계정보를 얻기 위해 이와 관련된 자료(data)를 수집하고, 그 자료를 요약 정리하여 해석하며, 의사결정을 위한 결론이나 일반성 등을 이끌어내는 데 필요한 이론과 방법을 과학적으로 제시하여 주는 학문이다.2) 기술통계학(Descriptive Statistics): 자료를 정리하여 그림이나 표로 요약하거나 자료들의 수치값을 요약한 대표값이나 자료의 흩어진 형태(분포)와 변동의 크기 등을 구하는 분야 3) 추측통계학(Inference Statistics): 통계적 모형과 구간을 설정하기도 하고 추측하기도 하며 어떤 기존의 사실에 대하여 가설(hypothesis)을 세우고 이를 검정하고 예측하는 분야 2. 자료의 수집..

1. HDFS에 파일 저장하기/usr/local/hadoop2/에 있는 'NOTICE.txt' 파일을 HDFS에 저장한다. 하둡2는 하둡1과는 달리 /user 디렉터리도 관리자가 직접 생성해야 한다. hadoop 명령어의 fsshell은 사용 중지됐기 때문에 hdfs의 dfs 옵션을 이용한다. bin/hdfs dfs -mkdir /user bin/hdfs dfs -mkdir /user/root ## 반드시 /user/xxxx root -> conf 디렉터리 생성 bin/hdfs dfs -put NOTICE.txt /user/root/conf ## NOTICE.txt 파일 저장 2. wordcount 예제실행 #입력값은 conf/ 출력값은 output폴더(자동생성)에 저장 bin/yarn jar share..