EXCELSIOR

CNN에 대해 더 자세한 내용은 아래의 링크를 참고하시면 됩니다.자세한 설명 : 06. 합성곱 신경망 - Convolutional Neural Networks텐서플로 실습 위주 : [러닝 텐서플로]Chap04 - 합성곱 신경망 CNN 1. Convolutional Neural Network(CNN)의 역사CNN은 1989년 LeCun이 발표한 논문 “Backpropagation applied to handwritten zip code recognition”에서 처음 소개되었다.그당시에는 필기체 인식에 있어서 의미있는 결과가 나왔지만 이를 범용화 하는데에는 미흡한 단계였다.LeCun은 추후에 LeNet이라는 Network를 1998년에 제안하게 된다. 이것이 최초의 CNN이라고 할 수 있다. 2003년 B..

Java에서는 Mybatis를 통해 SQL 연동을 아주 간편하게 할 수 있다. 이런 것을 ORM이라고 하는데, ORM(Object Relation Mapping)이란 오브젝트와 RDB사이에 존재하는 개념과 접근방법, 성격의 차이 때문에 요구되는 불편한 작업을 제거해줘서 개발자가 오브젝트를 가지고 정보를 다루면 ORM프레임워크가 이를 RDB에 적절한 형태로 변환해 주거나 그 반대로 RDB에 저장되어 있는 정보를 오브젝트가 다루기 쉬운 형태로 변환해 주는 것을 말한다. Python에도 Java처럼 ORM이 있을까 구글링해본 결과, SQLAlchemy라는게 있었다. 이번 포스팅에서는 SQLAlchemy를 통해 Python에서 MS-SQL을 연동해 보도록 하겠다. (이글은 http://docs.sqlalchem..

[텐서플로 첫걸음]이란 책을 가지고 텐서플로(Tensorflow)를 공부하면서 3장 KMeans에서 이해가 되지 않는 부분이 생겼다. 바로 Broadcasting이라는 개념인데, 한참동안 이해가 되지 않다가, 페이스북 텐서플로우 코리아 그룹에 글을 올렸다. 거기서 댓글을 달아주신 분의 도움으로 이것저것 테스트 해보니 이해가 되었다. 일단 브로드캐스팅(Broadcasting)의 개념을 살펴본 뒤 테스트 한 부분을 포스팅하도록 하겠다. 1. Broadcasting이란?Broadcast의 사전적인 의미는 '퍼뜨리다'라는 뜻이 있는데, 이와 마찬가지로 두 행렬 A, B 중 크기가 작은 행렬을 크기가 큰 행렬과 모양(shape)이 맞게끔 늘려주는 것을 의미한다. 예를 들어, 아래의 행렬처럼 (3, 3)행렬에 (1..

Tensorflow를 윈도우(Windows)환경에 설치하려면 Docker를 설치한 뒤에 Tensorflow를 설치했어야 했지만(이거 시도하다가 Docker 설치에서 포기...) 2016년 12월에 Tensorflow가 윈도우 환경도 지원한다는 글이 올라왔다. www.tensorflow.org 에 접속하면 아래의 그림과 같이 pip명령어를 통해서 윈도우에 텐서플로우를 설치할 수 있는데, 오직 윈도우 64bit 운영체제와 파이썬(Python) 3.5 에서만 지원한다고 나와있다.다행히 내 노트북이 Windows10 64bit인데다가 Python3.5여서 pip 명령어를 통해 Tensorflow를 설치하였다. 1. 윈도우에 pip 설치Tensorflow를 설치하기에 앞서 먼저 pip 명령어를 사용할 수 있도록 ..

이번 포스팅에서는 하둡2를 완전 분산 모드로 설치하면서 네임노드 HA를 구성해본다. 우선 완전분산모드로 설치하기 위해서는 최소 3대이상의 서버가 필요하다. 그 이유는 네임노드 HA 구성에 필요한 저널노드가 적어도 3대 이상의 서버에서 실행돼야 하기 때문이다. 다행히 최근에 VirtualBox에다가 CentOS 7을 설치하고 연결하는 것을 다른팀 분한테 배워서 Ubuntu 1대, CentOS 3대 총 4대의 서버를 구성했다. VirtualBox에 가상머신 설치는 다음에 포스팅 하겠다. 위 네 대의 서버는 JDK 설치, hadoop 실행 계정 생성, SSh 인증과 같은 기본적인 환경설정이 완료돼 있어야 한다. 1. 하둡 실행 계정 생성root 계정으로 하둡을 설치할 수 있지만(실은 이때까지 root계정으로 ..

Part-Of-Speech tagging(POS tagging)은 문장 내 단어들의 품사를 식별하여 태그를 붙여주는 것을 말한다. 투플(tuple)의 형태로 출력되며 (단어, 태그)로 출력된다. 여기서 태그는 품사(POS) 태그다. 1. Default taggingDefault tagging은 POS-tagging에 있어 베이스라인을 제공해준다. Default tagging은 DefaultTagger 클래스를 사용하여 모든 토큰들(tokens)에 대해 동일한 POS를 부여한다. 이 Tagger는 정확도 향상을 위해 마지막 수단으로 사용하기에 적합하다.DefaultTagger클래스는 태그에 적용하고자하는 단일 인수를 가진다. 아래의 예제에서는 'NN' 태그를 적용해 보았다. from nltk.tag.seq..

1. Creating a categorized text corpus대량의 corpus로 이루어진 텍스트를 섹션을 나누어 카테고리화 하면 문서를 체계화 하거나, 분류(classification)하는데 유용하다. 다음 movie review에 대한 텍스트를 긍정(Pos)와 부정(Neg)로 카테고리화 해보자1) movie_pos.txt: the thin red line is flawed but it provokes. 2) movie_neg.txt: a big-budget and glossy production can not make up for a lack of spontaneity that permeates their tv show.CategorizedPlaintextCorpusReader 클래스를 이용하여..

1. Creating a wordlist corpuscorpus는 우리말로는 말뭉치라고 하며, 자연어 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합이다. corpora는 corpus의 복수형이다. corpus는 라틴어가 어원이다. 특정한 언어 영역 내에서 언어 규칙 발생의 검사와 그 규칙의 정당성 입증에 사용된다. NLTK 모듈의 WordListCorpusReader 클래스는 가장 단순한 CorpusReader 클래스 중 하나이다. WordListCorpusReader클래스는 한 줄에 한 단어로 리스팅 되어있는 파일에 사용할 수 있다. 우선, WordListCorpusReader를 사용하기 위해 아래와 같이 'wordlist.txt' 라는 파일을 생성한 다음 WordListCorpusRea..