목록beautifulsoup (2)

EXCELSIOR

03. BeautifulSoup vs Scrapy

BeautifulSoup와 Scrapy는 둘 다 웹 크롤링(Web Crawling)을 해주는 Python 패키지들이다. 1. BeautifulSoup VS Scrapy1) BeautifulSoup - html 문서에서 원하는 정보를 손쉽게 가져올 수 있는 방법을 제공한다.- 자동으로 인코등을 유니코드로 변환하여 UTF-8로 출력해준다.- lxml, html5lib 파서(Parser)를 이용한다.- https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 에서 기본적인 사용법을 익힐 수 있다. 2) Scrapy - web scraper framework- 다양한 selector 지원- 파이프 라인- 로깅- 이메일- https://docs.scrapy.org/en/l..
Python/Web Crawling 2017. 5. 2. 15:39
02. 아나콘다(Anaconda)를 이용한 웹크롤링 개발환경 설정

1. 개발환경- Python Version : 2.7 - 크롤링 라이브러리 : BeautifulSoup4, Scrapy- 기타 : 아나콘다(Anaconda)를 이용한 가상환경(virtual environment) 설정 2. 아나콘다 설치① https://www.continuum.io/downloads 사이트에서 운영체제에 맞는 아나콘다를 설치 ② 가상환경(Virtual environment) 만들기 - Windows : 설치 후 Anaconda prompt를 실행한다.- Mac OS : 설치 후 Terminal을 실행한다.- Terminal/prompt 창에 아래의 명령어를 통해 웹 크롤링 개발환경을 설정할 가상환경을 생성한다. (저는 crawler라는 이름의 가상환경을 만들었습니다.) # 가상환경 생성..
Python/Web Crawling 2017. 5. 2. 14:29
Prev 1 Next