목록Crawling (2)

EXCELSIOR

06. Newspaper 모듈을 이용하여 뉴스 기사 크롤링하기

이번 포스팅은 앞의 04.Scrapy를 이용한 뉴스 크롤링하기의 번외편으로써, Python의 newspaper라는 모듈을 이용하여 뉴스 기사를 크롤링하는 방법을 포스팅하고자 한다. newspaper 모듈 소개 newspaper는 사용자가 지정한 url에서 text를 추출해주는 모듈이다. 자세한 내용은 newspaper 0.0.9.8에서 확인할 수 있다. 이 모듈을 사용하면 앞에 포스팅했던 Scrapy를 몰라도 바로 사용이 가능한 아주 좋은 모듈이다. 아래의 내용은 newspaper 0.0.9.8에서 확인할 수 있는 newspaper에 대한 소개이다. “Newspaper is an amazing python library for extracting & curating articles.” – tweeted ..
Python/Web Crawling 2017. 6. 5. 01:19
04. Scrapy를 이용한 뉴스 크롤링 하기

이번 포스팅은 앞의 게시글을 토대로 웹크롤링을 위한 환경설정 후 Scrapy를 이용하여 뉴스기사에 대한 크롤링을 하여 JSON, CSV, MongoDB에 저장하는 방법에 대한 글이다. 1. robots.txt (로봇 배제 표준)웹 크롤링에 앞서 크롤링하고자 하는 사이트가 크롤링이 가능한지 아닌지 부터 알아 보아야한다.이를 확인할 수 있는 것이 바로 '로봇배제표준'이라고 하고 'robots.txt'에서 확인할 수 있다.해당사이트 주소 뒤에 '/robots.txt'를 입력하면 된다. 로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다.이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다.이..
Python/Web Crawling 2017. 5. 7. 22:40
Prev 1 Next