[Python] 파이썬 웹페이지 스크래핑 - requests 라이브러리

 

 

파이썬(Python)의 requests 패키지

파이썬(Python)의 HTTP requests 라이브러리를 사용하여 웹사이트에 있는 데이터를 뽑아오는 행동을 WEB Scraping(웹 스크래핑) 이라고 하는데, 이러한 과정은 크게 웹페이지를 읽어오는 과정과 HTML 문서에 필요한 데이터를 스크래핑해오는 과정으로 나눌수 있습니다.

 

기본적으로 requests 패키지는 HTTP GET, POST, PUT, DELETE 등의 기능을 사용가능하며, 이렇게 스크래핑해온 데이터를 Dictionary 형식으로 만들어 필요한 Request 인코딩을 자동으로 처리하는 GET, POST 기능들이 있습니다.

 

//requests 설치
$ pip install requests

import requests


//www.naver.com 의 텍스트 데이터 출력하기
getData = requests.get('http://www.naver.com')
print(getData.text)