파이썬을 활용한 크롤링(크롤링 개요/Request 사용법2)
웹 기초 지식 복습
기본적으로 통신에는 클라이언트와 서버라는게 존재했습니다. 클라이언트는 말 그대로 요청하는 주체였습니다. 우리는 이거를 Request라고 불렀었고 서버라는 것은 그 요청에 해당하는 데이터를 응답하는 Response 구조를 가지고 있습니다.
여러분들이 크롤리을 하기 위해서 가장 기본이 되는 것이 무엇이냐면 먼저 요청(Request)라는 것을 해야합니다. 내가 어떤 페이지 정보를 가지고 와서 수집을 할거니까 어떤 페이지가 필요하다고 요청을 할겁니다. 그래서 우리는 Request라는 라이브러리를 먼저 배울 것입니다.
라이브러리란?
어떤 기능들을 모아놓은 것인데 그 기능을 통해서 내가 확장성 있고 다양한 기능을 쓰겠다하는 것을 라이브러리라고 부릅니다.
그 라이브러리들중에서 저희는 Request라는 라이브러리를 사용할 것입니다.
Requests란?
접근할 웹 페이지의 데이터를 요청/응답받기 위한 라이브러리
개발 환경
저희는 크롤링을 jupyter notebook에서 해줄 것입니다. Jupyter Notebook이 안 깔려있으신 분들은 아래에 제가 명시해 놓은 url에 들어가서 따라 설치하시면 됩니다.
https://www.youtube.com/watch?v=syijLJ3oQzU
일단 새로운 폴더를 생성해줍니다.
폴더를 선택해서 폴더 이름을 수정해줍니다. 저는 이름을 크롤링이라고 수정해줬습니다.
방금 만들었던 폴더를 클릭해서 작업 공간을 할당해줄겁니다. 여기 크롤링 폴더 안이 실습할 파일들이 모여있는 공간이 될 것입니다.
위 사진처럼 New를 누른다음 Python3를 눌러줍니다.