https://academy.nomadcoders.co/courses/enrolled/681401 Python으로 웹 스크래퍼 만들기 Python for Absolute Beginners academy.nomadcoders.co 드디어 2주간의 CODE CHALLENGE가 끝났다! 펑! 펑! 펑! 짧으면 짧다고 볼 수 있는시간. 2주간 니꼬쌤의 강의를 들으며 코드 챌린지를 완주했다. 토이 프로젝트를 진행하려고 고민하던 중 Python으로 웹 스크래퍼 만들기 코드 챌린지가 시작되는걸 봤다. 사실 리엑트에 입문하려고 준비중이었지만, 뭔가 동기부여가 필요하던 찰나에 딱 마주하게 됐다. 처음 기본적인 내용할땐 매일매일 주어지는 과제도 빨리 빨리 끝내고 다른것을 했지만, 하루가 지날때마다 난이도가 퐉퐉! ㅠㅜ 처..

지난 포스팅에 이어서 받아온 정보들을 이용해서 각 페이지를 request 해보자. 1페이지 말고 다른 페이지를 눌러보면 주소창에 &start= 해서 숫자가 입력된걸 볼 수 있다. 1페이지당 50개의 결과를 보여주고 그 페이지는 50 * page number -1 부터 시작한다. 예를들면 1페이지는 0이니까 없어도 되고, 2페이지는 start = 50, 3페이지는 start = 100 이런식이다. indeed에서 추출하는 역할을 하는 파일을 따로 생성하고 main.py 에서는 그 결과를 이용할 수 있게 바꿔보자. indeed.py라는 새로운 파일을 생성하고 아래와 같이 함수형태로 바꿔준다. indeed.py import requests from bs4 import BeautifulSoup INDEED_UR..

우선 indeed의 파이썬 채용 공고를 스크래핑 할 것이다. https://github.com/psf/requests psf/requests A simple, yet elegant HTTP library. Contribute to psf/requests development by creating an account on GitHub. github.com 우선은 repl it 으로 진행할거라서 다른 방식으로 import 해야한다. 좌측의 박스모양인 packages를 누르고 requests *를 검색하고 *+ 버튼을 누르자. 주소창을 잘 보면 아래와 같이 되어있는데, api 호출하면서 많이 봤던것들이다. *_python의 검색 결과 중 50개씩 보여주기 *_라는 뜻으로 보인다. (맞춤검색에서 N개씩 보기를 ..