파이썬으로 가장 먼저 도전해 보기 쉬운 프로젝트이자 한 번쯤은 해보고 싶었던 웹 크롤러를 만드는 프로젝트를 진행하기에 앞서 도대체 웹 크롤링이 뭐고 어떻게 작동하는지 왜 사용하는지 어떤 점을 고려해야 하는지 알아보고자 한다. 웹 크롤링이 뭐야?웹 크롤링(Web Crawling)은 자동화된 프로그램을 이용하여 월드 와이드 웹의 웹 페이지를 체계적으로 탐색하고 정보를 수집하는 과정을 의미한다.Crawling의 Crawl은 기어다니는 것을 의미하는데 크롤링 프로그램 즉 크롤러를 스파이더라고도 하는 것을 보면 거미가 거미줄을 기어 다니며 먹이를 수집하듯 웹을 크롤러가 기어 다니며 정보를 모으는 것에 빗대 Crawling이라고 표현하게 된 것 같다.크롤링의 주요 목적1. 웹 페이지의 콘텐츠 수집2. 웹 사이트의 ..
