jjh0119 님의 블로그

파이썬으로 가장 먼저 도전해 보기 쉬운 프로젝트이자 한 번쯤은 해보고 싶었던 웹 크롤러를 만드는 프로젝트를 진행하기에 앞서 도대체 웹 크롤링이 뭐고 어떻게 작동하는지 왜 사용하는지 어떤 점을 고려해야 하는지 알아보고자 한다. 웹 크롤링이 뭐야?웹 크롤링(Web Crawling)은 자동화된 프로그램을 이용하여 월드 와이드 웹의 웹 페이지를 체계적으로 탐색하고 정보를 수집하는 과정을 의미한다.Crawling의 Crawl은 기어다니는 것을 의미하는데 크롤링 프로그램 즉 크롤러를 스파이더라고도 하는 것을 보면 거미가 거미줄을 기어 다니며 먹이를 수집하듯 웹을 크롤러가 기어 다니며 정보를 모으는 것에 빗대 Crawling이라고 표현하게 된 것 같다.크롤링의 주요 목적1. 웹 페이지의 콘텐츠 수집2. 웹 사이트의 ..

전 포스팅에서는 CMS가 뭔지에 대해 알아보았다.결과적으로 CMS란 콘텐츠를 관리할 수 있는 기능이 포함된 사이트라면 넓은 의미에서 CMS라 볼 수 있고, Java를 이용해서 콘텐츠를 관리할 수 있는 대시보드를 제공하는 회사 페이지를 만들어보려고 한다.1. 요구사항 정의1-1. 공통1-1-1. 기능적 요구사항항목설명로그인 기능아이디, 비밀번호 기반 로그인JWT 기반 인증Access/Refresh 토큰 발급 및 검증 (Spring Security)역할 기반 접근 제어 (RBAC)사용자 역할별 접근 권한 제한비밀번호 암호화Bcrypt 등 안전한 해시 알고리즘 사용감사 로그 기록관리자 및 일반 사용자 행동 로그 수집 (Kafka → ELK)관리자 IP 제한허용된 IP 대역에서만 관리자 페이지 접근 가능알림 시..

1900년대 말, 2000년 초 컴퓨터가 한창 보급되기 시작할 무렵 기업, 기관, 개인 할 것 없이 웹사이트 운영이 필요한 곳이 증가하고, 이에 따라 관리해야 할 텍스트, 이미지, 동영상 등의 디지털 콘텐츠가 급증함에 따라 이를 관리하는 것이 점점 복잡해져 비전문가들도 쉽고 간편하게 디지털 콘텐츠를 생성, 관리, 배포할 수 있는 시스템에 대한 필요는 CMS를 탄생시켰다. CMS(Contents Management System)란?CMS는 콘텐츠 관리 시스템(Contents Management System)이라는 굉장히 포괄적이고 두루뭉술한 표현의 약자로, 현재 굉장히 많은 종류의 CMS가 존재하고, 가장 대표적으로 WordPress를 꼽긴 하지만, 정작 정확하게 무엇을 의미하는지는 제대로 설명하지 못하는..