웹 크롤링(Web Crawling)

웹 크롤링이란

웹 상에 존재하는 데이터를 자동적으로 탐색하는 행위를 의미한다.

필자는 크롤링 툴 또는 파이썬 코드를 이용해 크롤링을 시도한다.

 

---

 

크롤링은 불법인가

크롤링을 시작하기에 앞서 크롤링이 불법이라는 말이 많다.

결론은 불법은 아니다. 단, 불법으로 간주되는 경우가 있다. 그 경우를 짚고 넘어가 보자.

1. 수집한 데이터를 상업적으로 이용하는 경우

2. 크롤링을 통해 대상 서버에 문제를 일으킨 경우

 

---

 

한글깨짐 현상

크롤링 연습 중 한글깨짐 현상이 발생하였다.

 

 

 

네이버 금융 사이트를 이용해 크롤링 연습을 하던 중 위와 같이 한글 깨짐 현상이 발생 하였다.

 

한글 깨짐 현상을 도와주는 여러가지 방법을 알려주겠다.

 

1.

위와 같이 from_encoding='cp949' 옵션을 통해 해결 가능하다.

 

2.

위와 같이 from_encoding='utf-8' 옵션을 통해 해결 가능하다.

 

위의 방법들로 되지 않는다면 구글링을 해보는걸 추천한다.