[JAVA] 32. 자바 크롤링(Scraping)

# 크롤링(스크레이핑) 

정보를 분석하기 쉽고 활용하기 쉽도록 데이터를 수집하는 행위를 크롤링이라고 합니다. 또한 크롤링하는 프로그램을 크롤러라고 합니다. 

 

1. jsoup 홈페이지 ->  jar. 확장자 압축파일형식 다운로드 

 

jsoup.org/download

Download and install jsoup

 

 

2. Jsoup 라이브러리 추가 (인텔리제이 기준) 

file -> project sturcture -> libraries -> + 클릭후 -> jsoup 추가

 

 

크롤링 EX

 

1. CGV 무비 영화차트 1위~7위

 

 

 

2. 베이직잉글리시스피킹 주제

basicenglishspeaking.com/daily-english-conversation-topics/

 

75개의 주제를 찾았습니다.

1. Family
...
...
75. Success

 

....

 

 

 

3. 벅스뮤직 차트

 

1위 싹쓰리 (유두래곤, 린다G, 비룡) - 다시 여기 바닷가
...
...
100위 세븐틴(Seventeen) - Left & Right

 

music.bugs.co.kr/chart

슈퍼사운드 벅스

 

...

 

 

 

4. 네이트 판

 

*** 베스트 댓글 ***

..........

..........

*** 일반 댓글 ***

..........

..........

 

pann.nate.com/

한눈에 보는 오늘 : 네이트판

 

 

 

 

5. 네이버 영화 평점

 

**************************
영화제목 : 다만 악에서 구하소서
평점 : 총 10점 중 2점
리뷰 : 스토리빈약ㅜㅜ 박정민씨 연기 좋앗어요
**************************
....
....

 

movie.naver.com/movie/point/af/list.nhn

평점 : 네이버 영화