[크롤링] 메타코드M 웹 크롤링 기초 강의_여행사이트 크롤링

이번엔 크롤링 + 간단한 데이터 분석까지 진행해보고자 한다.  크롤링을 한다는 것은 사이트에서 정보를 수집한다는 뜻이다. 여행사이트에서 고객의 리뷰를 크롤링하는 것은 새로운 상품 개발 및 기존의 상품의 보완점을 찾을 수 있다. 또한 크롤링한 자료를 통하여 csv파일을 만들고 분석을진행할수도 있다. 이번 과정을 통해 수집부터 분석까지 간단하게 진행하였는데 전반적인 틀을 만들어 놓으면 추후수정만 하여 다른 사이트도 사용할 수 있어 확실히 배우는게 중요한 것 같다  사이트가 동적페이지로 이루어져서 셀레니움을 이용하여 크롤링을 진행하였다.따로 크롬드라이버를 다운받지 않고 자동으로 가져올 수 있게 작성하였고 드라이버를 통해 동적페이지를 가져온다.중간에 sleep을 사용한건 실행시간을 확보하기 위해서이다. 적절하게..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 5. 5.
• textsms

[크롤링] 메타코드M 웹 크롤링 기초 강의_크롤링 입문, 뉴스 크롤링

데이터를 수집하려면 필수적인 크롤링, 이쪽 스킬이 부족하다고 생각하여 강의를 신청하였다. 올해 새롭게 런칭한 강의라 기대가 됬는데 지루하지 않게 핵심이 쏙쏙담겨져 있어서 굉장히 만족스러웠다(약 4시간에 콤팩트한 내용 굳)배운 내용을 짧게나마 정리해보고자 한다! 먼저 실습을 하면서 제공받은 파일들이다. 공부하면서 학습한 코드가 담겨있다.사실 코드를 따라 치면서 헷갈릴때가 있는데 참고하면서 틀린 부분을 찾으니 도움이 많이 됬다.총 뉴스, 코레일, 여행사이트 이렇게 3가지의 사이트에서 실습을 진행하는데 여행사이트는 데이터분석까지진행하는 것을 보여줘서 굉장히 만족스러웠다. 그 부분은 2편에서 담겠다.  크롤링을 하면서 가장 기본이 되는 Request말그대로 데이터를 주도록 요청하는 것이다. 그리고 우리는 서버에..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 5. 5.
• textsms