[크롤링] 메타코드M 웹 크롤링 기초 강의_여행사이트 크롤링

이번엔 크롤링 + 간단한 데이터 분석까지 진행해보고자 한다.  크롤링을 한다는 것은 사이트에서 정보를 수집한다는 뜻이다. 여행사이트에서 고객의 리뷰를 크롤링하는 것은 새로운 상품 개발 및 기존의 상품의 보완점을 찾을 수 있다. 또한 크롤링한 자료를 통하여 csv파일을 만들고 분석을진행할수도 있다. 이번 과정을 통해 수집부터 분석까지 간단하게 진행하였는데 전반적인 틀을 만들어 놓으면 추후수정만 하여 다른 사이트도 사용할 수 있어 확실히 배우는게 중요한 것 같다  사이트가 동적페이지로 이루어져서 셀레니움을 이용하여 크롤링을 진행하였다.따로 크롬드라이버를 다운받지 않고 자동으로 가져올 수 있게 작성하였고 드라이버를 통해 동적페이지를 가져온다.중간에 sleep을 사용한건 실행시간을 확보하기 위해서이다. 적절하게..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 5. 5.
• textsms

[크롤링] 메타코드M 웹 크롤링 기초 강의_크롤링 입문, 뉴스 크롤링

데이터를 수집하려면 필수적인 크롤링, 이쪽 스킬이 부족하다고 생각하여 강의를 신청하였다. 올해 새롭게 런칭한 강의라 기대가 됬는데 지루하지 않게 핵심이 쏙쏙담겨져 있어서 굉장히 만족스러웠다(약 4시간에 콤팩트한 내용 굳)배운 내용을 짧게나마 정리해보고자 한다! 먼저 실습을 하면서 제공받은 파일들이다. 공부하면서 학습한 코드가 담겨있다.사실 코드를 따라 치면서 헷갈릴때가 있는데 참고하면서 틀린 부분을 찾으니 도움이 많이 됬다.총 뉴스, 코레일, 여행사이트 이렇게 3가지의 사이트에서 실습을 진행하는데 여행사이트는 데이터분석까지진행하는 것을 보여줘서 굉장히 만족스러웠다. 그 부분은 2편에서 담겠다.  크롤링을 하면서 가장 기본이 되는 Request말그대로 데이터를 주도록 요청하는 것이다. 그리고 우리는 서버에..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 5. 5.
• textsms

[취업] 3C4P 자소서 전략 feat.면접왕 이형

3C4P의 작성원칙1. 경험의 초점을 맞춰라2. 수식어를 수치화, 결과물로 대체하라ex) 대단하게, 성실하게, 열정적으로3. 논리구조를 탄탄하게 하라4. 불필요한 내용은 과감하게 제거하라 3C(그거 왜 했어요?)customer고객이란 이 경험을 통해 만족시키고 싶은 대상경험의 종류에 따라 다양한 고객이 설정될 수 있다. 내가 한 핵심적인 액션과 매칭하면 고객을 설정하기 쉽다1차 고객: 실제 고객2차 고객: 협력부서, 다른 팀, 회사 전체 등3차 고객: 상사, 교수님, 동료, 팀원 등company당시 나의 상황 또는 조직의 상황이 어땠는지 적는다. 중요한 점은 상황 자체가 아닌 조어진 도전과제와 어떤 문제를 해결했는지에 집중하여 기술하는 것이다. 여기에는 조직의 큰 그림과 최종 목표가 포함되어야 한다. 즉..

• format_list_bulleted 자기계발 도전하기
• · 2024. 5. 3.
• textsms

[C언어] 메타코드M C 프로그래밍 입문 강의_C 고급 함수, 전처리기, 연산자, main 매개변수

이번시간엔 c언어의 고급 함수, 전처리기, 연산자, main 매개변수 배워보겠다.마지막까지 화이팅해보자c언어의 인라인 함수란 함수 호출 시 함수 내용이 호출 지점에 직접 삽입되는 특별한 형태의 함수이다. 이를 통해 함수 호출에 따른 스택 사용을 줄일 수 있어 성능 향상을 기대할 수 있다.하지만 큰함수를 사용하면 호출 지점마다 함수 코드가 다 복사되므로 코드 크기 증가가 우려된다.그래서 유의해서 사용해야 한다! 다음으로 재귀함수란 자기 자신을 호출하는 함수이다. 복잡한 문제를 쪼개서 해결할 수 있을 때, 적합하다.자기 자신을 호출하는 부분, 탈출하는 조건으로 구성되어 있다.중요한 점은 탈출 조건을 명시하지 않으면, Recursive Case만 반복하므로 무한재귀의 우려가 있다.인라인처럼 재귀함수도 유의해서..

• format_list_bulleted 카테고리 없음
• · 2024. 4. 28.
• textsms

[C언어] 메타코드M C 프로그래밍 입문 강의_C Linked List

오늘도 돌아온 c언어 공부시간 ㅎㅎ오늘은 링크드 리스트를 공부해보고자 한다.  먼저 c언어의 Linked List란 순차적으로 연결된 선형 자료구조를 의미한다.각 저장 단위를 Node라고 하며, 일반적으로 structure를 통해 그 형태를 선언한다.Node의 구성 요소는 다음과 같다Data: 각 단위별로 저장할 내용Link: 다음 Node를 가리키는 포인터 단일 Linked List단일 연결 리스트는 각 노드가 다음 노드를 가리키는 데이터 구조이다. 배열과 달리 연결 리스트는 요소 추가/삭제가 효율적이지만, 요소 접근은 비효율적이다.단일 연결 리스트의 구조노드 구조체: 데이터와 다음 노드를 가리키는 포인터로 구성헤드 포인터: 리스트의 첫 번째 노드를 가리킴이중 연결 리스트는 각 노드가 이전 노드와 다음..

• format_list_bulleted 카테고리 없음
• · 2024. 4. 28.
• textsms

[C언어] 메타코드M C 프로그래밍 입문 강의_C 메모리 영역, 동적 배열, 구조체

이번에 C언어에서 배울 내용은 메모리 영역부터 동적 배열, 구조체 이번 파트는 실습보다는 이론위주로 진행했다. 그럼 배운 내용을 정리해보겠다. C언어의 메모리영역은 크게 Kernel 부분과 User 부분으로 나뉜다. 우리가 지금 집중해야 되는건 User User의 메모리 공간은 4가지로 나눌 수 있다. Code: 실행할 코드가 저장 Date: 전역변수/정적변수/구조체 저장 Heap: 동적배열이고 Run-Time에 할당되는 영역 Stack: 임시 영역, 지역변수, 매개변수 저장 메모리영역의 크기 구분 시점은 다음과 같다 compile 시 (디스크 저장): Code, Data compile 시 (디스크 저장 x): Stack compile 시 (디스크 저장 x): Heap 메모리 할당 방향은 다음과 같은 방..

• format_list_bulleted 카테고리 없음
• · 2024. 4. 21.
• textsms