[프로젝트] 대규모 파일 병합하기 feat.프로젝트

프로젝트를 들어가면서 대규모 csv파일을 처리할 일이 생겼다. 세미 프로젝트때는 데이터 크기가 작아 전처리 때 힘이 덜들었는데 이번엔 열 값만 18만개가 나와 엑셀로 온전히 열리지가 않는다...그래서 이를 해결하고 파일을 병합한 과정을 올리고자 한다... Mysql을 활용해서 데이터를 확인하려고 했으나 데이터량이 너무 많아 Excel Powerpivot을 활용하여 데이터를 확인했다위 데이터는 따릉이 이용량으로 날씨 데이터와 유동인구 데이터와 결합할 예정이다. 데이터가 작으면 복붙 노가다를 할 수 있지만 그러면 며칠 걸릴것 같으므로 코드를 사용해서 데이터를 병합해보겠다. 2022년 7월 따릉이 데이터 병합하기 import pandas as pd# 첫 번째 CSV 파일 읽기df1 = pd.read_csv("..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 3. 28.
• textsms

[파이썬] 람다 함수: 파이썬에서 간결한 함수를 만드는 방법

파이썬에서는 람다(lambda) 함수를 사용하여 간결하게 함수를 생성할 수 있다. 람다 함수는 처음 볼 때는 굉장히 생소한 개념일 수 있다. 나 역시 이걸 왜 쓰지 했는데 막상 배우니 굉장히 간단히 코드를 작성할 수 있는 느낌..?실제로도 복잡한 기능보다는 간단한 연산, 정렬 등에 주로 활용된다.이번 포스팅에서는 람다 함수의 개념을 이해하고 몇 가지 예제를 통해 어떻게 사용하는지 알아보겠다.람다 함수의 개념람다 함수는 lambda 키워드를 사용하여 정의한다. 일반적인 함수가 def 키워드를 사용하는 것과는 대조적인데 람다 함수의 기본 구조는 다음과 같다.lambda arguments: expression람다 함수는 여러 개의 인자를 받을 수 있지만 표현식은 단 하나만 사용할 수 있고 이 표현식의 계산 결..

• format_list_bulleted IT/코딩 도전하기
• · 2024. 3. 22.
• textsms

[데이터 분석가] 데이터 분석가가 되고 싶다면? 이런 유형에게 딱!

데이터 분석가라는 직업은 최근 몇 년 사이 급격히 주목받기 시작했다. 비즈니스 의사 결정 과정에서 데이터의 역할이 점점 중요해지면서 데이터를 해석하고 통찰력을 제공할 수 있는 능력이 크게 필요해졌기 때문이다. 하지만 이 직무가 모든 이에게 적합한 것은 아니다. 그래서 이 직무에 입문하기 전 도움이 되고자 이 글을 쓰고자 한다.그러면 데이터 분석가가 되기 위해 필요한 역량과 이 직무가 잘 맞지 않을 수 있는 유형에 대해 한 번 이야기 해보겠다.데이터 분석가에게 적합한 유형1. 호기심이 많고 문제 해결을 즐기는 사람데이터 분석가는 다양한 데이터 속에서 의미 있는 정보를 찾아내야 한다. 이를 위해선 끊임없는 질문과 호기심이 필요하고 또한, 복잡한 문제에 직면했을 때 이를 해결하기 위한 도전을 즐길 수 있어야 ..

• format_list_bulleted IT/데이터분석 도전하기
• · 2024. 3. 20.
• textsms

[SQL] SQL 키 정리

데이터베이스 관리 시스템에서 데이터의 무결성을 유지하고 효율적으로 관리하기 위해 다양한 키(Key) 개념을 사용한다. 이때 후보키 (Candidate Key), 기본키(Primary Key), 슈퍼키(Super Key), 고유키(Unique Key), 외래키(Foreign Key)가 주로 활용되는데 이 개념들을 이해하기 위해 학생 정보를 관리하는 데이터베이스를 예로 들어 설명해 보겠다.후보키 (Candidate Key)유일성과 최소성을 만족하는 키기본키(Primary Key)기본키는 테이블에서 각 행(Row)의 고유한 식별자로 사용, 기본키로 설정된 필드는 중복된 값을 가질 수 없으며 NULL 값을 허용하지 않는다. 예를 들어, 학생 정보를 관리하는 테이블에서는 '학번'이 기본키로 설정될 수 있다. 학번..

• format_list_bulleted IT/SQL 도전하기
• · 2024. 3. 16.
• textsms

[Linux] Linux에서 파일 권한 이해하기: chmod 755 사용법

리눅스와 같은 유닉스 기반 시스템에서 파일과 디렉터리의 권한을 관리하는 것은 시스템의 보안을 유지하는 데 매우 중요하다. 사용자는 파일이나 디렉터리에 대해 할 수 있는 작업을 정확히 제어함으로써 민감한 정보가 유출되거나 잘못된 손에 넘어가는 것을 방지할 수 있기 때문이다. 이번 포스팅에서는 chmod 명령어와 특히 chmod 755에 대해 자세히 알아보겠다.chmod란?chmod는 'change mode'의 약자로 파일이나 디렉터리의 권한을 변경하는 데 사용되는 명령어이다. 리눅스에서는 각 파일과 디렉터리에 대해 세 가지 유형의 사용자가 각각 다른 권한을 가질 수 있다. 이들은 소유자(owner), 그룹(group), 그리고 기타 사용자(others)이다. 각각의 사용자 유형은 파일에 대해 읽기(read..

• format_list_bulleted IT/코딩 도전하기
• · 2024. 3. 15.
• textsms

[통계] 초보자들을 위한 통계 용어 한줄 정리

기술통계학부터 포아송분포까지 기본적인 통계학 용어들을 한 줄로 정리해보았다.초보자들을 위해 정말 간단히 정리한 것이니 깊은 설명은 다른 글을 참조하길 바란다! 기술통계학 - 데이터를 요약하고 설명하는 통계학의 한 분야, 평균이나 중위수 같은 대표값을 찾거나 데이터가 얼마나 퍼져 있는지를 보여주는 것이 포함된다.모집단 - 연구나 분석의 대상이 되는 전체 집단을 의미한다.표본 - 모집단에서 선택된 일부분이다. 모집단 전체를 조사하는 것이 불가능할 때 표본을 통해 모집단에 대한 추론을 진행한다.데이터 - 관찰이나 실험을 통해 수집된 정보의 집합, 데이터는 숫자, 단어, 측정값 등 다양한 형태가 있다.모수와 통계량 - 모수는 모집단의 특성(예: 모집단의 평균)을 나타내는 값이고 통계량은 표본의 특성(예: 표본의..

• format_list_bulleted 자기계발 도전하기
• · 2024. 3. 14.
• textsms