코딩헤딩

- sqlalchemy - 설치 : pip install sqlalchemy - pymysql - 설치 : conda install -c conda-forge pymysql - 설치 : pip install pymysql * 데이터 읽어들이기 import pandas as pd 전 글에서 저장까지 했던 csv 파일을 다시 읽어오겠다. file_path = "./01_data/new_data.csv" df = pd.read_csv(file_path) df 다음의 값들을 데이터베이스에 넣기 위해서는 테이블 설계과정이 필요하다. * 테이블 설계하기 - 테이블 명, 컬럼명, 컬럼타입, NuLL여부에 대한 정의가 필요함 * 산출물 - 테이블정의서 - ERD - 스크립트명세서 * 스크립트 명세서 스크립트 명세서의 ..

- 수집위치 : data.go.kr 공공 데이터 포털에서 공공데이터를 다운로드하여 진행했다. * 데이터 불러오기 import pandas as pd # - 데이터프레임 변수명 : df file_path = "./01_data/한국전력거래소_시간별 전력수요량_20211231.csv" df = pd.read_csv(file_path,encoding="euc-kr") df 1. 파일 경로 및 파일 이름 지정 2. 읽어올 파일의 확장자와 인코딩 형식 지정. * 결측데이터 df.info() 데이터 형식 확인 * 이상치데이터 df.describe() 이 단계에서 논리적으로 데이터에 오류가 있는지 확인해야 한다. 예를 들어 전력사용량의 최솟값인 min에서 마이너스 값이 나올 수 없다. * 컬럼명 추출하기 col_li..

* 데이터 전처리 데이터 전처리란, 데이터 분석을 위해 수집한 데이터를 분석에 적합한 형태로 가공하는 과정. 데이터 전처리를 통해 불필요한 데이터를 제거하고, 결측치나 이상치를 처리하여 데이터의 질을 향상시킬 수 있다. * 데이터 분석 과정 1. 데이터 수집 2. 데이터 전처리 3. 데이터 가공(필요시 전처리) 4. 데이터 분석 탐색 / 시각화(필요시 전처리) 5. 필요시 모델 훈련(머신러닝 또는 딥러닝) 6. 웹서비스 또는 분석 보고서 일반적으로 책에서는 : 데이터 수집 -> 전처리 -> 분석 -> 시각화로 성명되고 있다. 하지만 분석과정은 회사에 따라 다르다. * 데이터 수집 시 확인사항 - 날짜 확인 : 기준일로 사용 [년윌일시분 까지 있는 데이터가 좋다 최소한 년월까지] - 범주형 데이터 확인 :..

* 아나콘다 기준 * 생성되어 있는 가상환경 확인하기 -> conda env list 지금부터 진행하는 폴더 위치는 무관함 *가상환경 생성하기 -> conda create -n [가상환경이름] python=[파이썬버전] * 가상환경 삭제하기 -> conda remove -n [가상환경이름] --all * 가상환경으로 들어가기(활성화시키기) -> conda activate [가상환경이름] * 가상환경에서 나오기(비활성화 시키기) -> conda deactivate * 설치되어있는 패키지 (라이브러리) 확인하기. -> conda list ====> 파이썬 버전에 맞는 최적화가 가장 잘된 버전의 패키지 설치 -> pip list ====> 가장 최신버전 설치 * 외부 에디터에서 가상환경을 연결(kernel) ..

파이썬의 메모리 구조는 그림과 같다. - 스택(stack) 영역 : 지역변수/매개변수 저장, 함수가 호출될 때 할당되고 호출이 끝나면 소멸 - 힙(heap) 영역 : new명령으로 생성된 인스턴스 변수(사용자의 동적할당)가 저장, 메소드 호출이 끝나도 소멸되지 않음 - 데이터(data) 영역 : 전역변수/정적변수 저장, 프로그램이 시작될때 할당되고 프로그램이 종료되면 소멸 - 코드(text) 영역 : 실행할 프로그램의 코드가 저장 * 파이썬은 메모리를 잘 관리해야 한다. 이러한 이유로 제너레이터와 이터레이터가 있다. 만약 연속된 숫자를 미리 만들면 숫자가 적을 때는 상관없지만 숫자가 많을 때는 메모리를 많이 사용하게 되므로 성능저하가 있을 것이다. 그래서 파이썬에서는 이터레이터만 생성하고 값이 필요한 시..