코딩헤딩

* 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 내부의 파일명은 동일하다. * 여러 개의 파일 데이터를 통합하는 경우에는 한 개 파일을 기준으로 사용할 컬럼을 정의하여 가공 후 반복 처리하면 편하다. * 0번 파일의 csv 데이터 읽어 들이기 # - 데이터프레임 이름 : df_bus_card_org file_path = "./01_data/org/trfcard(0)/trfcard.csv" df_bus_card_org = pd.read_csv(file_path) df_bus_card_org.head(1) * 결측치가 있는지 정보..

* 데이터 조회하기 - 조회 시에는 pymysql라이브러리 사용 * DB 프로그램 순서 1. 데이터베이스 설정 정보 준비 2. DB접속하기 : 커넥션(connect) 3. 커서 받아오기 : currsor() 4. 구문 작성하기 : sql(입력, 조회, 수정, 삭제) 5. 구문 실행하기 : execute() -> 결괏값은 체크 6. 조회인 경우 커서에서 데이터 추출하기 -> 한건 : fetchone() -> 여러건 : fetchall() 7. 조회결과 데이터프레임 또는 웹페이지에 출력 -> 데이터프레임 : pd.DataFrame(여러건), pd.DateFrame([한건]) 8. 조회가 아닌경우 : 처지 결과 조건으로 확인하기 if "처리성공" else "처리실패" 9. DB정보반환하기 -> 반환순서 : c..

- sqlalchemy - 설치 : pip install sqlalchemy - pymysql - 설치 : conda install -c conda-forge pymysql - 설치 : pip install pymysql * 데이터 읽어들이기 import pandas as pd 전 글에서 저장까지 했던 csv 파일을 다시 읽어오겠다. file_path = "./01_data/new_data.csv" df = pd.read_csv(file_path) df 다음의 값들을 데이터베이스에 넣기 위해서는 테이블 설계과정이 필요하다. * 테이블 설계하기 - 테이블 명, 컬럼명, 컬럼타입, NuLL여부에 대한 정의가 필요함 * 산출물 - 테이블정의서 - ERD - 스크립트명세서 * 스크립트 명세서 스크립트 명세서의 ..

- 수집위치 : data.go.kr 공공 데이터 포털에서 공공데이터를 다운로드하여 진행했다. * 데이터 불러오기 import pandas as pd # - 데이터프레임 변수명 : df file_path = "./01_data/한국전력거래소_시간별 전력수요량_20211231.csv" df = pd.read_csv(file_path,encoding="euc-kr") df 1. 파일 경로 및 파일 이름 지정 2. 읽어올 파일의 확장자와 인코딩 형식 지정. * 결측데이터 df.info() 데이터 형식 확인 * 이상치데이터 df.describe() 이 단계에서 논리적으로 데이터에 오류가 있는지 확인해야 한다. 예를 들어 전력사용량의 최솟값인 min에서 마이너스 값이 나올 수 없다. * 컬럼명 추출하기 col_li..

* 데이터 전처리 데이터 전처리란, 데이터 분석을 위해 수집한 데이터를 분석에 적합한 형태로 가공하는 과정. 데이터 전처리를 통해 불필요한 데이터를 제거하고, 결측치나 이상치를 처리하여 데이터의 질을 향상시킬 수 있다. * 데이터 분석 과정 1. 데이터 수집 2. 데이터 전처리 3. 데이터 가공(필요시 전처리) 4. 데이터 분석 탐색 / 시각화(필요시 전처리) 5. 필요시 모델 훈련(머신러닝 또는 딥러닝) 6. 웹서비스 또는 분석 보고서 일반적으로 책에서는 : 데이터 수집 -> 전처리 -> 분석 -> 시각화로 성명되고 있다. 하지만 분석과정은 회사에 따라 다르다. * 데이터 수집 시 확인사항 - 날짜 확인 : 기준일로 사용 [년윌일시분 까지 있는 데이터가 좋다 최소한 년월까지] - 범주형 데이터 확인 :..

1. with rollup - 2개 이상의 컬럼을 이용하여 그룹을 짓는 경우. - 그룹별 중간합계(집계함수에 대해서)를 표시. - 마지막 행에는 전체합계가 표시됨. * with rollup 예제 상품분류 전체에 대한 상품이름과 구매수량의 총 합 조회하기. 단, 구매 연도가 2005년 prod, cart테이블만 사용 SELECT LEFT(prod_id, 4) AS lgu, prod_name, SUM(cart_qty) AS total FROM prod LEFT OUTER JOIN cart ON(prod_id = cart_prod AND SUBSTRING(cart_no,1,4) = '2005') GROUP BY LEFT(prod_id,4), prod_name WITH ROLLUP; 2. view (가상테이블)..

* exist(조회) - 조회결과가 1건이라도 있으며 True / 0건이면 False - 서브쿼리를 적용(다중컬럼의 다중행 모두 가능) => 구매내역이 없는 회원만 조회하기 SELECT mem_id, mem_name FROM member WHERE NOT EXISTS(SELECT cart_member FROM cart WHERE cart_member = mem_id); 예제1) - 2005년도 구매내역이 있는 회원에 대한 - 회원아이디, 회원이름, 마일리지 조회 - 단, 구매내역이 있는 회원의 총구매금액이 3천만원 이상인 데이터에 대해서만 조회 SELECT mem_id, mem_name, mem_mileage FROM member WHERE EXISTS(SELECT SUM(cart_qty*prod_sal..