목록pandas (9)

코딩헤딩

용도별 전기 사용량 데이터 전처리

프로젝트에서 사용할 데이터를 전처리 해보겠다. https://bigdata.kepco.co.kr/cmsmain.do?scode=S01&pcode=000166&pstate=L&redirect=Y 전력데이터 개방 포털시스템 꺾은선그래프 라벨관련 js --> 월별 데이터 다운로드 다운로드 (단위: 호, kWh, 원, 원/kWh) caption 지역구분 계약구분 고객호수(호) 사용량(kWh) 전기요금(원) 평균판매단가(원/kWh) caption 그래프 선택 원 bigdata.kepco.co.kr 사용할 데이터 : 업종별 전력사용량 => 엑셀파일 다운로드 1. 판다스 라이브러리 정의 import pandas as pd 2. 데이터 불러오기 file_path="./용도별 전기 사용량 1년 통합.xlsx" df = ..
프로젝트 2023. 12. 8. 04:19
[데이터 분석] 교통데이터 전처리 / 시각화 (막대그래프, Histplot)

https://coding-heading.tistory.com/66 [데이터 분석] 교통데이터 수집/가공 * 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 coding-heading.tistory.com ### 시각화 라이브러리 import matplotlib import matplotlib.pyplot as plt import seaborn as sns 저번 글에서 만든 데이터 프레임을 불러오겠다. - 데이터 프레임 변수명 : df_bus_card_tot df_bus_card_tot =pd.read_csv("./01_data/..
데이터 2023. 12. 3. 21:42
[데이터 분석] DB프로그램 예제(class 생성하여 조회/입력/수정 처리)

1. 데이터베이스 설정 정보 준비 2. DB 접속하기 : 커넥션(connect) 3. 커서 받아오기 : cursor() 4. 구문 작성하기 : sql(조회, 입력, 수정, 삭제) -- xx 5. 구문 실행하기 : execute() -> 결과값은 체크 --세모 6. 조회인 경우 커서에서 데이터 추출하기 -- 세모 -> 한건 : fetchone() -> 여러건 : fetchall() 7. 조회결과 데이터프레임 또는 웹페이지에 출력 -- 세모 -> 데이터프레임 : pd.DataFrame(여러건), pd.DataFrame([한건]) 8. 조회가 아닌경우 : 처리 결과 조건으로 확인하기 if "처리 성공" else "처리 실패" -- 세모 9. DB정보 반환하기 - 반환 순서 : cursor > connect 1..
데이터 2023. 12. 2. 04:14
[데이터 분석] 교통데이터 전처리 / 시각화 (Heatmap)

https://coding-heading.tistory.com/66 [데이터 분석] 교통데이터 수집/가공 * 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 coding-heading.tistory.com 저번 글에서 만든 데이터 프레임을 불러오겠다. - 데이터 프레임 변수명 : df_bus_card_tot df_bus_card_tot =pd.read_csv("./01_data/all/df_bus_card_tot.csv") print("갯수 : ", len(df_bus_card_tot)) df_bus_card_tot.head(1)..
데이터 2023. 12. 1. 16:45
[데이터 분석] 교통데이터 수집/가공

* 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 내부의 파일명은 동일하다. * 여러 개의 파일 데이터를 통합하는 경우에는 한 개 파일을 기준으로 사용할 컬럼을 정의하여 가공 후 반복 처리하면 편하다. * 0번 파일의 csv 데이터 읽어 들이기 # - 데이터프레임 이름 : df_bus_card_org file_path = "./01_data/org/trfcard(0)/trfcard.csv" df_bus_card_org = pd.read_csv(file_path) df_bus_card_org.head(1) * 결측치가 있는지 정보..
데이터 2023. 11. 30. 01:21
[데이터 분석] 데이터 조회하기 / 입력, 수정, 삭제 / 커서, 커넥션

* 데이터 조회하기 - 조회 시에는 pymysql라이브러리 사용 * DB 프로그램 순서 1. 데이터베이스 설정 정보 준비 2. DB접속하기 : 커넥션(connect) 3. 커서 받아오기 : currsor() 4. 구문 작성하기 : sql(입력, 조회, 수정, 삭제) 5. 구문 실행하기 : execute() -> 결괏값은 체크 6. 조회인 경우 커서에서 데이터 추출하기 -> 한건 : fetchone() -> 여러건 : fetchall() 7. 조회결과 데이터프레임 또는 웹페이지에 출력 -> 데이터프레임 : pd.DataFrame(여러건), pd.DateFrame([한건]) 8. 조회가 아닌경우 : 처지 결과 조건으로 확인하기 if "처리성공" else "처리실패" 9. DB정보반환하기 -> 반환순서 : c..
데이터 2023. 11. 29. 23:54
[데이터 분석] 데이터 테이블에 저장하기

- sqlalchemy - 설치 : pip install sqlalchemy - pymysql - 설치 : conda install -c conda-forge pymysql - 설치 : pip install pymysql * 데이터 읽어들이기 import pandas as pd 전 글에서 저장까지 했던 csv 파일을 다시 읽어오겠다. file_path = "./01_data/new_data.csv" df = pd.read_csv(file_path) df 다음의 값들을 데이터베이스에 넣기 위해서는 테이블 설계과정이 필요하다. * 테이블 설계하기 - 테이블 명, 컬럼명, 컬럼타입, NuLL여부에 대한 정의가 필요함 * 산출물 - 테이블정의서 - ERD - 스크립트명세서 * 스크립트 명세서 스크립트 명세서의 ..
데이터 2023. 11. 29. 00:44
이전 Prev 1 2 Next 다음