[데이터 분석] 데이터 테이블에 저장하기

<데이터 저장 시에 유용한 라이브러리>
 - sqlalchemy
 - 설치 : pip install sqlalchemy
 
<데이터 조회시에 유용한 라이브러리>
 - pymysql
 - 설치 : conda install -c conda-forge pymysql
 - 설치 : pip install pymysql

 

* 데이터 읽어들이기

import pandas as pd

전 글에서 저장까지 했던 csv 파일을 다시 읽어오겠다.

file_path = "./01_data/new_data.csv"
df = pd.read_csv(file_path)
df

다음의 값들을 데이터베이스에 넣기 위해서는 테이블 설계과정이 필요하다.

---

* 테이블 설계하기

  - 테이블 명, 컬럼명, 컬럼타입, NuLL여부에 대한 정의가 필요함
* 산출물
  - 테이블정의서 
  - ERD
  - 스크립트명세서

* 스크립트 명세서

스크립트 명세서의 계획에 따라 데이터베이스에 sql 구문을 작성한다.

create Table time_power_demand(
 ymd varchar(10) not NULL,
 time varchar(4) not NULL,
 power double not NULL);
 
 
 SELECT*
 FROM time_power_demand;

 

 

sql구문을 실행하면 데이터를 담을 수 있는 껍데기가 생긴다.

 

 

 

 

데이터베이스에 데이터를 넣을 공간이 생겼으므로 데이터를 넣어보겠다.

---

 

1. DB연결하기

from sqlalchemy import create_engine
import pymysql

앞서 소개한 라이브러리 2개를 import 해준다.

### 연결정보 작성
db_connection_info = "mysql+pymysql://gjuser:dbdb@localhost:3306/gjdb"
### Database 커넥션(연결) 하기
db_connection = create_engine(db_connection_info)
db_connection

 

이런 결과가 나온다면 연결성공!!

 

 

2. 데이터프레임을 Table에 저장시키기

### 데이터프레임의 컬럼명을 테이블의 컬럼명과 같게 수정
# - 데이터프레임의 컬럼명 전체 수정하기
df.columns = ["ymd", "time", "power"]
df

 

이 과정에서 컬럼명이 맞춰진다.

 

 

 - 특정 컬럼명만 수정하고자 할 때 => 딕셔너리형태로 바꾼다
       df.columns = [{"년도" : "ymd"}]

 

 

 

 

 

 

 

 

 

 

 

 

### 데이터 저장하기
df.to_sql(name="time_power_demand",
         con=db_connection,
         index=False,
         if_exists="append")

결과 : 8760

 

코드 실행 후 데이터베이스를 새로고침 하면 데이터가 들어온 것을 확인할 수 있다.

 

- name : 테이블명
 - con : DB접속정보
 - index : 데이터프레임의 인덱스 값을 포함할지 여부(True : 포함 / False : 미포함)
 - if_exists 
       * append : 데이터를 기존 테이블에 추가
       * fail : 아무 동작 하지 않기
       * replace : 동일한 테이블이 존재하면 기존 데이터를 삭제하고 새로운

                         데이터로 저장

 

3. 데이터베이스 자원 반환 (접속 끊기)

데이터베이스에 데이터를 넣는 작업이 다 끝났다면 데이터베이스와 연결을 끊어주어야 한다.

### 연결종료하기
db_connection.dispose()