일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- 데이터 가공
- 머신러닝
- 딥러닝
- 데이터전처리
- keras
- HeidiSQL
- pythone
- 파이썬
- tensorflow
- 알고리즘기초
- 정확도
- 데이터베이스
- DB
- 회귀모델
- python기초
- 데이터 분석
- 크롤링(crawling)
- 데이터
- Database
- 데이터 수집
- SQL예제
- Deep Learning
- sklearn
- python
- 예측
- MariaDB
- pandas
- 해석
- 시각화
- 훈련
- Today
- Total
목록데이터 (25)
코딩헤딩

* 데이터 전처리 데이터 전처리란, 데이터 분석을 위해 수집한 데이터를 분석에 적합한 형태로 가공하는 과정. 데이터 전처리를 통해 불필요한 데이터를 제거하고, 결측치나 이상치를 처리하여 데이터의 질을 향상시킬 수 있다. * 데이터 분석 과정 1. 데이터 수집 2. 데이터 전처리 3. 데이터 가공(필요시 전처리) 4. 데이터 분석 탐색 / 시각화(필요시 전처리) 5. 필요시 모델 훈련(머신러닝 또는 딥러닝) 6. 웹서비스 또는 분석 보고서 일반적으로 책에서는 : 데이터 수집 -> 전처리 -> 분석 -> 시각화로 성명되고 있다. 하지만 분석과정은 회사에 따라 다르다. * 데이터 수집 시 확인사항 - 날짜 확인 : 기준일로 사용 [년윌일시분 까지 있는 데이터가 좋다 최소한 년월까지] - 범주형 데이터 확인 :..

1. with rollup - 2개 이상의 컬럼을 이용하여 그룹을 짓는 경우. - 그룹별 중간합계(집계함수에 대해서)를 표시. - 마지막 행에는 전체합계가 표시됨. * with rollup 예제 상품분류 전체에 대한 상품이름과 구매수량의 총 합 조회하기. 단, 구매 연도가 2005년 prod, cart테이블만 사용 SELECT LEFT(prod_id, 4) AS lgu, prod_name, SUM(cart_qty) AS total FROM prod LEFT OUTER JOIN cart ON(prod_id = cart_prod AND SUBSTRING(cart_no,1,4) = '2005') GROUP BY LEFT(prod_id,4), prod_name WITH ROLLUP; 2. view (가상테이블)..

* exist(조회) - 조회결과가 1건이라도 있으며 True / 0건이면 False - 서브쿼리를 적용(다중컬럼의 다중행 모두 가능) => 구매내역이 없는 회원만 조회하기 SELECT mem_id, mem_name FROM member WHERE NOT EXISTS(SELECT cart_member FROM cart WHERE cart_member = mem_id); 예제1) - 2005년도 구매내역이 있는 회원에 대한 - 회원아이디, 회원이름, 마일리지 조회 - 단, 구매내역이 있는 회원의 총구매금액이 3천만원 이상인 데이터에 대해서만 조회 SELECT mem_id, mem_name, mem_mileage FROM member WHERE EXISTS(SELECT SUM(cart_qty*prod_sal..

https://coding-heading.tistory.com/56 MariaDB 데이터베이스[database, DB] 조인(Join) 조인 [join] SELECT mem_id, cart_member FROM member, cart; 결과 : 값이 3780개가 나온다. SELECT COUNT(*) FROM member; -- 28개 SELECT COUNT(*) FROM cart; -- 135개 28*135 = 3780 양쪽의 각각의 값만큼 결과 값이 나온다. 그렇기 때 coding-heading.tistory.com * OUTER JOIN - 특정테이블 전체에 대한 집계를 하고자 할 때 사용 - Outer Join 종류 - Left Outer Join : 테이블 순서중 왼쪽에 위치한 테이블 전체 - R..

[ InLine View ] - From절 뒤에 테이블대신에 SubQury를 사용함 - 행렬의 데이터를 테이블과 동일한 개념으로 사용하기 때문에 가상테이블이라고 칭한다 - 가상테이블은 별칭을 이용해서 테이블 이름처럼 사용한다. - 보통 테이블 별칭은 대문자 컬럼은 소문자 - 가상테이블 개념이 적용됨 - FROM 절에 서브쿼리를 사용하면 특정 조건식을 갖는 SELECT 문을 테이블처럼 사용할 수 있다. 한마디로 SELECT 절에서 나온 결과를 FROM 절에서 하나의 테이블처럼 사용하고 싶을 때 사용한다. 예제로 알아보겠다. * 주문내역이 있는 회원별로 지금까지 총 지출한 총액 조회하기 조회컬럼 : 회원아이디, 회원이름, 총 지출액 SELECT mem_id, mem_name, sum(cart_qty * pr..

조인 [join] SELECT mem_id, cart_member FROM member, cart; 결과 : 값이 3780개가 나온다. SELECT COUNT(*) FROM member; -- 28개 SELECT COUNT(*) FROM cart; -- 135개 28*135 = 3780 양쪽의 각각의 값만큼 결과 값이 나온다. 그렇기 때문에 데이터 양이 많을 경우 데이터베이스가 다운될 수 있다. 가급적 사용하지 않기. 4가지의 조인중 Inner Join에 대해 적어보겠다. - Inner Join방식 : 일반방식 or 표준방식 모두 표준처럼 사용됨 = 결과가 같다 1. Inner Join - 일반방식 select from 테이블1, 테이블 2,... , 테이블 n where 관계조건(pk = fk) and..

* 그룹함수 테이블의 전체 행을 하나 이상의 컬럼을 기준으로 컬럼값에 따라 그룹화하여 그룹별로 결과를 출력하는 함수이고 복수행 함수라고도 한다. * 종류 - count() : 행의 갯수 (컬럼명을 사용하는 경우 null은 제외) - avg() : 평균 (null인 경우 처리필요) - max() : 최대값 (null인 경우 처리필요) - min() : 최소값 (null인 경우 처리필요) - sum() : 합계 (null인 경우 처리필요) SELECT COUNT(nvl(prod_mileage,0)) AS all_cnt, COUNT(*) AS all_cnt2, AVG(nvl(prod_mileage,0)) AS all_avg, SUM(nvl(prod_mileage,0)) AS all_sum, MAX(nvl(pr..