코딩헤딩

1. 규제 - 과대 또는 과소 적합중에 주로 과대적합이 발생 했을 때 사용 - 훈련의 정확도가 다소 낮아지는 경향이 있으나, 검증(테스트) 정확도를 높이는 효과가 있음 - 훈련모델을 일반화 하는데 주로 사용되는 방법임 - 규제 개념을 적용한 향상된 모델 : 릿지(Ridge)와 라쏘(Lasso)가 있다. 1. 정규화(단위(스케일)를 표준화 하는 방식) 2. 규제가 적용된 모델 훈련/검증 훈련 및 테스트 독립변수 정규화 하기 * 정규화를 위한 라이브러리 from sklearn.preprocessing import StandardScaler 1. 정규화 클래스 생성 2. fit() : 정규화 패턴 찾기 3. transform() : 찾은 패턴으로 정규화 데이터로 변환 (훈련 및 테스트 독립변수 변화) * 정규..

1. 평균절대오차(MAE) 확인하기 from sklearn.metrics import mean_absolute_error mae = mean_absolute_error(test_target, test_pred) mae 2. 특성 클래스 생성하기 poly = PolynomialFeatures(include_bias=False) poly - 특성을 생성시킬 때 y절편값도 생성을 함께 시킨다. - 특성만 있으면 되기 때문에 y절편을 생성에서 제외시키기 위해서 ---> include_bias = False로 설정 temp_data = [[2,3,4,]] temp_data - sample데이터로 어떤 특성들이 만들어지는지 확인 먼저 특성을 만들 패턴 찾기 poly.fit(temp_data) 찾은 패턴으로 특성 생..

- 여러 개의 특성을 사용한 회귀모델 - 특성이 많을수록 복잡도가 증가됨, (훈련시간이 오래 걸림, 시간 성능에 따라 빠를 수도 있음 - 다중회계모델 공식 => y = a*x1 + b*2 + c*3 + ... + y절편 * 훈련 정확도 및 검증(test) 정확도 확인해 보기 1. 독립변수 생성하기 - 데이터프레임의 특성 중에 독립변수로 사용하 특성들을 2차원의 리스트 또는 배열 형태로 만들어주어야 함. perch_full = df.to_numpy() perch_full.shape 2. 종속변수 생성하기 import numpy as np perch_weight = np.array( [데이터 넣을 곳] ) perch_weight.shape **독립변수와 종속변수의 개수는 같아야 한다. 3. 훈련 및 테스트 ..

- 데이터의 분포가 선형이면서 곡선을 띄는 경우에 사용됨 - 곡선(포물선)의 방정식이 적용되어 있음 - y = (a * x^2) + (b * x) + c - 독립변수는 2개가 사용됨 : x와 x^2 값 * 훈련 및 테스트데이터의 독립변수에 x^2 값 추가하기 # - 훈련독립변수 train_poly = np.column_stack((train_input**2, train_input)) # - 테스트 독립변수 test_poly = np.column_stack((test_input**2, test_input)) train_poly.shape, test_poly.shape 결과 : ((42, 2), (14, 2)) * 모델 생성하기 # - 선형, 다항, 다중회귀모델은 하나의 모델(클래스) 사용 lr = Line..

- 선형회귀모델(직선) - 다항회귀모델(곡선) - 다중회귀모델(직선 여러 개) - 릿지 - 라쏘 ==> 회귀모델만 - 랜덤포레스트 - 그레디언트부스트 - 히스토그램그리디언트부스트 - XGBoost(별도 라이브러리), 기타 등등... ==> 회귀 분류 동시에 사용가능 - 주로 많이 사용되는 회귀모델 : 릿지, 히스토그램그레디언트부스트, XGBoost * 모델 라이브러리 불러들이기 from sklearn.linear_model import LinearRegression * 모델생성하기 lr = LinearRegression() lr * 모델 훈련시키기 lr.fit(train_input, train_target) * 훈련 정확도 및 테스트(검증) 정확도 train_r2 = lr.score(train_input..

하이퍼파라미터 튜닝을 하는 이유? => 과소적합을 해결하기 위해서 1. 하이퍼파라미터 튜닝하기 KNN모델의 이웃(하이퍼파라미터)의 개수를 조절해보기 - 5개 knr.n_neighbor = 5 ### 하이퍼파리미터 값 수정 후 재훈련 시켜서 검증해야 한다. knr.fit(train_input, train_target) ### 훈련 정확도 확인 train_r2 = knr.score(train_input, train_target) ### 테스트(검증) 저확도 확인 test_r2 = knr.score(test_input, test_target) print(f"훈련 : {train_r2} / 검증 : {test_r2}") 결과 : 훈련 : 0.9698823289099254 / 검증 : 0.9928094061010..

https://coding-heading.tistory.com/86 [ML(머신러닝)] KNN 회귀모델 -1 * KNN회귀모델 - K Nearest Neighbor 1. 데이터 확인 1) 길이로 무게 예측하기 perch_length.shape, perch_weight.shape 결과 : ((56,), (56,)) - 길이 : 문제(독립변수) / 무게(연속형) : 답(종속변수) 2) 산점도 그리기 import coding-heading.tistory.com 위 글에서 데이터를 가지고 모델생성 후 테스트 데이터로 예측해 보고 해석까지 해보았다. 그 결과 모델의 튜닝이 필요했다. * 튜닝 전 데이터 수치 : 훈련 : 0.9698823289099254 / 테스트 : 0.992809406101064 1. 모델 평..