코딩헤딩

* 라이브러리 정의 import tensorflow as tf ### 단어사전 만들기 from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences * 규칙기반 데이터 정의하기(질문/답변) questions = [ "전기요금 어때?", "안녕하세요", "너 이름이 뭐니?", . . . answers = [ "전기요금이 계속 인상되고 있어요!", "안녕하세요! 반가워요^^", "제 이름은 챗봇이에요.", . . . len(questions), len(answers) 결과 : (49, 49) * 단어사전 만들기 tokenizer = Tokenizer(..

- 긴 문장(시퀀스)을 학습하기 어려움 - 시퀀스가 길 수록 초반의 정보는 점진적으로 희석(소멸) 즉, 멀리 떨어져 있는 단어의 정보를 인식하는데 어려움이 있음. - 이러한 단점을 보완한 모델이 LSTM과 GRU - 단기기억을 오래 기억할 수 있도록 고안된 모델 - 많은 이전 정보를 기억해야 하기 때문에 훈련속도가 느리며, 시스템 저장 공간이 많이 필요함 - LSTM의 느린 속도를 개선하기 위해 고안된 모델 - 성능은 LSTM과 유사함 ** SimpleRNN, SLTM, GRU 모두 RMSprop 옵티마이저를 일반적으로 사용함. * 사용 라이브러리 정의 import tensorflow as tf from tensorflow import keras ### 영화 감상평에 대한 긍정/부정 데이터셋 from t..

- RNN은 텍스트 처리를 위해 고안된 모델 (계층) - 바로 이전의 데이터를 재사용하는 신경망 계층임 - 심플 순환신경망(simple RNN) - 장가기억 순환신경망(LSTM) - 게이트웨이 반복 순환신경망(GRU) * 사용 라이브러리 import tensorflow as tf from tensorflow import keras ### 사용할 데이터셋 from tensorflow.keras.datasets import imdb import numpy as np - 순환신경망에서 대표적으로 사용되는 데이터셋(외국) - 케라스에서 영어로 된 문장을 정수(숫자)로 변환하여 제공하는 데이터셋 - 감상평을 긍정과 부정으로 라벨링 되어있음 - 총 50,000개의 샘플로 되어 있으며, 훈련 및 테스트로 각각 25,..

- 인공신경망의 한 종류 - 주로 이진분류 또는 다중분류에 사용되는 초기 인공신경망 모델 - 종속변수가 연속형인 회귀에서는 사용되지 않음(분류에서만 사용) - 퍼셉트론에는 단층 퍼셉트론과 다층 퍼셉트론이 있음 - 주로 다층 퍼셉트론이 성능이 좋음 - 입력층과 출력층으로만 구성되어 있음. - 주로 이진 분류에 사용됨(성능이 낮은 경우, 다층 퍼셉트론으로 사용) - 선형 활성화 함수를 사용 - 입력층, 은닉층(하나이상), 출력층으로 구성됨 - 주로 다중 분류에 사용됨(이진 분류도 가능) - 여러 층(입력, 은닉, 출력)으로 이루어져 있다고 해서 "다층"이라고 칭함 - 은닉층에서는 비선형 활성화 함수를 사용할(시그모이드, 렐루, 등등...) - 발전된 모델들이 현재 사용되는 모델임 현재도 계속 나오고 있음 *..

- 패션MNIST 데이터 읽어들이기(훈련 및 테스트데이터) (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() print(train_input.shape, train_target.shape) print(test_input.shape, test_target.shape) 결과 : (60000, 28, 28) (60000,) (10000, 28, 28) (10000,) *데이터 전처리 생략 * 인공신경망(Artificial Neural Network, ANN) -> 계층이 1개인 경우 또는 은닉계층이 없는 경우 * 심층신경망(Deep Neureal Network, DNN) -> 은닉계층을..

1. 데이터 증가시키기 2. 하이퍼파라미터 튜닝 => 반복 횟수 증가 => 계층 추가 또는 제거(일반적으로 추가) => 이외 하이퍼파라미터들... 1. 성능향상 - 은닉계층추가 * 모델 생성하기 model = keras.Sequential() model * 입력 계층 추가하기 model.add(keras.layers.Flatten(input_shape=(28, 28))) - 전처리 계층으로 추가 Flatten() : 차원축소 전처리 계층(1차원으로 축소) : 훈련에 영향을 미치지는 않음 : 일반적으로 입력계층 다음에 추가하거나, 입력계층으로 사용되기도 함 : 이미지 데이터 처리 시에 주로 사용됨 * 중간계층 = 은닉계층(hidden layer) 생성하기 model.add(keras.layers.Dense..

데이터 수집, 정규화, 2차원데이터로 변환, 훈련 및 검증 데이터 분류는 저번 글과 동일하다. https://coding-heading.tistory.com/94 Deep learning[딥러닝] 인공신경망 훈련모델 (데이터 전처리, 모델 생성) 딥 러닝이란 무엇입니까? 딥 러닝은 인간의 두뇌에서 영감을 얻은 방식으로 데이터를 처리하도록 컴퓨터를 가르치는 인공 지능(AI) 방식입니다. 딥 러닝 모델은 그림, 텍스트, 사운드 및 기타 데 coding-heading.tistory.com * 신경모델에 계층(layer) 추가하는 방법 3가지 1. 층을 먼저 만들고, 신경망 모델 생성 시 추가하기 """입력계층(Input Layer) 생성하기""" dense1 = keras.layers.Dense(100, ac..