고정 헤더 영역
상세 컨텐츠
본문
728x90
반응형
딥러닝 개론
활용 사례 - 얼굴 인식 카메라, 기계 번역 모델, 알파고 제로
퍼셉트론
1958년 초기 신경망 퍼셉트론의 등장
선형 분류기 - 데이터 분류 가능
문제점- 하나의 선으로 분류할 수 없는 문제 등장
단층 퍼셉트론은 입력층과 출력층만 존재
다층 퍼셉트론
단층 퍼셉트론을 여러 개 쌓은 것을 다층 퍼셉트론이라고 부름
히든 층
입력층과 출력층 사이의 모든 LAYERG
히든층이 많아진다면, 깊은 신경망이라는 의미의 딥 러닝 단어 사용
딥러닝모델의학
습방법텐서플로우로딥러닝구현하기‒데이터전처리텐서플로우로딥러닝구현하기-모델구현
딥러닝 모델의 학습 방법
예측값과 실제값 간의 오차값을 최소화 하기 위해 오차값을 최소화하는 모델의 인자를 찾는 알고리즘 적용
loss function을 최소화하는 가중치를 찾기 위해 최적화 알고리즘을 적용
우선 딥러닝 모델에서 예측값 구해보기
순전파- 입력 값을 바탕으로 출력 값을 계산하는 과정
순전파를 사용하면 예측값과 실제값 간의 오차 값을 구하여 loss function을 구할 수 있다.
그렇다면 어떻게 최적화를 하는가?? 최적화는 경사 하강법을 사용한다.
경사하강법이란?
가중치를 loss function값이 작아지게 업데이트 하는 방법
가중치는 gradient값을 사용하여 업데이트를 수행
gradilent값은 각 가중치 마다 정해지며, 역전파를 통하여 구할 수 있음.
역전파- forward propagation의 반대 방향으로 이루어지는 과정
딥러닝 모델의 학습 방법 정리
1. 학습용 feature 데이터를 입력하여 예측 값 구하기 - 순전파
2.예측값과 실제값 사이의 오차 구하기 - loss계산
3. loss를 줄일 수 있는 가중치 업데이트 -역전파
4.1~3번 반복으로 loss 최소로 가중치 얻기
텐서플로우
- 유연하고, 효율적이며, 확장성 있는 딥러닝 프레임워크
대형 클러스터 컴퓨터부터 스마트폰까지 다양한 디바이스에서 동작 가능
딥러닝 모델 구현 순서
1. 데이터 전 처리
2. 딥러닝 모델 구축
3.모델 학습
4.평가 및 예측하기
1.데이터전처리하기: tf.data.Dataset
1. 데이터전처리하기: Epoch와Batch
1.데이터전처리하기: tf.data.Dataset
모델클래스객체생성tf.keras.models.Sequential()모델의각Layer구성tf.keras.layers.Dense(units,activation)03텐서플로우로딥러닝구현하기‒모델구현딥러닝모델구축을위한Keras 메소드(1)•units:레이어안의Node의수•activation:적용할activation함수설정
첫번째즉,InputLayer는입력형태에대한정보를필요로함input_shape/input_dim인자설정하기
모델에Layer추가하기[model].add(tf.keras.layers.Dense(units,activation))03텐서플로우로딥러닝구현하기‒모델구현딥러닝모델구축을위한Keras 메소드(2)•units:레이어안의Node의수•activation:적용할activation함수설정
모델학습방식을설정하기위한함수[model].compile(optimizer,loss)•optimizer:모델학습최적화방법•loss:손실함수설정모델을학습시키기위한함수[model].fit(x,y)•x:학습데이터•y:학습데이터의label
자연어 처리 과정
1.자연어 전 처리 2. 단어 표현 3. 모델 적용하기
자연어 전 처리 방법 3가지
1.오류 교정 (noise canceling)- 자연어 문장의 스펠링 체크 및 띄어쓰기 오류 교정
2.토근화( Tokenizing) - 문장을 토큰으로 나눔, 토큰은 어절, 단어 등으로 목적에 따라 다르게 정의
3.불용어 제거( StopWord removal) - 불필요한 단어를 의미하는 불용어 제거
4.Bag of Words- 자연어 데이터에 속해있는 단어들의 가방
5.토근 시퀸스 - 뱅 오브 워드에서 단어에 해당되는 인덱스로 변환
모든 문장의 길이를 맞추기 위해 기준보다 짧은 문장에는 패딩을 수행
정리
임베딩 토근의 특징을 찾아내고 rnn이 전 토큰의 영향을 받으며 학습해서 활성함수
728x90
반응형
