본문 바로가기

🔥/AI 🤖6

[2주차] 파라메터 튜닝2 가중치 규제 학습중 가중치가 큰 것에 대하여 일종의 패널티를 부가해서 과적합 위험을 줄임 (한꺼번에 너무 많이 학습하지마!) ⇒ 모델이 저장할 수 있는 정보의 양과 종류에 제약을 부과하는 방법 복잡한 모델일수록 가중치 규제의 효과가 높아짐 네트워크가 소수의 패턴만 기억⇒ 최적화 동안 일반화 가능성이 높은 가장 중요한 패턴에 초점을 맞춤 "간단한모델"=가중치가 작은 값을 가지도록 복잡도에 제약을 주기 ⇒ 가중치 규제 (Weight Regularization) 두가지 방법 L1규제: 가중치의 절댓값에 비례하는 Penalty가 추가 L2규제: 가중치의 제곱에 비례하게 추가 ⇒ Weight Decay *차이점: 효과는 비슷하지만 L1은 가중치 파라메터를 0으로 만들수 있기때문에 L2를 더 많이 사용함 Drop .. 2021. 10. 6.

[2주차] 파라메터 튜닝 - '특징' 살리기 수업목표 특징을 잘 살려내는 딥러닝 알고리즘을 배우고 실제 데이터에 활용해서 취소율, 주가 등을 예측한다. - 딥러닝의 가장 큰 장점은 feature extraction 이다. 이러한 장점을 예측 시스템에 적용을 하느냐! 파라미터 튜닝 파라미터의 개념 ⇒ 최적의 모델 구현을 위해 학습률, 배치크기, 훈련반복회수, 가중치 초기화방법 등 사용자가 설정하는 변수 ⇒ 일반적으로 Parameter Tuning 이라고 하지만 실제로 파라메터는 모델이 학습하는 변수로 Weight, Bias등이고 우리가 실제로 설정하는 변수들은 하이퍼파라메터 파라미터는 모델이 알아서 학습하는 아이들이고 우리들은 어떤 하이퍼파라미터를 어떤식으로 변형하면 되는지 알아보았다. 가장 기본적인 하이퍼파라미터는? 1) 은닉층 수와 은닉 노드 수.. 2021. 10. 2.

[1주차] 요약 & 마무리 통계분석과 AI분석의 차이점은 AI는 입력데이터가 (1) 비정형 데이터여도 된다는것, (2) 비선형 형태의 모형이어도 된다는점이 있다. 다중 퍼셉트론 모형의 가장 큰 특징은 (3) Hidden Layer가 있다는 점이다. (4) RNN 모형은 시계열 데이터 분석의 가장 기초가 되는데 여러개의 Unit이 엮여져 있는 Chain형 모델이고 과거의 상태를 기억한다는 장점이 있다. (5) LSTM모형은 총 4개의 Gate로 구성이 되어있고 (6) Forget Gate에서 필요없는 상태 데이터를 삭제, (7) Input Gate에서 새로운 정보를 저장해서 업데이트 하는 역할을 하고 이 모든 정보를 과거로부터 보존하거나 지우는 컨베이어역할을 하는 (8) Cell state라는 특수한 툴이 Chain의 흐름을 가져간다. 2021. 9. 29.

[1주차] LSTM LSTM - Long Short-Term Memory Network RNN의 변형된 모델로 긴 기간의 의존도 역시 학습할 수 있도록 설계되어 있다. LSTM의 특징 및 장점 RNN은 우리가 배웠듯이 반복모듈이 단 하나의 Layer를 가지고 있지만 LSTM은 4개의 Layer가 서로 정보를 주고받도록 설계되어있다. LSTM의 핵심은 C_t 라고 표현되는 "Cell State"이다. 말 그대로 상태를 전달 해주는 컨베이어와 같은 역할이다. 이 컨베이어벨트에서 각 t 의 데이터가 추가되면서 상태 정보가 바뀔수도, 그대로 흐르게만 할 수도 있다. C_t를 바꿀지 결정하는 인자는 "Gate"인데 총 3개의 gate를 가지고 있고 이 문들이 cell state를 제어하기도 하고 보호하기도 합니다. 정보의 전달을 중.. 2021. 9. 29.

이전 1 2 다음

티스토리툴바