스파르타7 [2주차] 파라메터 튜닝2 가중치 규제 학습중 가중치가 큰 것에 대하여 일종의 패널티를 부가해서 과적합 위험을 줄임 (한꺼번에 너무 많이 학습하지마!) ⇒ 모델이 저장할 수 있는 정보의 양과 종류에 제약을 부과하는 방법 복잡한 모델일수록 가중치 규제의 효과가 높아짐 네트워크가 소수의 패턴만 기억⇒ 최적화 동안 일반화 가능성이 높은 가장 중요한 패턴에 초점을 맞춤 "간단한모델"=가중치가 작은 값을 가지도록 복잡도에 제약을 주기 ⇒ 가중치 규제 (Weight Regularization) 두가지 방법 L1규제: 가중치의 절댓값에 비례하는 Penalty가 추가 L2규제: 가중치의 제곱에 비례하게 추가 ⇒ Weight Decay *차이점: 효과는 비슷하지만 L1은 가중치 파라메터를 0으로 만들수 있기때문에 L2를 더 많이 사용함 Drop .. 2021. 10. 6. [1주차] LSTM LSTM - Long Short-Term Memory Network RNN의 변형된 모델로 긴 기간의 의존도 역시 학습할 수 있도록 설계되어 있다. LSTM의 특징 및 장점 RNN은 우리가 배웠듯이 반복모듈이 단 하나의 Layer를 가지고 있지만 LSTM은 4개의 Layer가 서로 정보를 주고받도록 설계되어있다. LSTM의 핵심은 C_t 라고 표현되는 "Cell State"이다. 말 그대로 상태를 전달 해주는 컨베이어와 같은 역할이다. 이 컨베이어벨트에서 각 t 의 데이터가 추가되면서 상태 정보가 바뀔수도, 그대로 흐르게만 할 수도 있다. C_t를 바꿀지 결정하는 인자는 "Gate"인데 총 3개의 gate를 가지고 있고 이 문들이 cell state를 제어하기도 하고 보호하기도 합니다. 정보의 전달을 중.. 2021. 9. 29. [1주차] 딥러닝 기초모델 : MLP MLP - Multi Layer Perceptron 가장 기초가되는 Feed Forward ANN (artificial neuron network) 모형이다. - 인공지능 모형의 기본! MLP는 세가지 요소가 들어간다 Input에는 input 값이 들어가고 Hidden에서는 input의 관계들을 학습한다. 비선형 모형을 학습하기 위한 가장 기본적인 딥러닝 모형이다. 일반 ARIMA 모형과는 다르게 노이즈나 Missing Value에도 잘 대처할 수 있다. 여러 형태의, 여러개의 input 을 받을 수 있다. Multi-step 예측 가능하다. MLP의 시계열 데이터에서의 한계 지속적인 생각을 하지 못한다. 예를들어 영화의 매 순간 일어나는 사건을 분류할 때 이제까지 일어났던 사건을 바탕으로 예측하지 못하.. 2021. 9. 29. [1주차] 수업목표 AI 머신러닝 딥러닝 인공지능, 왜 배울까? 흔히 AI 분석 모형을 통계 분석 모형과 가장 많이 비교한다. 이 둘은 목적과 데이터 특징의 차이가 있다. 📊 통계분석 정형데이터 분석, 선형 분석에 필요한 경우에는 통계분석으로 충분하다. 🤖 AI 빅데이터, 비정형 데이터, 이미지, 텍스트 음성은 분석 모형이 선형이 아니기 때문에(비선형이기 때문에) AI를 사용하는 것이 유용하다. 통계분석, AI 비교 Human Driven VS Data Driven AI: 사람의 직관이 들어가지 않고 데이터 자체만으로 데이터로부터 인지하지 못했던 새로운 데이터, 데이터간 관계를 발견 → 가설 발견! 통계: 전문가의 과거 경험과 직관을 기반으로 가설 수립후 모델 설계 → 가설 확인! 정형 VS. 비정형 AI: 이미지, 텍스트.. 2021. 9. 28. 이전 1 2 다음
