[2주차] 파라메터 튜닝2

가중치 규제

• 학습중 가중치가 큰 것에 대하여 일종의 패널티를 부가해서 과적합 위험을 줄임 (한꺼번에 너무 많이 학습하지마!) ⇒ 모델이 저장할 수 있는 정보의 양과 종류에 제약을 부과하는 방법
• 복잡한 모델일수록 가중치 규제의 효과가 높아짐
• 네트워크가 소수의 패턴만 기억⇒ 최적화 동안 일반화 가능성이 높은 가장 중요한 패턴에 초점을 맞춤
• "간단한모델"=가중치가 작은 값을 가지도록 복잡도에 제약을 주기 ⇒ 가중치 규제 (Weight Regularization)
    두가지 방법
  
  1. L1규제: 가중치의 절댓값에 비례하는 Penalty가 추가
  2. L2규제: 가중치의 제곱에 비례하게 추가 ⇒ Weight Decay
     *차이점: 효과는 비슷하지만 L1은 가중치 파라메터를 0으로 만들수 있기때문에 L2를 더 많이 사용함

 

Drop out

• 신경망 모델이 복잡해질때 neuron의 연결을 임의로 삭제해 신호를 전달 못하도록 설정
• (랜덤하게 일정한 비율의 neuron을 삭제하기 때문에) 학습할때 neuron을 무작위로 학습해서
  매번 다른 모델을 학습시키는 효과가 있음
• 앙상블과 비슷: 서로다른 모델을 학습해서 개별 모델에 나온 출력의 평균으로 결과값을 추론

 

목적함수: Loss Function

• 최대화 Or 최소화 - 일반적으로 최소화 문제를 해결
  → 가장 보편적으로 Gradient Descent를 통해 최저점을 찾는것이 목표
• 어느 지점을 찾아갈거야라는 목적함수는
  Classification(분류문제) Vs. Regression(예측, 숫자문제) 이냐에 따라 다른 loss function을 사용해야함
• 각 목적함수 별 특징
  1. Mean Square Error (MSE) : 가장 보편적인 함수 → 예측값과 실제값 사이의 거리의 제곱을 더한값
  2. Root MSE (RMSE)—L2 Loss: 또 다른 가장 보편적인 함수 → MSE의 루트값을 씌워서 안정적으로 답을 찾을수 있으나 outlier에 예민함
  3. Mean Absolute Error (MAE) —L1 Loss: 역시 보편적인함수 → 예측갑소가 실제값 사이의 거리에 절대값을 더한 값이라 방향과 상관없이 오차 크기의 평균을 구함. outlier에 강함

 

가중치 초기화

• 각 층의 W,b초기값 설정은 매우 중요!
  - 문제 자체가 non-convex optimization이라 시작점에 따라 최적지점을 찾지 못하게 될 수도 있음 
• Gradient 조절에도 유의미한 효과
  1. t=wx+b 에서 w=100, b=50이면 0.01의 작은 x값으로도 t 는 51이 될 수있음.
  2. 이때 sigmoid함수를 통과시키면 f'(51)이 반환되는데 t가 5만 넘어도 0에 수렴하기 때문에 Gradient가 죽어버리게됨
  3. 너무작아져서 학습불가!
• 가중치의 중요성
  1. 처음부터 0이면 학습이 불가능해질 수 있음
  2. 처음부터 weight값이 최적에 가깝다면 gradient가 작아져도 좋은 모델이 형성될 수 있음
  3. 처음부터 weight값이 좋으면 학습횟수가 많지 않아도 훌륭한 모델 생성가능
• 가중치 초기화 방법들
  1. Zero Initialization ⇒ Parameter값이 모두 같다면 결국 모두 같은 값으로 변함 ⇒ 여러 노드로 신경망을 구성하는 의미가 없음
  2. Random Initialization ⇒ 정규분포로 가중치를 랜덤으로 초기화 ⇒ Vanishing Gradient OR 0.5로 같은 값으로 수렴
  3. Xavier Initialization ⇒ Sigmoid일때 추천 고정된 표준편차가 아닌 이전 hidden unit수에 맞추어 변화시킴
  4. He Initialization⇒ ReLU함수를 사용할때 추천

 

튜닝기법들을 알아봤는데

필수적인 것들은 activation 함수, 에포크 숫자, layer 숫자, batch 사이즈는 필수적으로 설정해주어야한다.