Gdg on Campus Ewha - Part Exchange 세션 1조

Epoch & Batch Size

 

💡목표

 

모델의 예측 값과 실제 값의 오차를 줄이는 것

Epoch

• 전체 데이터 셋을 학습한 횟수

epoch가 10회라면, 학습 데이터 셋 A를 10회 모델에 학습 시켰다는 의미

epoch 를 높일수록, 적합한 파라미터를 찾을 확률이 올라간다. (즉, 손실 값이 내려간다.)

• epoch를 지나치게 높이면?

그 학습 데이터 셋에 과적합되어 다른 데이터에 대해서 제대로 된 예측을 하지 못할 수도 있다.

 

Batch Size

모델 학습 중 파라미터를 업데이트할 때 사용할 데이터의 개수 (즉, 연산 한 번에 들어가는 데이터의 크기)

• 배치크기가 매우 크면?

한 번에 처리해야 할 데이터의 양이 많아지므로, 학습 속도가 느려지고, 메모리 부족 문제가 발생할 위험이 있다.

• 배치크기가 매우 작으면?

적은 데이터를 대상으로 가중치를 업데이트하고, 이 업데이트가 자주 발생하므로, 훈련이 불안정해진다.

→적절한 Epoch와 Batch Size 값을 오차를 최소로 하는 모델을 찾아야 함

---

지도학습 vs 비지도학습

모든 기계학습 알고리즘은 훈련 데이터(training set)를 기반으로 기계가 스스로 지식을 학습하고, 이 점에서 지도학습과 비지도학습은 이런 점을 공통적으로 지니고 있음.

 

핵심적인 차이는 학습하는 데이터의 구성이 서로 다르다는 점.

1. 지도학습의 알고리즘들은 정답이 있는 데이터(label)들을 학습. 입력 값(X data)이 주어지면 입력값에 대한 Label(Y data)를 주어 학습시킴. 데이터셋을 이용해 반복적으로 데이터를 예측하고 정답(label)과의 오차를 줄여나가며 학습. 지도 학습 모델은 비지도 학습 모델보다 더 정확한 경향이 있지만 데이터에 적절하게 레이블을 지정하려면 사전에 사람의 개입이 필요함. 예를 들어 지도 학습 모델은 시간, 기상 조건 등을 기반으로 통근 시간을 예측할 수 있지만 먼저 비가 오는 날씨가 운전 시간을 연장한다는 것을 알기 위해 훈련이 필요.

ex) classification, regression

 

2. 비지도학습의 알고리즘들은 정답(label) 없이 데이터를 학습. 이것의 목적은 인간의 개입이 없는 데이터를 스스로 학습하여 그 속의 패턴(pattern) 또는 각 데이터 간의 유사도(similarity)를 학습하게 하기 위해서임. 정답 라벨이 없는 데이터를 비슷한 특징끼리 군집화 하여 새로운 데이터에 대한 결과를 예측하는 방법. 라벨링 되어있지 않은 데이터로부터 패턴이나 형태를 찾아야 하기 때문에 지도학습보다는 조금 더 난이도가 있다고 할 수 있음. 실제로 지도 학습에서 적절한 피처를 찾아내기 위한 전처리 방법으로 비지도 학습을 이용하기도 함.

ex) clustering, association, dimensionality reduction

 

---

Activation Functions(활성화 함수)

활성화 함수 = 비선형성을 부여하기 위한 장치!

현실세계에는 선형적인 데이터보다 비선형적인 데이터가 훨씬 많다. 인공신경망에게 훨씬 복잡하고 다채로운 데이터를 학습시키기 위한 것이 Activation Functions이다.

<Activation Functions의 종류>

- Sigmoid Activation

- Tanh(hyperblic tangent) activation

- ReLU(rectified linear unit)activation

 

- Softmax activation + softplus

Binary classification->sigmoid activation

Multi class classification->softmax

unsure->ReLU