2020/05/15 Foot step

About Artificial Intelligence

Learned about Gradient Descent, Polynomial Regression

Cost function은 model이 data를 얼마나 잘 처리 하는지 확인하는 척도입니다. 경사 하강법은 그 Loss function을 최소화하는데에 목적이 있고 parameter를 바꿔가며 최솟값을 찾습니다.

-Gradient Descent

Batch Gradient Descent

전체 트레이닝 데이터를 하나의 Batch로 만들어 사용하는 기법입니다. 정확도가 좋지만 시간이 다소 오래걸리고 data set이 크면 메모리 문제도 생깁니다.

Stochastic Gradient Descent(SGD)

무작위(확률적)성이 강한 이 기법은 무작위로 매 epoch에서 한 개의 sample을 뽑아 실행하므로 큰 data set에도 문제없고 지역 최솟값을 건너뛰어 전역 최솟값에 다다를 확률도 높습니다. 하지만 무작위성이 있기 때문에 불안정합니다.

Mini-Batch Gradient Descent

Stochastic Gradient Descent(SGD)와 Batch Gradient Descent의 절충적인 방법이고 mini batch를 어느정도 크게 하면 SGD보다 덜 불안정합니다.

-Polynomial Regression

non-linear data를 선형 모델로 처리할 때 사용하는 회귀 모델입니다. 아이디어로는 거듭제곱을 새로운 특성으로 추가하여 선형모델을 훈련시키는 것입니다.

Ridge Regression

기본 선형 회귀 모델은 가중치 규제가 없으면 overfitting되기 쉽기 때문에 규제가 어느정도 필요한데, 기본적으로 Ridge회귀를 사용할 수 있습니다. 이는 모델의 가중치를 가능한 작게 유지 시켜줍니다.

Lasso Regression, 

특성이 많이 없다면 Lasso나 Elastic Net을 사용할 수 있는데 Lasso의 특징은 중요하지 않은 특성을 제거합니다. 차수가 높은 다항 특성의 가중치를 0으로 만들고 자동으로 특성을 만들어 Sparse model을 만듭니다.

Elastic Net

Ridge와 Lasso의 절충기법이며, 혼합 비율 r을 사용하여 r이 0이면 Ridge와 같고, 1이면 Lasso와 같습니다. 

Early stopping (Beautiful free lunch)

학습 곡선을 살펴보면 training data는 점점 최솟값을 찾고, validation은 찾는듯 하다가 다시 overfitting이 됩니다. overfitting이 되기 전에 stop하는 것을 Early Stopping이라고 하고 단순하지만 매우 효과적이라는 평이 있어 Beautiful free lunch라고도 불립니다.

 

-**kwargs/*args

 

 

 

본 내용은 'Hands-On Machine Learning with Scikit-Learn and TensorFlow' 도서를 참고하였습니다.

---

To-do list

• [x] Get up at 7 10
• [x] Organize the blanket
• [x] Put the flower on the windowsill
• [x] Ask Bill
• [x] Do machine learning
• [x] One day One commit
• [x] Get the supplements and the chocolate, make some water.
• [x] Drink coffee, Do the diary about sleeping and thoughts
• [x] Stretch your body for 20 min
• [x] Do Eng words
• [x] walnut and almonds
• [x] Go for cardio
  • [x] Have time to think about something new
• [x] 미숫가루
• [x] Brush up on
• [x] Do blogging With data
• [x] Do out-put, Skim through again
• [x] Do coursera, EdX
• [x] Read AI news And the news
• [x] Do Intermittent fasting at 7
• [x] Stretch Ulnar nerve with 원동력 exercise
• [x] Put the flower back from the windowsill
• [x] Read books with my book teacher
• [x] Organize the day and create the next day's plan
• [x] R=VD Love and Thankfulness