2020/04/21 Foot step

About Machine Learning

Learned about DropOut, Cifar-10, RNN, time series data, VanishingGradientProblem, LSTM, GRU, Embedding/One-hot-encoding, GradientClipping, Char-RNN

-DropOut

학습중에 Overfitting이 일어나지 않게 방지. node에 일정확률로 사용하지 않게 만들어주는 기법.

-Cifar-10

label이 다양한 image를 classification할 때 사용되는 image data set.

-RNN

HiddenLayer에서 Error를 발견하여 다시 Recurrent하는 학습구조. 이 구조의 장점은 이전 상태에 대한 정보를 Memory형태로 저장이 가능함.

-time series data

시계열 데이터는 시간축을 중심으로 시간적 순서마다 서로 연관 관계를 가진 데이터이다. 

-VanishingGradientProblem

VanishingGradientProblem은 입력받은 data가 그 다음에 입력되는 data에 의해 update될때 점차적으로 영향력을 잃는 문제를 말한다. 

이 문제로 추후에 발생되는 또 다른 문제는 장기간으로 RNN가 data를 가져가지 못한다는 점이다.

-LSTM

VanishingGradientProblem를 해결하기 위해 나온 기법. 이 기법은 은닉층에 세가지 다른 구조의 gate을 넣어 경사도 문제를 해결.

복잡해진 수학 연산으로 고사양 computing이 요구됨.

-GRU

LSTM을 간략화 한 버전으로 gate의 갯수를 세개에서 두개로 축소. 연산량이 감소되었기 때문에 문제 해결에 선택지를 넓혀줌.

-Embedding / One-Hot-encoding

Embedding은 One-Hot-encoding의 대안으로 많이 사용되는데 Sparse한 One-Hot-encoding을 Dense하게 변환해주고 data의 차원을 축소해 연산량을 감소해준다. 또 의미가 비슷한 값을 예측해 그에 맞는 비슷한 값을 출력합니다(apple, apples, cloth, clothes)

-ExplodingGradientProblem

VanishingGradientProblem와는 반대로 LossFunction의 경사도가 너무 큰 값으로 발산해 생기는 문제지만 GradientClipping으로 해결 가능.

-Char-RNN

Charactor를 입력으로 받고 RNN으로 다음에 올 Text를 예측하는 기법. 

---

About something new

---

To-do list

• [x] Get up at 7 10
• [x] Organize the blanket
• [x] Put the flower on the windowsill
• [x] Get the supplements and the chocolate, make some water.
• [x] Drink coffee, Do the diary about sleeping and thoughts
• [x] Stretch your body for 20 min
• [x] Stretch Ulnar nerve with 원동력 exercise
• [x] Read AI news And the news
• [x] Do machine learning
• [x] One day One commit
• [x] Do Eng words
• [x] Go for cardio
  • [x] Have time to think about something new
• [x] walnut and almonds
• [x] Do Intermittent fasting at 7
• [x] Read book
• [x] Do blogging
• [x] Do out-put
• [x] Put the flower back from the windowsill
• [x] Organize the day and create the next day's plan