2020/04/27 Foot step

About Artificial Data_preprocessing

Learned about Data_preprocessing

-Data_preprocessing

data전처리는 문제 파악과 마찬가지로 너무 중요한 작업이기 때문에 data를 얻고 수정하는 작업에 노력을 기울여야 합니다.

Training Data와 Validation Data로 확실히 구분해 Model을 통해 학습하는 것도 중요합니다.

-Stratified sampling

Training Data와 Validation Data를 나눌때 random하게 나눈다면 편차가 발생할 수 있기 때문에 매 class의 일정 비율을 random sampling을 진행 하는 것.

-PipeLine

복잡한 Preprocessing을 Automation해주는 Process. scikit-learn에 규칙에 맞춰 class를 만들어 준다면 FeatureUnion를 통해 구현 가능

-MissingDataProcessing

Data Nan값을 채워주는 방법. info() mathod를 통해 MissingData파악 후 fillna() mathod로 median을 Nan값에 채워넣습니다.

-DataScaling

ML supervised learning은 data scaling에 매우 민감하므로(트리기반 model 제외) 대표적인 방법 min-maxScaling을 통해 특성별 scale조정.

 

---

About something new

Misuse of using data to control human in a bad way

---

To-do list

• [x] Get up at 7 10
• [x] Organize the blanket
• [x] Put the flower on the windowsill
• [x] Do machine learning
• [x] One day One commit
• [x] Get the supplements and the chocolate, make some water.
• [x] Drink coffee, Do the diary about sleeping and thoughts
• [x] Stretch your body for 20 min
• [x] Stretch Ulnar nerve with 원동력 exercise
• [x] Read AI news And the news
• [x] Do Eng words
• [x] Go for cardio
  • [x] Have time to think about something new
• [x] 미숫가루
• [x] Brush up on
• [x] walnut and almonds
• [x] Do Intermittent fasting at 7
• [x] Read book
• [x] Do blogging
• [x] Do out-put
• [x] Put the flower back from the windowsill
• [x] Organize the day and create the next day's plan