2020/05/6 Foot step

About Artificial Intelligence

Learned about ML processing

-표준 상관 계수 Standard correlation coefficient

한 column과 다른 columns과의 상관 관계가 얼마나 되는지 확인 가능한 기능이며 corr() mathod로 쉽게 계산 가능합니다. 선형적인 상관 관계만 측정합니다. 범위는 -1 ~ +1입니다. 산점도로 확인했을 때, 수평선이 보이면 algorithm이 잘못된 내용을 학습할 수 있으므로 제가 하는 것이 좋습니다.

-factorize()

카테고리를 텍스트에서 정숫값으로 매핑해줍니다.

-OneHotEncoder와 OrdinalEncoder

OneHotEncoder와 OrdinalEncoder를 사용하면 텍스트 카테고리를 숫자 카테고리로, 숫자 카테고리를 원-핫 벡터로 바꿀 수 있습니다. 이는 기본적으로 Sparse matrix를 출력하지만 Dense matrix를 원할 경우 'sparse=False'로 지정할 수 있습니다.

-Scaling 2가지 방법

정규화Normalization : min-max 스케일링이라고도 불리며 MinMaxScaler 변환기를 사용하여 모든 특성을 0과 1사이에 위치하도록 하고 scale을 조정합니다. 

표준화Standardization : StandardScaler 변환기를 사용하고 먼저 평균을 뺀 후 표준 편차로 나누어 분포 분산이 1이 되도록 만듭니다. 이상치에 영향을 덜 받습니다.

-Pipeline

DataFrameSelecter로 numpy array로 바꾸는 변환기를 만든 후, 이 두 pipeline을 하나로 합치기 위해 FeatureUnion으로 pipeline을 병렬로 실행하고 결과를 합쳐서 반환합니다.

-Performance measure

회귀의 성능 지표는 RMSE와 MAE가 주로 사용되며 RMSE는 모델의 예측값과 실체값 차이의 면적의 합입니다. MAE는 모델의 예측값과 실체값의 차이를 모두 더한 값입니다.

-Cross-validation

모델을 평가할 때 사용하며 훈련 세트를 더 작은 훈련세트와 검증 세트로 나누고 모델을 다시 훈련 하는데 대표적인 방법은 K-겹 교차 검증 K-fold cross-validation이 있습니다.

-모델 세부 튜닝

훌륭한 하나의 algorithm을 찾는 것보다 data preprocessing에 더 투자하고 적당한 algorithms을 2~5개 정도 훈련해 세부 튜닝을 함으로써 더 좋은 모델을 만들 수 있습니다. 세부 튜닝의 종류로는 그리드 탐색, 랜덤 탐색, 앙상블 방법등이 있습니다.

-제품 시스템에 적용.

런칭을 앞두고 입력 data source를 우리 시스템에 연결하고 test code를 작성합니다. 일정한 시간을 두고 성능을 체크하며, 모니터링 코드를 만듭니다. 시스템의 예측과 data의 quality 을 평가하며 잦은 모델 훈련이 필요합니다.

 

 

본 내용은 'Hands-On Machine Learning with Scikit-Learn and TensorFlow' 도서를 참고하였습니다.

---

About something new

---

To-do list

• [x] Get up at 7 10
• [x] Organize the blanket
• [x] Put the flower on the windowsill
• [x] Ask Bill
• [x] Do machine learning
• [x] One day One commit
• [x] Get the supplements and the chocolate, make some water.
• [x] Drink coffee, Do the diary about sleeping and thoughts
• [x] Stretch your body for 20 min
• [x] Do Eng words
• [x] Go for cardio
  • [x] Have time to think about something new
• [x] 미숫가루
• [x] Brush up on
• [x] Do blogging
• [x] Do out-put, Skim through again
• [x] Read AI news And the news
• [x] walnut and almonds
• [x] Do Intermittent fasting at 7
• [x] Stretch Ulnar nerve with 원동력 exercise
• [x] Put the flower back from the windowsill
• [x] Read books
• [x] Organize the day and create the next day's plan