바이너리 분류 모델에 있어서 평가 항목

Confusion Matrix

   샘플 결과

TP	1	FN	29
FP	0	TN	970

 

1.  Accuracy (정확도)
   전체 결과에 대한 True 의 비율
   Accuracy = (TP + TN) / (TP + FN + FP + TN) = 971 / 1000 = 0.971
2.  Precision (정밀도)
   (모델의 관점) True(=1) 이라고 예측한 것 중에 실제 True의 비율
   Precision = TP / (TP + FP) = 1.0
3.  Recall (재현율)
   (True 입력 데이터의 관점) True 입력데이터중에 True라고 예측한 비율
   Recall = TP / (TP + FN) = 1 / 30 = 0.033
4. F1 Score
   Precision과 Recall의 밸랜스도를 나타낸다. 어느 한쪽이 극단적으로 낮으면 F1 도 따라서 낮아진다.
   F1 Score = 2 x (Precision x Recall) / (Precision + Recall) = 2 x 1 x 0.033 / (1 + 0.033) = 0.065

평가

모델의 Accuracy 와 Precision 은 높지만 Recall 과 F1 은 낮기 때문에 좋지 않은 모델이라 할 수 있다.

특히 Recall 을 보면 True 인 입력데이터에 대해 정확히 분류하는 비율이 3% 임을 알 수 있다.