AI/ML(패스트 캠퍼스) - 오차행렬, 정밀도, 재현율

 

모델 성능을 측정하기 위한 지표

오차행렬(confusion matrix)

  • 성능 지표의 기본이 되는 데이터
  • 실제 값의 참 / 거짓과 예측한 값의 참 거짓에 대한 행렬

from sklearn.metrics import confusion_matrix

confusion_matrix(y_valid, pred)

'''출력
array([[ 1,  0],
       [ 2, 88]])
'''

sns.heatmap(confusion_matrix(y_valid, pred), annot=True, cmap="Reds")
plt.xlabel("Predict")
plt.ylabel("Actual")
plt.show()

Image


정밀도(precision)와 재현율(recall)

  • 정밀도(precision) : 양성 예측 정확도. 무조건 양성으로 판단하면 좋은 정밀도를 얻기 때문에 유용하지 않음. TP / (TP + FP)
  • 재현율(recall) : 정확하게 감지한 양성 샘플의 비율. 민감도(sensitivity) 또는 True Positive Rate(TPR)이라고도 불림. TP / (TP + FN)

Image

from sklearn.metrics import precision_score, recall_score

precision_score(y_valid, pred)

'''출력
1.0
'''

recall_score(y_valid, pred)

'''출력
0.9777777777777777
'''