← Oktatóanyag áttekintése · ← Tudásbázis

Prevalencia: ugyanaz a modell, más Precision

A prevalencia a valódi pozitívok aránya az adathalmazban. A modell képessége itt fix: ugyanannyi pozitívot talál meg (Recall), és a negatívok ugyanakkora hányadára ad hamis riasztást (FPR). Mégis, ha az objektum ritka, a Precision összeomlik, mert a sok negatív eset kis hibaaránya is rengeteg FP-t ad. Ugyanez az orvosi tesztekre és a spam-szűrőkre is igaz.

Prevalencia (valós pozitívok aránya)

Recall (a modell érzékenysége)

FPR (hamis riasztás a negatívokon)

TP FN FP TN

Precision (P)

–

Recall (R)

–

Accuracy

–

A mérőszámok a prevalencia függvényében

Precision Recall (nem változik) F1

A vízszintes tengely logaritmikus. A Recall vízszintes, mert csak a pozitívokon múlik. A Precision viszont a pozitívok és negatívok arányától is függ. A kör az aktuális prevalenciát jelöli.

Mit jelent ez a te esetedben? Ha a modellt olyan képeken teszteled, ahol sok a paradicsom, a Precision magasabb lesz, mint olyan képeken, ahol alig van. A modell nem lett rosszabb, csak más a teszthalmaz összetétele. Ezért a P és az F1 csak a teszthalmaz összetételével együtt értelmezhető. A Recall és az FPR (vagy a ROC-görbe) ebből a szempontból stabilabb, a PR-görbe viszont érzékeny rá.