Metriche di classificazione

Per un problema di classificazione (Classificazione e k-nearest neighborsNella classificazione l'uscita $y$ è una categoria (con $C$ classi; $C=2$ è il caso binario). Il classificatore più semplice è il k-nearest neighbors: una nuova osservazione prende la classe più frequente (voto di maggioranza) tra i suoi $k$ vicini più prossimi nel training, con distanza euclidea $\sqrt{\sum(A_i-B_i)^2}$ o di Manhattan $\sum|A_i-B_i|$ (per la regressione si fa la media dei vicini). $k$ è un iperparametro: $k$ piccolo dà bordi frastagliati e overfitting, $k$ grande underfitting. È un metodo basato su istanze e «pigro» (nessun addestramento, costo alla predizione), sensibile a scala e feature irrilevanti e alla maledizione della dimensionalità; gli ingressi categorici si codificano con one-hot. Approfondimento: non nel programma di Telecomunicazioni.Classificazione e k-nearest neighbors →, Regressione logistica e softmaxLa regressione lineare non è adatta alla classificazione (valori fuori da [0,1], retta tirata dai punti lontani). La regressione logistica passa il predittore lineare dalla sigmoide $\sigma(z)=1/(1+e^{-z})$ e interpreta $\hat y=\sigma(x^T\beta)$ come $P(y=1\mid x)$: si predice la classe 1 se $\hat y\ge0{,}5$, cioè $x^T\beta\ge0$ (bordo lineare). L'errore quadratico dà una funzione non convessa; si usa la log-verosimiglianza negativa $-\sum[y\log\hat y+(1-y)\log(1-\hat y)]$, convessa, con gradiente $X^T(\hat y-y)$ e nessuna formula chiusa (discesa del gradiente). Per più classi: one-vs-one ($C(C-1)/2$ classificatori, voto), one-vs-all ($C$ classificatori, massima probabilità), o la softmax $p_c=e^{z_c}/\sum_ke^{z_k}$ con cross-entropia. Si può regolarizzare (ridge, LASSO, Elastic Net) e la cross-validation si fa stratificata. Approfondimento: non nel programma di Telecomunicazioni.Regressione logistica e softmax →) le metriche di regressione (MSE, $R^2$) non valgono: servono indici che contino le previsioni giuste e sbagliate di ciascun tipo. Gli esercizi sono Esercizio - Metriche di classificazione da una matrice di confusione e Esercizio - Curva ROC e AUC di una foresta casuale e di un albero.

La matrice di confusione

Definizione (matrice di confusione). Tabella che incrocia la classe vera (actual, righe) con la classe prevista (predicted, colonne). Ogni cella conta quante osservazioni hanno quella combinazione; la diagonale contiene le previsioni corrette.

Nella classificazione binaria si chiama positiva la classe di interesse (malattia presente, mail spam, transazione fraudolenta, debito che andrà in default) e negativa l'altra (assenza della condizione). Le quattro celle sono:

• TP: positivo previsto positivo. TN: negativo previsto negativo.
• FP: negativo previsto positivo (falso allarme).
• FN: positivo previsto negativo (mancata rilevazione).

Esempio. Con etichette vere $[1,1,1,1,0,0,0,1,1,1]$ e previste $[1,1,1,1,0,0,1,0,0,0]$: TP $=4$ (le prime quattro), TN $=2$ (posizioni 5 e 6), FP $=1$ (posizione 7: vero $0$, previsto $1$), FN $=3$ (posizioni 8, 9, 10: vero $1$, previsto $0$).

Le metriche principali

Formula (accuracy, specificità, precision, recall). $$\text{accuracy}=\frac{TP+TN}{TP+TN+FP+FN},\qquad\text{specificità}=\frac{TN}{TN+FP},$$ $$\text{precision}=\frac{TP}{TP+FP},\qquad\text{recall (sensibilità, TPR)}=\frac{TP}{TP+FN}.$$

• Accuracy (tasso di classificazione): frazione di previsioni corrette sul totale. $1$ = classificatore perfetto; $\approx1/C$ = caso.
• Specificità: tra i casi realmente negativi, la frazione riconosciuta come tale. Dice quanto bene il modello evita i falsi allarmi; conta quando i falsi positivi sono costosi o problematici.
• Precision (precisione): tra le previsioni positive, la frazione corretta. Dice quanto sono affidabili le previsioni positive; si sceglie al posto della specificità quando interessa la qualità delle previsioni positive.
• Recall (richiamo, sensibilità, true positive rate): tra i casi realmente positivi, la frazione trovata. Risponde a «di tutti i positivi veri, quanti ne ha classificati bene?».

Esempio (stessi dati). Accuracy $=\frac{4+2}{10}=0{,}6$; specificità $=\frac{2}{2+1}=0{,}667$; precision $=\frac{4}{4+1}=0{,}8$; recall $=\frac{4}{4+3}=0{,}571$. Il modello è quindi affidabile quando dice «positivo» ($0{,}8$) ma trova solo il $57\%$ dei positivi.

Dove stanno i denominatori (probabilità condizionata). Ogni metrica è una probabilità condizionataLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata → $P(A\mid B)=P(A\cap B)/P(B)$, cioè «una frazione calcolata dentro il gruppo $B$». Cambia solo il gruppo su cui si condiziona. Chiamiamo $Y$ la classe vera e $\hat Y$ quella prevista:

• accuracy $=P(\hat Y=Y)$: il gruppo è tutto il test set, denominatore $TP+TN+FP+FN$;
• recall $=P(\hat Y=1\mid Y=1)$: il gruppo è la riga dei veri positivi, denominatore $TP+FN$ (i positivi reali);
• specificità $=P(\hat Y=0\mid Y=0)$: la riga dei veri negativi, denominatore $TN+FP$;
• precision $=P(Y=1\mid\hat Y=1)$: il gruppo è la colonna dei previsti positivi, denominatore $TP+FP$. Nei dati $P(A\cap B)$ è una frequenza ($TP/N$) e $P(B)$ un'altra ($(TP+FP)/N$): il fattore $N$ si semplifica e resta il rapporto tra conteggi. Recall e precision condizionano in direzioni opposte ($P(\hat Y\mid Y)$ contro $P(Y\mid\hat Y)$), che è il motivo per cui possono essere molto diverse.

Da recall a precision con la formula di Bayes. Se la classe positiva è rara, anche un modello con recall e specificità alte ha precision bassa. Con la formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes → si passa da una direzione all'altra: indicata con $\pi=P(Y=1)$ la prevalenza dei positivi, $$\text{precision}=P(Y=1\mid\hat Y=1)=\frac{P(\hat Y=1\mid Y=1)\,\pi}{P(\hat Y=1\mid Y=1)\,\pi+P(\hat Y=1\mid Y=0)\,(1-\pi)}=\frac{\text{recall}\cdot\pi}{\text{recall}\cdot\pi+(1-\text{specificità})(1-\pi)}.$$ Il denominatore è la probabilità totale di prevedere «positivo»: arriva dai veri positivi (peso $\pi$) o dai negativi scambiati per positivi (peso $1-\pi$). Esempio. Prevalenza $\pi=1\%$, recall $=$ specificità $=0{,}95$. Su $1000$ casi: $10$ positivi, di cui $0{,}95\cdot10=9{,}5$ trovati ($TP$); $990$ negativi, di cui $0{,}05\cdot990=49{,}5$ scambiati per positivi ($FP$). Allora precision $=\frac{9{,}5}{9{,}5+49{,}5}=0{,}161$: meno di una previsione positiva su cinque è giusta, pur con due indici da $95\%$. Con dati sbilanciati questo è il motivo per cui conviene guardare la precision e non solo la specificità.

Come scegliere. Dipende dal costo degli errori: in manutenzione predittiva o diagnosi si vuole un recall alto (meglio un controllo inutile che un guasto non previsto, a costo di più falsi positivi); per un filtro antispam che non deve bloccare mail vere si vuole alta precision.

Il punteggio $F_1$

Precision e recall si compensano: abbassare la soglia aumenta il recall e di solito riduce la precision. Per riassumere le due in un numero si usa la media armonica: $$F_1=\frac{2\,\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}}.$$ La media armonica è dominata dal valore più piccolo: con precision $=1$ e recall $=0{,}1$ la media aritmetica sarebbe $0{,}55$ mentre $F_1=\frac{2\cdot1\cdot0{,}1}{1{,}1}=0{,}18$.

Da dove viene la formula (passaggi). La media armonica di due numeri $P,R>0$ è l'inverso della media aritmetica degli inversi:

1. si invertono i due valori: $1/P$ e $1/R$;
2. si fa la media aritmetica: $\frac12\left(\frac1P+\frac1R\right)$;
3. si inverte di nuovo: $\left[\frac12\left(\frac1P+\frac1R\right)\right]^{-1}=\frac{2}{\frac1P+\frac1R}$;
4. si porta a denominatore comune $\frac1P+\frac1R=\frac{R+P}{PR}$, quindi si ottiene $\frac{2PR}{P+R}$. Perché non la media aritmetica: se $P=1$ e $R\to0$ la media aritmetica tende a $0{,}5$ (sembra un modello discreto), mentre $1/R\to\infty$ trascina la media armonica a $0$ (un modello che non trova positivi è inutile). Il valore piccolo prevale perché dopo l'inversione diventa il termine grande.

Esempio. Con precision $0{,}8$ e recall $0{,}571$: $F_1=\frac{2\cdot0{,}8\cdot0{,}571}{1{,}371}=0{,}667$.

Sostituendo $P=\frac{TP}{TP+FP}$ e $R=\frac{TP}{TP+FN}$ si trova una forma direttamente sui conteggi: $F_1=\frac{2\,TP}{2\,TP+FP+FN}$. Controllo con l'esempio: $\frac{2\cdot4}{8+1+3}=\frac{8}{12}=0{,}667$, uguale a quello di sopra. Si nota che $TN$ non compare: $F_1$ ignora i veri negativi, come precision e recall, ed è per questo adatta alla classe minoritaria.

Quando l'accuracy inganna: dati sbilanciati

Esempio (dalle slide, filtro antispam). Modello 1: delle mail spam, $27$ sono previste spam e $6$ non spam; delle non spam, $10$ sono previste spam e $57$ non spam. TP $=27$, FN $=6$, FP $=10$, TN $=57$: accuracy $=\frac{84}{100}=0{,}84$, recall $=0{,}818$, specificità $=0{,}851$, precision $=\frac{27}{37}=0{,}730$, $F_1=0{,}771$. (La tabella delle slide riporta $83{,}44\%$, che è la media delle due percentuali di riga, $81{,}81\%$ e $85{,}07\%$, cioè la media di recall e specificità, detta balanced accuracy, e non l'accuracy.) Modello 2: su $1000$ mail ($10$ spam e $990$ non spam) predice sempre «non spam»: TP $=0$, FN $=10$, FP $=0$, TN $=990$. Accuracy $=\frac{990}{1000}=99\%$, ma recall $=0$: non trova nessuno spam ed è inutile. La precision è $0/0$, indefinita.

Con le classi sbilanciate dunque:

1. Il modello può ignorare la classe minoritaria. Con $90\%$ di classe A e $10\%$ di B si ottiene il $90\%$ di accuracy predicendo sempre A: metriche ingannevoli, alta accuracy e prestazioni pessime sulla minoritaria.
2. L'addestramento è sbilanciato. Algoritmi come la regressione logistica, le SVM e le reti neurali tendono a ottimizzare la classe maggioritaria: cattiva generalizzazione sulla minoritaria e bordi di decisione distorti.

Quindi vanno usate metriche adeguate (precision, recall, $F_1$, ROC-AUC), la cross-validation stratificata (Regressione logistica e softmaxLa regressione lineare non è adatta alla classificazione (valori fuori da [0,1], retta tirata dai punti lontani). La regressione logistica passa il predittore lineare dalla sigmoide $\sigma(z)=1/(1+e^{-z})$ e interpreta $\hat y=\sigma(x^T\beta)$ come $P(y=1\mid x)$: si predice la classe 1 se $\hat y\ge0{,}5$, cioè $x^T\beta\ge0$ (bordo lineare). L'errore quadratico dà una funzione non convessa; si usa la log-verosimiglianza negativa $-\sum[y\log\hat y+(1-y)\log(1-\hat y)]$, convessa, con gradiente $X^T(\hat y-y)$ e nessuna formula chiusa (discesa del gradiente). Per più classi: one-vs-one ($C(C-1)/2$ classificatori, voto), one-vs-all ($C$ classificatori, massima probabilità), o la softmax $p_c=e^{z_c}/\sum_ke^{z_k}$ con cross-entropia. Si può regolarizzare (ridge, LASSO, Elastic Net) e la cross-validation si fa stratificata. Approfondimento: non nel programma di Telecomunicazioni.Regressione logistica e softmax →) e, se serve, il riequilibrio del dataset.

Riequilibrare il dataset

• Undersampling: si riduce a caso il numero di campioni della classe maggioritaria. Pro: semplice e veloce, riduce i tempi di addestramento, può migliorare la minoritaria. Contro: si perde informazione utile (soprattutto con pochi dati) e si può andare in underfitting se si scarta troppo.
• Oversampling: si aumenta la classe minoritaria, semplicemente duplicando campioni esistenti. Pro: bilancia senza perdere informazione. Contro: rischio di overfitting (si ripetono gli stessi punti) e i dati sintetici possono non rispecchiare la distribuzione vera.
• Esiste una procedura popolare detta SMOTE (che crea campioni sintetici): le slide avvertono di non usarla, perché, pur diffusa, non ci sono prove scientifiche che funzioni.

Il riequilibrio si applica solo al training: il test set deve mantenere la distribuzione originale per stimare la prestazione reale.

Esempio. Con $900$ campioni A e $100$ B: l'undersampling porta a $100$ e $100$ (si scartano $800$ campioni); l'oversampling a $900$ e $900$ (ogni B è ripetuto in media $9$ volte).

Metriche per più classi

Con $C>2$ la matrice di confusione è $C\times C$ e l'accuracy è la somma della diagonale divisa per il totale. Per precision e recall si considera ogni classe contro tutte le altre e poi si media (media macro: media semplice tra le classi).

Esempio. Matrice (righe vere, colonne previste) con Cat, Dog, Horse: $\begin{bmatrix}8&1&1\\2&10&0\\0&2&8\end{bmatrix}$. Prima i totali: somme di riga (veri) $10,\,12,\,10$, somme di colonna (previsti) $10,\,13,\,9$, totale $32$. Per una classe $c$: $TP$ è la cella diagonale, $FN$ la somma della sua riga meno la diagonale, $FP$ la somma della sua colonna meno la diagonale. Accuracy $=\frac{8+10+8}{32}=0{,}8125$. Cat: TP $=8$, FP $=2+0=2$ (colonna meno diagonale), FN $=1+1=2$ (riga meno diagonale): precision $0{,}8$, recall $0{,}8$. Dog: precision $\frac{10}{1+10+2}=0{,}769$, recall $\frac{10}{12}=0{,}833$. Horse: precision $\frac{8}{1+0+8}=0{,}889$, recall $0{,}8$. Medie macro: precision $\frac{0{,}8+0{,}769+0{,}889}{3}=0{,}819$, recall $\frac{0{,}8+0{,}833+0{,}8}{3}=0{,}811$ (media aritmetica, ogni classe pesa $1/3$ anche se ha meno esempi).

Soglia di decisione, curva ROC e AUC

I modelli che producono una probabilità o un punteggio (regressione logistica, foresta casuale con la frazione di voti) classificano confrontando il punteggio con una soglia, di solito $0{,}5$. Cambiare la soglia sposta il compromesso tra i due errori: soglia alta, pochi positivi previsti (pochi falsi positivi, ma molti falsi negativi); soglia bassa, molti positivi previsti.

Definizione (curva ROC). Per ogni soglia $t$ (si predice positivo se punteggio $\ge t$) si calcolano il tasso di veri positivi $\text{TPR}=\frac{TP}{TP+FN}$ (la recall) e il tasso di falsi positivi $\text{FPR}=\frac{FP}{FP+TN}=1-\text{specificità}$; la curva ROC (receiver operating characteristic) riporta TPR contro FPR. L'area sotto la curva si chiama AUC: $1$ per un classificatore perfetto, $0{,}5$ per uno casuale (la diagonale). Un buon classificatore ha la curva vicina all'angolo in alto a sinistra.

Esempio. Etichette $y=[0,0,1,1]$ e punteggi $[0{,}1;\,0{,}4;\,0{,}35;\,0{,}8]$. Soglia $0{,}8$: previsti positivi solo il punteggio $0{,}8$ (vero positivo): TPR $=1/2$, FPR $=0$, punto $(0;\,0{,}5)$. Soglia $0{,}4$: positivi i punteggi $0{,}8$ e $0{,}4$ (quest'ultimo è un negativo): TP $=1$, FP $=1$, punto $(0{,}5;\,0{,}5)$. Soglia $0{,}35$: TP $=2$, FP $=1$, punto $(0{,}5;\,1)$. Soglia $0{,}1$: tutti positivi, punto $(1;\,1)$. Area per rettangoli: $0{,}5\cdot0{,}5$ (tra $\text{FPR}=0$ e $0{,}5$ a quota $0{,}5$) $+\ 0{,}5\cdot1$ (tra $0{,}5$ e $1$ a quota $1$) $=0{,}25+0{,}5=0{,}75$. Lo stesso valore si ottiene contando le coppie (positivo, negativo) in cui il positivo ha punteggio più alto: $3$ su $4$ $\Rightarrow0{,}75$: l'AUC è la probabilità che un positivo preso a caso abbia un punteggio maggiore di un negativo preso a caso.

Perché la curva ha quella forma: due distribuzioni di punteggi e una soglia. Il punteggio dei negativi e quello dei positivi sono due variabili aleatorie con densità diverse (qui, per fissare le idee, due normali Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) → con la stessa deviazione standard $1$ e medie $0$ e $2$). Fissata la soglia $t$, il $\text{FPR}$ è la probabilità che un negativo superi $t$, cioè l'area della densità dei negativi a destra di $t$; il $\text{TPR}$ è l'area della densità dei positivi a destra di $t$ (Funzione di distribuzioneLa funzione di distribuzione (FdD) F_X(x) = P(X ≤ x) è definita per ogni v.a., è crescente, continua a destra, va da 0 a 1 e determina la legge; per una v.a. discreta è a gradini, con salti in corrispondenza dei valori e di altezza pari alla densità.Funzione di distribuzione →: area a destra $=1-F(t)$). Con $t=1$ (a metà tra le due medie): $\text{FPR}=1-\Phi(1)=0{,}159$ e $\text{TPR}=1-\Phi(-1)=\Phi(1)=0{,}841$. Spostando $t$ da $+\infty$ a $-\infty$ il punto $(\text{FPR},\text{TPR})$ va da $(0,0)$ a $(1,1)$ e disegna la curva ROC: le due code destre crescono insieme, ma se le campane sono ben separate il TPR sale molto prima dell'FPR.

Il punto $(0{,}159;\,0{,}841)$ è uno dei punti della ROC di questo modello. Per due normali con la stessa varianza $1$ e medie che distano $d$, la probabilità che un positivo superi un negativo è $P(X_+>X_-)=\Phi(d/\sqrt2)$ (la differenza di due normali indipendenti è una normale di media $d$ e varianza $2$, Somma di variabili aleatorie indipendentiSe X e Y sono indipendenti, la legge di Z = X + Y è la convoluzione: p_Z(n) = Σ_k p_X(k) p_Y(n − k) nel discreto, f_Z(z) = ∫ f_X(z − y) f_Y(y) dy nel continuo. Casi notevoli: Bin(n,p) + Bin(m,p) = Bin(n+m,p), Poi(λ) + Poi(μ) = Poi(λ+μ), Geo + Geo con densità (n−1)p²(1−p)^(n−2), Exp(λ) + Exp(λ) = Γ(2,λ), gaussiane indipendenti sommano medie e varianze.Somma di variabili aleatorie indipendenti →): con $d=2$ si ha $\Phi(\sqrt2)=\Phi(1{,}414)=0{,}921$, che è l'AUC. Con $d=0$ (campane sovrapposte) $\Phi(0)=0{,}5$: classificatore casuale.

Perché l'AUC è una probabilità (passaggi). Si prende un positivo e un negativo a caso: in $m\cdot n$ coppie (se ci sono $m$ positivi e $n$ negativi) si conta quante volte il positivo ha punteggio maggiore. Nell'esempio dei quattro punteggi le coppie sono $2\cdot2=4$ e quelle «vinte» sono $3$ (la coppia persa è il positivo $0{,}35$ contro il negativo $0{,}4$): $3/4=0{,}75$. Ogni coppia vinta corrisponde a un rettangolino di area $\frac1m\cdot\frac1n$ sotto la curva (ogni positivo fa fare un passo di altezza $1/m$, ogni negativo un passo di larghezza $1/n$), quindi l'area totale è $\frac{\text{coppie vinte}}{mn}$: area e probabilità coincidono.

Codice

import numpy as np
def confusion_counts(y_true, y_pred):
    TP = np.sum((y_true == 1) & (y_pred == 1)); TN = np.sum((y_true == 0) & (y_pred == 0))
    FP = np.sum((y_true == 0) & (y_pred == 1)); FN = np.sum((y_true == 1) & (y_pred == 0))
    return TP, TN, FP, FN

TP, TN, FP, FN = confusion_counts(y_true, y_pred)
accuracy    = (TP + TN) / (TP + TN + FP + FN)
specificity = TN / (TN + FP)
precision   = TP / (TP + FP)
recall      = TP / (TP + FN)
f1          = 2 * precision * recall / (precision + recall)
# scikit-learn: accuracy_score, precision_score, recall_score, f1_score, roc_curve, roc_auc_score

Con un test set di $115$ campioni del dataset breast cancer (positiva la classe $1$) e $k=20$ vicini, il laboratorio ottiene accuracy $0{,}922$, specificità $0{,}860$, precision $0{,}920$, recall $0{,}958$ ($F_1=0{,}939$); con la regressione logistica sui dati standardizzati accuracy $0{,}983$, specificità $0{,}953$, precision $0{,}973$, recall $1$.

Errori tipici

• Valutare un problema sbilanciato con l'accuracy.
• Confondere precision (colonna: tra i previsti positivi) e recall (riga: tra i veri positivi).
• Rieseguire il riequilibrio (oversampling) prima della divisione in training e test: i duplicati finiscono in entrambi gli insiemi e la stima è falsata.
• Dimenticare che la soglia $0{,}5$ è una scelta: dipende dal costo dei due errori.
• Calcolare la media macro come se fosse l'accuracy.
• Confondere specificità e recall (sono entrambe «tassi», ma di classi diverse).