Correlazione e visualizzazione dei dati

Dopo i momenti e i quartili (Statistica per il machine learningI dati di un problema ML si organizzano nella matrice di progetto $X$ ($n$ osservazioni, $p$ variabili). La statistica serve a capirli, ripulirli e prepararli: i momenti (media $\mu$, varianza $\sigma^2$, asimmetria, curtosi), i quartili con lo scarto interquartile $\mathrm{IQR}=Q_3-Q_1$ (all'esame senza interpolazione), la moda per i dati categorici. Con queste quantità si imputano i dati mancanti (media o mediana), si eliminano le variabili costanti e si standardizza con lo z-score $z=(x-\mu)/\sigma$, usando sempre media e deviazione standard del solo training set.Statistica per il machine learning →) servono strumenti per confrontare due variabili tra loro e per guardare i dati. Gli esercizi sono Esercizio - Correlazione di Pearson su tre e quattro osservazioni e il laboratorio; il passo successivo, con più variabili alla volta, è Analisi delle componenti principali (PCA)Con $p>3$ variabili non si può disegnare il dataset. La PCA (analisi delle componenti principali) lo proietta su pochi assi ortogonali, le componenti principali: dopo aver centrato (e di solito standardizzato) i dati, le direzioni sono gli autovettori della matrice di covarianza $S=\frac1{n-1}X_c^TX_c$ ordinati per autovalore $\lambda_1\ge\lambda_2\ge\dots$; $\lambda_k$ è la varianza lungo la componente $k$ e $\lambda_k/\sum\lambda_j$ la frazione spiegata (scree plot). Trovare la retta che minimizza le distanze dai punti equivale a massimizzare la varianza delle proiezioni (Pitagora). È lineare e conserva la struttura globale, non quella locale; t-SNE e UMAP sono alternative non lineari solo per visualizzare. Approfondimento: non nel programma di Telecomunicazioni.Analisi delle componenti principali (PCA) →.

La correlazione

Definizione (correlazione). Misura statistica del grado con cui due variabili si muovono una rispetto all'altra: ne quantifica forza e direzione. I suoi valori stanno tra $-1$ e $1$:

• $+1$: correlazione positiva perfetta (se una variabile cresce, l'altra cresce in proporzione);
• $0$: nessuna correlazione (nessuna relazione, almeno lineare);
• $-1$: correlazione negativa perfetta (se una cresce, l'altra decresce in proporzione).

Coefficiente di Pearson

Formula (coefficiente di correlazione di Pearson). Per due variabili $X,Y$ osservate su $n$ campioni, con medie $\bar X,\bar Y$: $$r=\frac{\sum_{i=1}^n (X_i-\bar X)(Y_i-\bar Y)}{\sqrt{\sum_{i=1}^n (X_i-\bar X)^2}\ \cdot\ \sqrt{\sum_{i=1}^n (Y_i-\bar Y)^2}}.$$ Il numeratore rappresenta la covarianza (a meno del fattore $1/n$) tra $X$ e $Y$ (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →); il denominatore è il prodotto delle deviazioni standard (a meno degli stessi fattori). Misura la relazione lineare.

Esempio. $X=[1,0,2]$, $Y=[2,-1,5]$. Medie: $\bar X=1$, $\bar Y=2$. Scarti: $X_i-\bar X=[0,-1,1]$, $Y_i-\bar Y=[0,-3,3]$. Numeratore: $0\cdot0+(-1)(-3)+1\cdot3=6$. Somme dei quadrati: $0+1+1=2$ e $0+9+9=18$. Allora $r=\dfrac{6}{\sqrt2\,\sqrt{18}}=\dfrac{6}{\sqrt{36}}=1$.

Perché si divide per le deviazioni standard. Il numeratore da solo cambia se si cambia l'unità di misura (metri o centimetri): dividendo per $\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}$ si ottiene un numero senza unità, sempre tra $-1$ e $1$ (disuguaglianza di Cauchy-Schwarz, vedi Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →: $r$ è il coseno dell'angolo tra i due vettori degli scarti dalla media). Il segno è quello della covarianza: positivo se le due variabili stanno insieme sopra o insieme sotto la media, negativo se quando una è sopra l'altra è sotto.

Dalla covarianza a $r$, passo per passo. In probabilità la correlazione di due variabili aleatorie è $\rho=\dfrac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}$, con $\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]$ (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →; $\sigma$ è la radice della varianza: Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →). Sui dati si sostituisce il valore atteso con la media aritmetica (legge dei grandi numeri: Legge dei grandi numeri e metodo Monte CarloSe X₁, X₂, ... sono i.i.d. con media μ, la media campionaria X̄ₙ = (X₁ + ... + Xₙ)/n converge a μ: in probabilità (legge debole, dimostrata con Chebyshev se la varianza è finita: P(|X̄ₙ − μ| > ε) ≤ σ²/(nε²)) e quasi certamente (legge forte). Metodo Monte Carlo: ∫ g = E[g(U)] si stima con la media di g(U₁), ..., g(Uₙ) per uniformi indipendenti.Legge dei grandi numeri e metodo Monte Carlo →): $\widehat{\operatorname{Cov}}=\frac1n\sum(X_i-\bar X)(Y_i-\bar Y)$, $\hat\sigma_X=\sqrt{\frac1n\sum(X_i-\bar X)^2}$, $\hat\sigma_Y$ analoga. Nel rapporto il fattore $\frac1n$ compare una volta al numeratore e, come $\sqrt{\frac1n}\cdot\sqrt{\frac1n}=\frac1n$, una volta al denominatore: si semplifica e resta la formula di Pearson scritta sopra (lo stesso succede con $\frac1{n-1}$, quindi $r$ non dipende dal divisore scelto).

Perché $-1\le r\le1$. Siano $a=(X_i-\bar X)_{i}$ e $b=(Y_i-\bar Y)_{i}$ i due vettori di $\mathbb R^n$ degli scarti dalla media. Il numeratore è il prodotto scalare $a\cdot b$ e i radicali sono le norme $\lVert a\rVert$, $\lVert b\rVert$ (Norma, distanza e prodotto scalare in RnIn Rⁿ la norma è |x| = √(x₁² + … + xₙ²) e la distanza tra x e y è |x − y|. Valgono la disuguaglianza triangolare |x + y| ≤ |x| + |y| e quella di Cauchy-Schwarz |x·y| ≤ |x||y|, con uguaglianza solo per vettori paralleli. Palle B(p,r] e cubi Q(p,r] si contengono a vicenda: B(p,r] ⊆ Q(p,r] ⊆ B(p,r√n]. Rette, piani, ellissi e cilindri si riconoscono dall'equazione (completando i quadrati).Norma, distanza e prodotto scalare in Rn →): $r=\dfrac{a\cdot b}{\lVert a\rVert\,\lVert b\rVert}=\cos\theta$, con $\theta$ l'angolo tra i due vettori (Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →). Un coseno sta tra $-1$ e $1$ (Cauchy-Schwarz), e vale $\pm1$ solo se i vettori sono paralleli, cioè $b=ca$ per una costante $c$: i punti stanno esattamente su una retta. Nel primo esempio $a=(0,-1,1)$ e $b=(0,-3,3)=3a$: paralleli, $r=1$. Vale inoltre $r^2=\cos^2\theta$ = frazione della varianza di $Y$ spiegata dalla retta dei minimi quadrati (Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati →): la pendenza di quella retta è $r\,\dfrac{\hat\sigma_Y}{\hat\sigma_X}$.

Come si legge $r$. Valori vicini a $\pm1$ indicano una relazione lineare forte; vicini a $0$ nessuna relazione lineare. Non è detto che non ci sia una relazione di altro tipo (per esempio $Y=X^2$ con $X$ simmetrico intorno a $0$ ha $r=0$). Verifica con $X=[-2,-1,0,1,2]$ e $Y=X^2=[4,1,0,1,4]$: $\bar X=0$, $\bar Y=\frac{10}5=2$; scarti di $Y$: $[2,-1,-2,-1,2]$; numeratore $(-2)(2)+(-1)(-1)+0\cdot(-2)+1\cdot(-1)+2\cdot2=-4+1+0-1+4=0$, quindi $r=0$ anche se $Y$ è completamente determinata da $X$. Il motivo: a sinistra della media la relazione è decrescente, a destra crescente, e i contributi di segno opposto si cancellano. Questo è il significato probabilistico di «incorrelate non vuol dire indipendenti» (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →).

Secondo esempio, con segno negativo: $X=[0,1,2,5]$, $Y=[4,1,3,0]$. Medie $\bar X=2$, $\bar Y=2$. Scarti $[-2,-1,0,3]$ e $[2,-1,1,-2]$. Numeratore: $(-2)(2)+(-1)(-1)+0\cdot1+3\cdot(-2)=-4+1+0-6=-9$. Quadrati: $4+1+0+9=14$ e $4+1+1+4=10$. Quindi $$r=\frac{-9}{\sqrt{14}\,\sqrt{10}}=\frac{-9}{\sqrt{140}}\approx-0{,}761.$$ La relazione è decrescente e abbastanza forte, ma non perfetta. Controllo con la formula della pendenza: $\hat\sigma_X=\sqrt{14/4}=1{,}871$, $\hat\sigma_Y=\sqrt{10/4}=1{,}581$, quindi la pendenza della retta dei minimi quadrati è $r\,\frac{\hat\sigma_Y}{\hat\sigma_X}=-0{,}761\cdot0{,}845=-0{,}643$, uguale a $\frac{\sum(X_i-\bar X)(Y_i-\bar Y)}{\sum(X_i-\bar X)^2}=\frac{-9}{14}=-0{,}643$; l'intercetta si trova imponendo il passaggio per le medie, $\bar Y-\text{pendenza}\cdot\bar X=2+0{,}643\cdot2=3{,}286$ (la retta del grafico). Anche $r^2=0{,}579$: la retta spiega il $58\%$ della variabilità di $Y$.

Altre correlazioni

• Correlazione di Spearman ($\rho$): misura una relazione monotona (non per forza lineare). Invece dei valori usa i ranghi (la posizione nell'ordinamento) e calcola Pearson sui ranghi.
• Tau di Kendall ($\tau$): misura l'accordo tra due classifiche, contando coppie concordanti e discordanti.

Esempio. $X=1,2,\dots,10$ e $Y=X^3$: la relazione è sempre crescente ma non lineare. Pearson dà $r\approx0{,}928$; Spearman dà $\rho=1$, perché i ranghi coincidono. Passaggi: poiché $x\mapsto x^3$ è crescente (Funzioni monotone, pari e dispariFunzioni crescenti e decrescenti, legame tra stretta monotonia e iniettività, e simmetrie delle funzioni pari e dispari.Funzioni monotone, pari e dispari →), il più piccolo $X$ ha anche il più piccolo $Y$, e così via: il rango di $X_i$ è $i$ e quello di $Y_i$ è $i$. Pearson calcolato sui ranghi $(1,2,\dots,10)$ contro $(1,2,\dots,10)$ ha scarti identici, quindi numeratore e denominatore coincidono e $\rho=1$. Pearson sui valori non dà 1 perché la curva $Y=X^3$ non è una retta.

In questo corso «correlazione» significa sempre correlazione di Pearson.

Correlazione non implica causalità

Se due variabili sono correlate, non è detto che una sia causa dell'altra. Spesso si pensa a $C\to E$ (la causa $C$ produce l'effetto $E$), mentre la realtà può essere una causa comune non visibile che produce due effetti $E_1,E_2$: questi risultano correlati senza che l'uno causi l'altro. Esistono molti esempi di correlazioni spurie tra grandezze che non hanno nulla a che fare.

Esempio. In estate aumentano sia i gelati venduti sia gli annegamenti: la causa comune non osservata è il caldo, non è il gelato a far annegare.

A che cosa serve la correlazione nel ML

1. Capire quali variabili contano. In un problema supervisionato, la correlazione tra ciascuna feature e il target dice quali feature sono rilevanti. Nel dataset California Housing (prezzo mediano delle case) la matrice di correlazione mostra che il target MedHouseVal ha correlazione $0{,}69$ con il reddito mediano MedInc, mentre con Population ha $-0{,}02$ (quasi nulla).
2. Ridurre il dataset. Due variabili con correlazione molto alta in valore assoluto (anche $-0{,}9$, cioè molto negativa) contengono lo stesso contenuto informativo: per efficienza e per soluzioni più semplici ne basta una. Nello stesso dataset AveRooms e AveBedrms hanno $r=0{,}85$, Latitude e Longitude hanno $r=-0{,}92$.

La matrice di correlazione ($p\times p$, con $1$ sulla diagonale e simmetrica) si visualizza con una heatmap. Perché è fatta così: l'elemento $(j,k)$ è $r_{jk}$, la correlazione tra la colonna $j$ e la colonna $k$ di $X$; $r_{jj}=1$ (un vettore è parallelo a sé stesso) e $r_{jk}=r_{kj}$ (la formula è simmetrica). Se $Z$ è la matrice dei dati standardizzati (ogni colonna ha media $0$ e deviazione standard $1$, Statistica per il machine learningI dati di un problema ML si organizzano nella matrice di progetto $X$ ($n$ osservazioni, $p$ variabili). La statistica serve a capirli, ripulirli e prepararli: i momenti (media $\mu$, varianza $\sigma^2$, asimmetria, curtosi), i quartili con lo scarto interquartile $\mathrm{IQR}=Q_3-Q_1$ (all'esame senza interpolazione), la moda per i dati categorici. Con queste quantità si imputano i dati mancanti (media o mediana), si eliminano le variabili costanti e si standardizza con lo z-score $z=(x-\mu)/\sigma$, usando sempre media e deviazione standard del solo training set.Statistica per il machine learning →), la matrice di correlazione è il prodotto di matrici $R=\frac1nZ^TZ$ (Operazioni tra matriciLe matrici m×n formano uno spazio vettoriale (somma e prodotto per scalare elemento per elemento); il prodotto righe per colonne corrisponde alla composizione di funzioni lineari, è associativo ma non commutativo; la trasposta scambia righe e colonne e (AB)^T = B^T A^T.Operazioni tra matrici →): l'elemento $(j,k)$ è $\frac1n\sum_iz_{ij}z_{ik}$, la media dei prodotti di z-score, cioè la formula di Pearson. È la stessa matrice (a meno di scala) che compare nella Analisi delle componenti principali (PCA)Con $p>3$ variabili non si può disegnare il dataset. La PCA (analisi delle componenti principali) lo proietta su pochi assi ortogonali, le componenti principali: dopo aver centrato (e di solito standardizzato) i dati, le direzioni sono gli autovettori della matrice di covarianza $S=\frac1{n-1}X_c^TX_c$ ordinati per autovalore $\lambda_1\ge\lambda_2\ge\dots$; $\lambda_k$ è la varianza lungo la componente $k$ e $\lambda_k/\sum\lambda_j$ la frazione spiegata (scree plot). Trovare la retta che minimizza le distanze dai punti equivale a massimizzare la varianza delle proiezioni (Pitagora). È lineare e conserva la struttura globale, non quella locale; t-SNE e UMAP sono alternative non lineari solo per visualizzare. Approfondimento: non nel programma di Telecomunicazioni.Analisi delle componenti principali (PCA) →.

Esempio. Se due feature $A$ e $B$ hanno $r=0{,}95$ e la correlazione di $A$ con il target è $0{,}6$ e quella di $B$ è $0{,}58$, si tiene $A$ e si elimina $B$.

Gli indicatori di sintesi non bastano

Media, deviazione standard e correlazione possono ingannare.

• Quartetto di Anscombe. Quattro insiemi di dati con le stesse statistiche di sintesi (media di $x$ uguale a $9$, media di $y$ uguale a $7{,}5$, varianza di $y\approx4{,}12$, correlazione $r\approx0{,}816$, stessa retta di regressione $y=3+0{,}5x$) ma completamente diversi: uno è quasi lineare con rumore, uno è una curva, uno è lineare con un solo outlier, uno ha tutte le $x$ uguali tranne un punto.
• Datasaurus: dozzine di insiemi di dati con lo stesso valore di media, deviazione standard e correlazione, ma con forme molto diverse (compreso un dinosauro).

Morale: dopo gli indicatori numerici bisogna guardare i dati, con visualizzazioni scelte bene.

Un esempio con i dati veri dei primi due insiemi di Anscombe, $x=[10,8,13,9,11,14,6,4,12,7,5]$: insieme I, $y=[8{,}04;\,6{,}95;\,7{,}58;\,8{,}81;\,8{,}33;\,9{,}96;\,7{,}24;\,4{,}26;\,10{,}84;\,4{,}82;\,5{,}68]$; insieme II, $y=[9{,}14;\,8{,}14;\,8{,}74;\,8{,}77;\,9{,}26;\,8{,}10;\,6{,}13;\,3{,}10;\,9{,}13;\,7{,}26;\,4{,}74]$. Per entrambi (ricalcolati con numpy): media di $x$ $9$, media di $y$ $7{,}50$, varianza di $y$ (divisore $n-1$) $4{,}13$, $r=0{,}816$, retta dei minimi quadrati $y=3+0{,}5x$. Eppure nel grafico l'insieme I è una nube con rumore attorno alla retta e il II è una curva: la retta è una descrizione buona per il primo e sbagliata per il secondo.

I grafici principali

Grafici su una variabile (1D)

KDE. Si mette una funzione kernel $K$ (per esempio una campana gaussiana, Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →) centrata su ogni dato e si sommano i contributi (è una stima della densità, Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →): $$\hat f(x)=\frac{1}{nh}\sum_{i=1}^{n}K\!\left(\frac{x-x_i}{h}\right),$$ dove $h$ è la larghezza di banda (bandwidth). Perché i fattori $\frac1n$ e $\frac1h$: una densità deve avere integrale $1$ (Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →). Il kernel gaussiano $K$ ha integrale $1$ (Integrali doppi generalizzati e integrale di GaussPer f ≥ 0 su domini illimitati (o con f illimitata) l'integrale doppio generalizzato si calcola con le formule di riduzione o con un cambio di variabili: se il risultato è finito, f è integrabile e l'integrale è quel valore (criterio per funzioni positive). Con f di segno variabile gli integrali iterati possono esistere finiti ma essere diversi. Integrale di Gauss: ∫_{−∞}^{+∞} e^{−t²} dt = √π, ottenuto integrando e^{−x²−y²} sul piano in due modi (riduzione: I²; polari: π).Integrali doppi generalizzati e integrale di Gauss →). Con la sostituzione $u=(x-x_i)/h$, $dx=h\,du$ (Integrazione per sostituzioneSe nell'integranda c'è g(f(x))·f'(x), la sostituzione y = f(x), dy = f'(x)dx trasforma l'integrale in ∫g(y)dy = G(y) + k, poi si torna a x: G(f(x)) + k. Negli integrali definiti cambiano anche gli estremi (da c, d a f(c), f(d)). Si può usare anche al contrario, con x = f⁻¹(y). È il primo metodo a cui pensare; dà la tabella degli integrali "immediati per sostituzione".Integrazione per sostituzione →) si ha $\int\frac1hK\big(\frac{x-x_i}h\big)dx=\int K(u)\,du=1$: il fattore $\frac1h$ compensa l'allargamento del kernel. Sommando $n$ campane ciascuna di area $1$ l'area è $n$, e il fattore $\frac1n$ la riporta a $1$. Esempio con $3$ punti e $h=0{,}4$: $\hat f(x)=\frac{1}{3\cdot0{,}4}\sum_iK\big(\frac{x-x_i}{0{,}4}\big)$, che è la prima curva del grafico qui sotto. $h$ controlla quanto è largo ogni kernel: $h$ piccolo dà una curva a punte, $h$ grande una curva troppo liscia. Si usa per stimare e visualizzare la distribuzione vera e quando l'istogramma è troppo grossolano o fuorviante, o per confrontare più distribuzioni.

Box plot. I baffi arrivano al valore più estremo che sta entro $1{,}5\times\mathrm{IQR}$ da $Q_1$ e da $Q_3$; oltre sono disegnati come punti isolati (outlier).

Esempio. Dati $5,10,15,\dots,50,100$ ($n=11$): con la convenzione senza interpolazione $Q_1=15$, $Q_3=45$, $\mathrm{IQR}=30$. Il limite superiore dei baffi è $45+1{,}5\cdot30=90$: il valore $100$ lo supera ed è un outlier.

Perché proprio $1{,}5$. Per dati normali (Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →) i quartili stanno a $\mp0{,}6745\,\sigma$ dalla media (il livello $0{,}75$ della $N(0,1)$ è $z=0{,}6745$), quindi $\mathrm{IQR}=1{,}349\,\sigma$. Il limite superiore dei baffi è $Q_3+1{,}5\,\mathrm{IQR}=0{,}6745\sigma+2{,}023\sigma=2{,}698\,\sigma$, e fuori dai baffi (da una parte o dall'altra) cade una frazione $2\,(1-\Phi(2{,}698))=0{,}007$, cioè lo $0{,}7\%$ dei dati normali. La regola segnala quindi in media $7$ punti su $1000$ anche quando non ci sono anomalie vere, un compromesso tra falsi allarmi e sensibilità (simile alla regola a tre sigma vista in Anomaly detectionUn'anomalia (outlier) è un'osservazione che si discosta tanto dalle altre da far pensare che sia generata da un meccanismo diverso. Rilevarle serve come pulizia dei dati (solo se sono errori o rumore, non per migliorare artificialmente le metriche), come obiettivo finale (frodi, guasti, cybersicurezza) e per il monitoraggio di un modello in produzione. Metodi semplici: box plot (oltre $1{,}5,\mathrm{IQR}$), carte di controllo univariate ($\mu\pm3\sigma$) e la statistica multivariata di Hotelling $T^2=(x-\bar x)^TS^{-1}(x-\bar x)$ con soglia $\chi^2_{p,1-\alpha}$, valida per dati gaussiani e unimodali. Metodi non supervisionati multivariati danno un anomaly score: l'isolation forest isola ogni punto con split casuali (le anomalie hanno cammini corti) e calcola $s(x,n)=2^{-E(h(x))/c(n)}$, con soglia scelta dalla contaminazione. Senza etichette si valuta con esperti, eventi noti o anomalie sintetiche. Approfondimento: non nel programma di Telecomunicazioni.Anomaly detection →, che ne segnala $2{,}7$ su $1000$ ma usa media e $\sigma$, sensibili agli outlier, mentre quartili e IQR non lo sono).

Grafici su due variabili (2D)

• Heatmap di correlazione: la matrice di correlazione con colore proporzionale al valore; mostra a colpo d'occhio le relazioni.
• Scatter plot: un punto per osservazione, una variabile su $x$ e una su $y$; mostra tendenze, correlazioni, relazioni lineari o non lineari e rivela outlier. Si può arricchire con colore, dimensione o raggruppamento per codificare altre variabili.
• Matrice di scatter plot (pair plot): griglia di scatter plot per tutte le coppie di variabili; sulla diagonale si mettono istogrammi o densità della singola variabile. Utile per trovare correlazioni, andamenti, gruppi e outlier.

I grafici 3D si possono costruire ma sono difficili da leggere: i punti si sovrappongono e la prospettiva falsa le distanze. Per dati con molte variabili serve un altro approccio: la riduzione di dimensione (Analisi delle componenti principali (PCA)Con $p>3$ variabili non si può disegnare il dataset. La PCA (analisi delle componenti principali) lo proietta su pochi assi ortogonali, le componenti principali: dopo aver centrato (e di solito standardizzato) i dati, le direzioni sono gli autovettori della matrice di covarianza $S=\frac1{n-1}X_c^TX_c$ ordinati per autovalore $\lambda_1\ge\lambda_2\ge\dots$; $\lambda_k$ è la varianza lungo la componente $k$ e $\lambda_k/\sum\lambda_j$ la frazione spiegata (scree plot). Trovare la retta che minimizza le distanze dai punti equivale a massimizzare la varianza delle proiezioni (Pitagora). È lineare e conserva la struttura globale, non quella locale; t-SNE e UMAP sono alternative non lineari solo per visualizzare. Approfondimento: non nel programma di Telecomunicazioni.Analisi delle componenti principali (PCA) →). Grafici per la valutazione dei modelli (matrice di confusione, curva ROC) arriveranno in Metriche di classificazioneIn classificazione binaria ogni previsione è vero positivo (TP), vero negativo (TN), falso positivo (FP, errore di tipo I) o falso negativo (FN, errore di tipo II). Da queste quattro quantità: accuracy $=\frac{TP+TN}{TP+TN+FP+FN}$, specificità $=\frac{TN}{TN+FP}$, precision $=\frac{TP}{TP+FP}$, recall $=\frac{TP}{TP+FN}$, e la loro media armonica $F_1=\frac{2PR}{P+R}$. Con dati sbilanciati l'accuracy inganna (un modello che predice sempre la classe maggioritaria ha 99%): si usano precision, recall, F1, ROC-AUC, la cross-validation stratificata e il riequilibrio con undersampling o oversampling (non SMOTE). Cambiando la soglia sulla probabilità si ottiene la curva ROC (TPR contro FPR) e l'area AUC. Approfondimento: non nel programma di Telecomunicazioni.Metriche di classificazione →.

Codice

import pandas as pd, seaborn as sns
df = pd.read_csv("ML_resources/california_housing.csv")
corr = df.corr()                                   # matrice di correlazione di Pearson
sns.heatmap(corr, annot=True, cmap="coolwarm")     # heatmap
sns.pairplot(df.sample(1000))                      # matrice di scatter plot (campione per rapidità)
df.hist(bins=20); df.boxplot()                     # istogrammi e box plot

df.corr() con pandas e np.corrcoef(X, rowvar=False) con NumPy danno lo stesso risultato (con NumPy per default le righe sono variabili, quindi con le osservazioni in riga serve rowvar=False).

Errori tipici

• Dedurre una relazione causale da una correlazione elevata.
• Concludere che $r\approx0$ significa «nessuna relazione»: vale solo per relazioni lineari.
• Eliminare una variabile perché poco correlata con il target quando la relazione è non lineare.
• Fidarsi dei soli indicatori numerici senza guardare i dati (Anscombe, Datasaurus).
• Scambiare istogramma e bar plot: il primo è per dati continui e ha barre contigue.