Statistica per il machine learning

Prima di addestrare un modello bisogna capire i dati che gli si danno in ingresso. Questa nota raccoglie gli strumenti statistici usati a questo scopo. La parte grafica e le correlazioni sono in Correlazione e visualizzazione dei datiLa correlazione di Pearson $r=\sum(X_i-\bar X)(Y_i-\bar Y)/\big(\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}\big)\in[-1,1]$ misura la relazione lineare tra due variabili (covarianza divisa per le deviazioni standard); correlazione non implica causalità. Serve a capire quali variabili contano per il target e a eliminare quelle quasi duplicate (|r| molto alto). Gli indicatori di sintesi non bastano (quartetto di Anscombe, Datasaurus): vanno affiancati ai grafici: istogramma, KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.Correlazione e visualizzazione dei dati →; gli stessi calcoli fatti con Python sono in Python per il machine learning - NumPy, pandas e MatplotlibIl corso usa Python in Jupyter/Colab. Servono: variabili e tipi, if/for/while, funzioni (i tipi immutabili si passano per valore: per cambiare un numero la funzione deve restituirlo), classi, e le strutture list, tuple, set, dict. NumPy gestisce array e algebra lineare (assi, broadcasting, @, hstack, np.cov(rowvar=False)), pandas le tabelle (read_csv, filtri, value_counts, statistiche; var con $n-1$ contro np.var con $n$), Matplotlib e seaborn i grafici (istogrammi, box plot, heatmap, pair plot). Trappole tipiche: forma $(n,)$ contro $(n,1)$, asse sbagliato, statistiche calcolate sul dataset intero.Python per il machine learning - NumPy, pandas e Matplotlib → e negli esercizi Esercizio - Statistica descrittiva, quartili e standardizzazione di un dataset e Esercizio - Correlazione di Pearson su tre e quattro osservazioni. Il quadro generale è in Introduzione al machine learningIl machine learning (ML) è la parte dell'intelligenza artificiale che costruisce soluzioni a partire dai dati e non da regole scritte a mano: un modello matematico con parametri liberi viene addestrato su esempi storici e poi usato su dati nuovi. Si distingue tra apprendimento supervisionato (dati $(x,y)$, si impara la mappa $x\mapsto y$: regressione se $y$ è un numero, classificazione se è una categoria), non supervisionato (solo $x$, si cercano struttura e gruppi) e per rinforzo (stato, azione, ricompensa). Un progetto ML non è «plug and play»: segue le fasi problema, raccolta, pulizia, modellazione, rilascio, e va valutato su dati mai visti; senza dati non c'è modello, alcuni fenomeni sono imprevedibili, la generalizzazione fuori dal dominio di addestramento non è garantita.Introduzione al machine learning →.

Compiti, modelli e dati

Tre parole da non confondere.

• Il compito (task) è il problema specifico che si vuole risolvere: prevedere un prezzo, riconoscere un fiore, trovare gruppi di clienti.
• Il modello è una rappresentazione matematica dei pattern e delle relazioni nei dati: viene addestrato con un algoritmo per fare previsioni o decisioni a partire da dati in ingresso.
• I dati possono essere di tipo diverso (tabelle, immagini, testo) e il modello va scelto di conseguenza.

La matrice di progetto

Definizione (matrice di progetto o design matrix). I dati tabulari si organizzano in una matrice $X$ con $n$ righe e $p$ colonne:

• ogni riga è un'osservazione (o campione, sample): una volta in cui il fenomeno da descrivere compare nei dati storici, quindi $n$ è il numero di osservazioni;
• ogni colonna è un attributo (o variabile, o feature): una grandezza potenzialmente legata al fenomeno, quindi $p$ è il numero di variabili.

Esempio. Per prevedere il prezzo delle case, ogni riga è una casa venduta e le colonne sono metri quadri, numero di stanze, anno di costruzione: con 1 000 case e 3 attributi, $X$ ha $n=1000$ righe e $p=3$ colonne.

Più grande è meglio? In generale servono osservazioni $n$ numerose, ma il valore di $p$ è un compromesso: più variabili possono portare più informazione, ma anche ridondanza e rumore (vedi Overfitting, ridge regression e cross-validationUna buona prestazione sul training non basta: serve stimare quella su dati nuovi. La cross-validation (K-fold: $k$ parti, ciascuna a turno come test, errore medio; Monte Carlo: $k$ divisioni casuali con quota di test $q$; leave-one-out se $k=n$) evita di dipendere da una sola divisione casuale. L'errore atteso si scompone in $\text{bias}^2+\text{varianza}+\sigma^2$: i modelli semplici fanno underfitting (bias alto), quelli complessi overfitting (varianza alta). La regolarizzazione aggiunge alla perdita una penalità: la ridge regression minimizza $|y-X\beta|^2+\lambda\sum_{j\ge1}\beta_j^2$ e ha soluzione $\beta=(X^TX+\lambda\tilde I)^{-1}X^Ty$ (l'intercetta non si penalizza, le feature si standardizzano): riduce i coefficienti, rende l'inversa stabile con feature collineari, e $\lambda$ è un iperparametro scelto con la validazione (cross-validation annidata per non contaminare il test).Overfitting, ridge regression e cross-validation →). Non sempre è facile definire che cosa sia una «osservazione»: per un sistema descritto da serie temporali, per esempio, si calcolano grandezze su ciascuna finestra temporale e ogni finestra diventa una riga.

Che cosa deve valere prima di dare $X$ al modello.

• I dati devono essere coerenti.
• Se non c'è una conoscenza a priori, tutte le variabili vanno trattate allo stesso modo.
• Non si devono fornire informazioni ridondanti o inutili: il modello deve avere vita facile.

Gli strumenti statistici di questa nota aiutano a rispettare queste condizioni.

La pipeline e il ruolo della statistica

La pipeline di ML ha tre blocchi: preprocessing (capire e preparare i dati), costruzione del modello, valutazione. La statistica interviene in tutti e tre:

I momenti statistici

Definizione (momento di ordine $k$). Per una variabile aleatoria $X$ il momento di ordine $k$ è $E[X^k]$ (valore atteso: Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →; momenti e varianza: Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →): $$\mu_k=\int_{-\infty}^{+\infty}x^k f(x)\,dx\ \ \text{(continua)},\qquad \mu_k=\sum_x x^k\,P(X=x)\ \ \text{(discreta)}.$$

Dai momenti si costruiscono quattro indicatori che descrivono la forma della distribuzione.

Formula (indicatori teorici).

• Media: $E[X]=\mu$ (tendenza centrale).
• Varianza: $\operatorname{Var}(X)=E[(X-\mu)^2]=\sigma^2$ (dispersione).
• Asimmetria (skewness): $\operatorname{Skew}(X)=E[(X-\mu)^3]/\sigma^3$.
• Curtosi (kurtosis): $\operatorname{Kurt}(X)=E[(X-\mu)^4]/\sigma^4$.

Momenti teorici e campionari. Le formule precedenti riguardano la distribuzione vera, che non si conosce. Con i dati disponibili si calcolano le versioni campionarie, sostituendo il valore atteso con la media aritmetica sugli $n$ campioni (è lecito perché, per la Legge dei grandi numeri e metodo Monte CarloSe X₁, X₂, ... sono i.i.d. con media μ, la media campionaria X̄ₙ = (X₁ + ... + Xₙ)/n converge a μ: in probabilità (legge debole, dimostrata con Chebyshev se la varianza è finita: P(|X̄ₙ − μ| > ε) ≤ σ²/(nε²)) e quasi certamente (legge forte). Metodo Monte Carlo: ∫ g = E[g(U)] si stima con la media di g(U₁), ..., g(Uₙ) per uniformi indipendenti.Legge dei grandi numeri e metodo Monte Carlo →, la media dei campioni tende al valore atteso al crescere di $n$; il simbolo di somma è in SommatorieIl simbolo di sommatoria, le sue proprietà (linearità, additività, cambio di indice) e le somme notevoli di Gauss e geometrica.Sommatorie →):

Formula (momenti campionari). Con $X_1,\dots,X_n$ i valori osservati: $$\hat\mu_k=\frac1n\sum_{i=1}^nX_i^k,\qquad \mu=\frac{1}{n}\sum_i X_i,\qquad \sigma^2=\frac{1}{n}\sum_i(X_i-\mu)^2,$$ $$\operatorname{Skew}=\frac{\sum_i(X_i-\mu)^3}{n\,\sigma^3},\qquad \operatorname{Kurt}=\frac{\sum_i(X_i-\mu)^4}{n\,\sigma^4}.$$

Esempio. $X=[10,15,20,25,30,35,40,45,50,55]$, $n=10$. Media: $\mu=325/10=32{,}5$. Scarti dalla media: $-22{,}5,\,-17{,}5,\,\dots,\,22{,}5$.

Dettaglio sulla varianza. Il divisore è $n$ (varianza della popolazione). Molte librerie dividono per $n-1$ (stima corretta della varianza di una popolazione a partire da un campione): pandas usa $n-1$, numpy usa $n$ (con ddof=1 anche numpy usa $n-1$). Per $n$ grande la differenza è trascurabile; le slide e queste note usano $n$.

Perché esiste il divisore $n-1$ (passaggi). Siano $X_1,\dots,X_n$ indipendenti, con media vera $m$ e varianza vera $\sigma^2$ (indipendenzaA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →), e sia $\bar X=\frac1n\sum X_i$ la media campionaria. Gli scarti si misurano dalla media campionaria $\bar X$, non da $m$ (che non si conosce), e $\bar X$ è per costruzione il punto «più vicino» ai dati, quindi la somma dei quadrati risulta troppo piccola. Lo si vede così.

1. Si somma e si sottrae $m$ in ogni scarto: $X_i-\bar X=(X_i-m)-(\bar X-m)$.
2. Si eleva al quadrato e si somma su $i$: $\sum_i(X_i-\bar X)^2=\sum_i(X_i-m)^2-2(\bar X-m)\sum_i(X_i-m)+n(\bar X-m)^2$. Poiché $\sum_i(X_i-m)=n(\bar X-m)$, i due termini con $(\bar X-m)$ si riducono a $-2n(\bar X-m)^2+n(\bar X-m)^2=-n(\bar X-m)^2$. Quindi $\sum_i(X_i-\bar X)^2=\sum_i(X_i-m)^2-n(\bar X-m)^2$.
3. Si passa al valore atteso (Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →, linearità): $E[(X_i-m)^2]=\sigma^2$ per definizione di varianza (Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →) e $E[(\bar X-m)^2]=\operatorname{Var}(\bar X)=\sigma^2/n$ perché la varianza della somma di variabili indipendenti è la somma delle varianze. Allora $E\big[\sum_i(X_i-\bar X)^2\big]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=(n-1)\sigma^2$.
4. Dividendo per $n$ si ottiene in media $\frac{n-1}{n}\sigma^2$, cioè una stima troppo bassa; dividendo per $n-1$ la media è esattamente $\sigma^2$ (stima corretta, unbiased). Con $n=10$ il difetto è del $10\%$, con $n=1000$ dello $0{,}1\%$: per questo con tanti dati la differenza è trascurabile.

Che cosa dicono i quattro indicatori

• Media: il centro di gravità dei dati. Distribuzioni con la stessa media possono avere varianze molto diverse.
• Varianza $\sigma^2$ e deviazione standard $\sigma=\sqrt{\sigma^2}$ (che ha la stessa unità dei dati): quanto i valori si discostano dalla media.
• Asimmetria. È 0 per una distribuzione simmetrica. Se $\operatorname{Skew}>0$ la coda destra è più lunga (la massa è concentrata a sinistra); se $\operatorname{Skew}<0$ la coda più lunga è la sinistra. Perché il cubo: elevando a potenza dispari lo scarto $x-\mu$ conserva il segno, quindi gli scarti positivi (valori sopra la media) e quelli negativi non si cancellano per forza; in una distribuzione simmetrica per ogni scarto $+d$ c'è uno $-d$ con densità uguale e la somma dei cubi è $0$. Un valore molto lontano a destra pesa col cubo della distanza e trascina $\operatorname{Skew}$ in positivo. Si divide per $\sigma^3$ perché $\operatorname{Skew}$ sia un numero puro, indipendente dall'unità di misura (le dimensioni di $(x-\mu)^3$ sono quelle di $\sigma^3$).
• Curtosi. Misura quanto sono «pesanti» le code rispetto alla distribuzione normale (Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →), per cui $\operatorname{Kurt}=3$. Con la quarta potenza gli scarti piccoli (minori di $\sigma$) pesano pochissimo e quelli grandi moltissimo: $(2\sigma)^4=16\sigma^4$ contro $(0{,}5\sigma)^4\approx0{,}06\sigma^4$. Perciò $\operatorname{Kurt}$ è dominata dai valori estremi, ed è per questo che serve per riconoscere le code pesanti (ChebyshevMarkov: per X ≥ 0, P(X ≥ a) ≤ E[X]/a; Chebyshev: P(|X − μ| ≥ ε) ≤ Var(X)/ε²; Jensen: per φ convessa, φ(E[X]) ≤ E[φ(X)]. Stimano probabilità e medie conoscendo solo media e varianza.Disuguaglianze di Markov, Chebyshev e Jensen → limita la probabilità delle code usando solo $\sigma$).

Per l'asimmetria il caso tipico è la distribuzione con coda destra lunga, come l'esponenziale (Distribuzioni uniforme continua ed esponenzialeU(a, b) ha densità costante 1/(b − a) su [a, b], media (a + b)/2 e varianza (b − a)²/12; Exp(λ) ha densità λe^(−λx) per x ≥ 0, FdD 1 − e^(−λx), P(X > t) = e^(−λt), media 1/λ, varianza 1/λ², ed è l'unica legge continua senza memoria (versione continua della geometrica).Distribuzioni uniforme continua ed esponenziale →), che ha $\operatorname{Skew}=2$. La coda lunga sposta la media verso destra più della mediana: la media $1$ supera la mediana $\ln2\approx0{,}69$ (la mediana $m$ risolve $\int_0^m e^{-x}dx=\tfrac12$, cioè $1-e^{-m}=\tfrac12$, $m=\ln 2$; l'esponenziale è un logaritmoLa funzione esponenziale a^x (base positiva diversa da 1) e la sua inversa, il logaritmo in base a, con grafici e proprietà.Esponenziale e logaritmo →). È il motivo per cui con dati asimmetrici o con outlier si preferisce la mediana.

Esempio numerico completo

Con $X=[10,15,\dots,55]$:

1. Media: $\mu=32{,}5$.
2. Varianza: gli scarti quadratici sono $22{,}5^2=506{,}25$, $17{,}5^2=306{,}25$, $12{,}5^2=156{,}25$, $7{,}5^2=56{,}25$, $2{,}5^2=6{,}25$ (ciascuno due volte, perché i valori sono simmetrici rispetto alla media). Somma $=2\,(506{,}25+306{,}25+156{,}25+56{,}25+6{,}25)=2062{,}5$ e quindi $\sigma^2=2062{,}5/10=206{,}25$, $\sigma\approx14{,}36$.
3. Asimmetria: gli scarti cubici sono a due a due opposti ($(-22{,}5)^3=-11\,390{,}625$ e $22{,}5^3=11\,390{,}625$, e così via), quindi la somma è $0$: $\operatorname{Skew}=0$, distribuzione simmetrica.
4. Curtosi: scarti alla quarta $22{,}5^4=256\,289{,}0625$, $17{,}5^4=93\,789{,}0625$, $12{,}5^4=24\,414{,}0625$, $7{,}5^4=3164{,}0625$, $2{,}5^4=39{,}0625$ (ciascuno due volte). La somma è $2\cdot377\,695{,}3125=755\,390{,}625$, quindi $$\operatorname{Kurt}=\frac{755\,390{,}625}{10\cdot206{,}25^2}=\frac{755\,390{,}625}{425\,390{,}625}\approx1{,}78\approx1{,}8<3,$$ distribuzione platicurtica.

Attenzione a un errore nelle slide. Nelle slide le potenze quarte sono scritte come $3\,013\,025{,}56$, $938\,906{,}25$, … con somma $8\,282\,825$; i valori corretti sono quelli scritti sopra (somma $755\,390{,}625$). Il risultato finale $\operatorname{Kurt}\approx1{,}8$ (platicurtica) è comunque giusto: lo conferma anche scipy.stats.kurtosis(X, fisher=False), che restituisce $1{,}7758$. Alla classificazione («$<3$, platicurtica») non cambia nulla, ma ricalcolare le potenze quarte con precisione è il modo di non farsi ingannare.

Quartili, mediana e IQR

Definizione (quartili). Dividono i dati ordinati in quattro parti con lo stesso numero di osservazioni:

• $Q_1$ (25%): valore sotto cui cade il 25% dei dati;
• $Q_2$ (50%): la mediana, che divide i dati in due metà;
• $Q_3$ (75%): valore sotto cui cade il 75% dei dati;
• scarto interquartile $\mathrm{IQR}=Q_3-Q_1$: ampiezza dell'intervallo che contiene il 50% centrale dei dati.

I quartili sono i quantili di livello $0{,}25$, $0{,}5$, $0{,}75$: il quantile di livello $q$ è il valore $x$ in cui la funzione di distribuzioneLa funzione di distribuzione (FdD) F_X(x) = P(X ≤ x) è definita per ogni v.a., è crescente, continua a destra, va da 0 a 1 e determina la legge; per una v.a. discreta è a gradini, con salti in corrispondenza dei valori e di altezza pari alla densità.Funzione di distribuzione → $F(x)=P(X\le x)$ raggiunge $q$. Sui dati, $F$ è la percentuale cumulata dei valori $\le x$ (è la costruzione usata sotto «senza interpolazione»).

Esempio. Con $n=11$ dati $X=[5,10,\dots,55]$: $Q_1=15$, $Q_2=30$, $Q_3=45$, $\mathrm{IQR}=45-15=30$.

Perché la mediana. Spesso si usa la mediana al posto della media perché è robusta rispetto agli outlier: un solo valore molto grande sposta molto la media, quasi per niente la mediana.

Esempio. $[1,2,3,4,100]$: media $=22$, mediana $=3$.

Quartili con $n$ pari (metodo con interpolazione)

Con $n=10$ e $X=[10,15,\dots,55]$ si può prendere la media dei due valori centrali: $Q_1=\frac{20+25}{2}=22{,}5$, $Q_2=\frac{30+35}{2}=32{,}5$, $Q_3=\frac{45+50}{2}=47{,}5$, $\mathrm{IQR}=25$.

Convenzione dell'esame: senza interpolazione

Per la parte teorica dell'esame vale un'altra convenzione, che dà sempre un valore presente nel dataset:

1. si ordinano i dati;
2. si calcola la percentuale cumulata esatta di ciascun valore ($i/n$ per l'$i$-esimo);
3. per $Q_1,Q_2,Q_3$ si prende il primo valore la cui percentuale è almeno 25%, 50%, 75%.

Esempio con $n=11$. Le percentuali sono $9{,}09\%,\ 18{,}18\%,\ 27{,}27\%,\ 36{,}36\%,\ 45{,}45\%,\ 54{,}55\%,\ 63{,}64\%,\ 72{,}73\%,\ 81{,}82\%,\ 90{,}91\%,\ 100\%$. Il primo $\ge25\%$ è il $27{,}27\%$, cioè $Q_1=15$; il primo $\ge50\%$ è il $54{,}55\%$, cioè $Q_2=30$; il primo $\ge75\%$ è l'$81{,}82\%$, cioè $Q_3=45$.

Esempio con $n=10$. Le percentuali sono $10\%,20\%,\dots,100\%$. $Q_1$: primo $\ge25\%$ è $30\%$, quindi $Q_1=20$. $Q_3$: primo $\ge75\%$ è $80\%$, quindi $Q_3=45$. Per $Q_2$ la slide indica $35$ (il $60\%$) e non $30$ (che raggiunge esattamente il $50\%$): per $n$ pari l'esempio delle slide prende dunque il valore subito oltre il 50%. Il testo della regola dice «almeno 50%», quindi l'esempio non è coerente con la regola scritta; quando $n$ è pari e un valore cade esattamente sul 50%, conviene attenersi all'esempio delle slide ($Q_2=35$) e indicare nella risposta il criterio usato. La regola scritta («primo valore con percentuale almeno…») corrisponde a np.percentile(..., method="inverted_cdf") (per $n=10$ dà $20,\,30,\,45$). Il laboratorio usa invece method="higher", che sulle slide darebbe valori diversi (per $n=11$: $Q_1=20$ invece di $15$; per $n=10$: $25,\,35,\,45$), anche se il commento del notebook lo presenta come quello visto a lezione: per i quartili calcolati a mano all'esame vale la procedura delle slide, non il metodo di NumPy.

La moda

Definizione (moda). Il valore che compare più spesso nei dati. È importante per le variabili categoriche, per le quali media e mediana non hanno senso.

Esempio. $X=[1,2,2,3,4,7,9,10,10,10,12]$: media $=70/11\approx6{,}36$, mediana $=7$, moda $=10$.

Preparare il dataset

Le quantità statistiche non servono solo a descrivere i dati: servono a sistemarli per il modello. Quattro operazioni.

1. Capire il dataset

Esempio di riferimento: il dataset Iris (Fisher, 1936): $n=150$ fiori, $p=4$ variabili (lunghezza e larghezza di sepali e petali), problema di classificazione a $L=3$ classi (setosa, versicolor, virginica). Tipicamente si guardano per ciascuna variabile media, varianza, quartili e si studiano relazioni tra variabili (vedi Correlazione e visualizzazione dei datiLa correlazione di Pearson $r=\sum(X_i-\bar X)(Y_i-\bar Y)/\big(\sqrt{\sum(X_i-\bar X)^2}\sqrt{\sum(Y_i-\bar Y)^2}\big)\in[-1,1]$ misura la relazione lineare tra due variabili (covarianza divisa per le deviazioni standard); correlazione non implica causalità. Serve a capire quali variabili contano per il target e a eliminare quelle quasi duplicate (|r| molto alto). Gli indicatori di sintesi non bastano (quartetto di Anscombe, Datasaurus): vanno affiancati ai grafici: istogramma, KDE, box plot, violin plot, heatmap di correlazione, scatter plot e matrice di scatter plot.Correlazione e visualizzazione dei dati →).

2. Correggere: i dati mancanti

I dati mancanti sono comuni e molti modelli non funzionano se ci sono. Di solito non si butta via l'intera osservazione, ma si imputa il valore mancante, cioè si sostituisce con una stima:

• media o mediana della variabile, per variabili numeriche (la mediana se ci sono outlier);
• moda per variabili categoriche.

Esempio. Età $[20,30,\text{?},40,50]$: la media dei quattro valori noti è $35$, che sostituisce il mancante. Se la variabile ha quasi tutti i valori mancanti conviene invece eliminarla.

3. Migliorare: feature engineering e ridurre

L'ingegneria delle feature (feature engineering) è il processo di creare, selezionare e trasformare le variabili. I dati non si presentano sempre in forma tabulare: da una serie temporale si possono estrarre media, varianza, minimo e massimo su ogni finestra. In senso opposto, bisogna ridurre il dataset eliminando le variabili non informative, per efficienza e per soluzioni più semplici. Di solito non si sa a priori quali siano, e lo si decide durante o dopo la modellazione; con una eccezione ovvia: una variabile costante (varianza $0$) non porta informazione e va eliminata.

4. Normalizzare: lo z-score

Le variabili hanno scale diverse e quella con valori più grandi può «dominare» le altre (nel calcolo di distanze o nel penalizzare i coefficienti). La standardizzazione (z-score) porta ogni variabile a media $0$ e deviazione standard $1$.

Formula (z-score). $z=\dfrac{x-\mu}{\sigma}$, con $\mu$ e $\sigma$ media e deviazione standard della variabile (la stessa standardizzazione delle variabili gaussiane: Distribuzione gaussiana (normale)N(μ, σ²) ha densità e^(−(x−μ)²/(2σ²)) / √(2πσ²), a campana centrata in μ con larghezza σ; media μ, varianza σ²; si standardizza con Z = (X − μ)/σ ~ N(0, 1) e si calcola P(X ≤ x) = Φ((x − μ)/σ), con Φ(−z) = 1 − Φ(z); aX + b è ancora gaussiana, N(aμ + b, a²σ²).Distribuzione gaussiana (normale) →).

Esempio (dalle slide). $X=[10,12,14,16,18]$: $\mu=14$, $\sigma=3{,}162$ (con divisore $n-1$, come fa pandas); gli z-score sono $-1{,}265,\ -0{,}632,\ 0,\ 0{,}632,\ 1{,}265$. Con il divisore $n$ si avrebbe $\sigma=2{,}828$ e valori $-1{,}414,\dots,1{,}414$: le slide usano $n-1$.

Gli stessi numeri, passo per passo.

1. Media: $(10+12+14+16+18)/5=70/5=14$.
2. Scarti $x-\mu$: $-4,\,-2,\,0,\,2,\,4$; al quadrato $16,\,4,\,0,\,4,\,16$; somma $=40$.
3. Varianza con $n-1=4$: $40/4=10$, quindi $\sigma=\sqrt{10}\approx3{,}162$ (con $n=5$ sarebbe $40/5=8$ e $\sigma=\sqrt8\approx2{,}828$).
4. Si divide ogni scarto per $\sigma$: $-4/3{,}162=-1{,}265$; $-2/3{,}162=-0{,}632$; $0$; $0{,}632$; $1{,}265$.

Perché lo z-score ha media 0 e deviazione standard 1. Sia $Z=(X-\mu)/\sigma$. Per la linearità del valore atteso (Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →) $E[Z]=(E[X]-\mu)/\sigma=0$. Per la varianza una costante sottratta non conta e una costante moltiplicativa $a$ esce al quadrato (Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →): $\operatorname{Var}(Z)=\operatorname{Var}(X)/\sigma^2=1$. Si può controllare sui numeri sopra: la somma degli z-score è $-1{,}265-0{,}632+0+0{,}632+1{,}265=0$ e la somma dei loro quadrati è $1{,}6+0{,}4+0+0{,}4+1{,}6=4=n-1$, cioè varianza campionaria $1$ con divisore $n-1$. Il motivo pratico: se una variabile è in metri (valori $\sim1$) e un'altra in euro (valori $\sim10^5$), una distanza euclidea (Norma, distanza e prodotto scalare in RnIn Rⁿ la norma è |x| = √(x₁² + … + xₙ²) e la distanza tra x e y è |x − y|. Valgono la disuguaglianza triangolare |x + y| ≤ |x| + |y| e quella di Cauchy-Schwarz |x·y| ≤ |x||y|, con uguaglianza solo per vettori paralleli. Palle B(p,r] e cubi Q(p,r] si contengono a vicenda: B(p,r] ⊆ Q(p,r] ⊆ B(p,r√n]. Rette, piani, ellissi e cilindri si riconoscono dall'equazione (completando i quadrati).Norma, distanza e prodotto scalare in Rn →) è decisa quasi solo dagli euro; dopo la standardizzazione le due contano allo stesso modo.

Regola fondamentale. $\mu$ e $\sigma$ si calcolano sul solo training set e si usano gli stessi per standardizzare validation e test: calcolarli sul dataset completo fa «trapelare» informazione dal test al training e falsa la valutazione (Regressione lineareNell'apprendimento supervisionato si impara una funzione $F(x)$ dagli esempi $(x,y)$: regressione se $y$ è continua, classificazione se è categorica. Il modello lineare è $F_\beta(x)=\beta_0+\beta_1x_1+\dots+\beta_px_p=X\beta$ (con una colonna di uni per $\beta_0$) e i parametri si scelgono minimizzando l'errore quadratico medio $\mathrm{MSE}=\frac1n\sum_i(y_i-F_\beta(x_i))^2$, funzione convessa dei parametri. Annullando il gradiente di $J(\beta)=|y-X\beta|^2$ si ottengono le equazioni normali $X^TX\beta=X^Ty$ e la soluzione dei minimi quadrati ordinari $\beta=(X^TX)^{-1}X^Ty$. Il coefficiente di determinazione $R^2=1-SS_{res}/SS_{tot}$ misura la qualità del fit (0 = come la media, negativo = peggio della media). Un modello va valutato su un test set mai usato per addestrare: l'errore sul training è ottimistico e un polinomio di grado alto lo azzera senza generalizzare.Regressione lineare →). La normalizzazione fa risparmiare molto tempo di addestramento ed è spesso il passaggio dimenticato.

Errori tipici

• Calcolare media e deviazione standard sul dataset intero (training più test) prima di dividere.
• Confondere la varianza con divisore $n$ e quella con divisore $n-1$: indicare sempre quale si usa.
• Usare la media per dati con outlier o categorici: meglio mediana e moda.
• Imputare con la media prima della divisione train/test e usare statistiche calcolate anche sul test.
• Scordarsi di eliminare le variabili costanti.