Covarianza e coefficiente di correlazione

Punto 4 del programma ("covarianza e coefficiente di correlazione; indipendenza e non-correlazione"). Prerequisiti: Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →, Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →. Seguito: Vettori gaussianiX = (X₁, ..., Xₙ) è un vettore gaussiano N(m, Σ) se ogni combinazione lineare a·X è gaussiana (equivalentemente X = m + AZ con Z gaussiane standard indipendenti); se Σ è invertibile ha densità exp(−½(x−m)ᵀΣ⁻¹(x−m)) / √((2π)ⁿ det Σ). Proprietà chiave: AX + b ~ N(Am + b, AΣAᵀ), le marginali sono gaussiane e componenti non correlate sono indipendenti.Vettori gaussiani →.

Il problema: la varianza di una somma

Per la media di una somma vale sempre $E[X + Y] = E[X] + E[Y]$. Per la varianza no: sviluppando il quadrato, con $\mu_X = E[X]$ e $\mu_Y = E[Y]$,

$$\text{Var}(X + Y) = E\big[((X - \mu_X) + (Y - \mu_Y))^2\big] = \text{Var}(X) + \text{Var}(Y) + 2\,E[(X - \mu_X)(Y - \mu_Y)].$$

I passaggi. La media di $X + Y$ è $\mu_X + \mu_Y$, quindi per la definizione di varianzaI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti → $\text{Var}(X + Y) = E[(X + Y - \mu_X - \mu_Y)^2]$, e dentro la parentesi si raggruppa $(X - \mu_X) + (Y - \mu_Y)$. Il quadrato di un binomio, $(A + B)^2 = A^2 + B^2 + 2AB$, con $A = X - \mu_X$ e $B = Y - \mu_Y$, e la linearità della media danno $E[A^2] + E[B^2] + 2E[AB]$, dove $E[A^2] = \text{Var}(X)$ e $E[B^2] = \text{Var}(Y)$.

Il termine in più misura come le due v.a. si muovono insieme rispetto alle loro medie, e gli si dà un nome.

Definizione

Definizione (covarianza). La covarianza di $X$ e $Y$ (con momento secondo finito) è $$\text{Cov}(X, Y) := E\big[(X - E[X])(Y - E[Y])\big].$$

Esempio. $X, Y \in \{0,1\}$ con $p(0,0) = p(1,1) = \frac{1}{2}$: $E[XY] = \frac{1}{2}$ e $E[X] = E[Y] = \frac{1}{2}$, quindi $\text{Cov}(X,Y) = \frac{1}{2} - \frac{1}{4} = \frac{1}{4}$ (con la formula di calcolo qui sotto; $XY = 1$ solo nella casella $(1, 1)$). Con la definizione: $(X - \frac12)(Y - \frac12)$ vale $\frac14$ sia in $(0, 0)$ sia in $(1, 1)$, quindi la media è $\frac14$ ✓.

Significato del segno. Il prodotto $(X - \mu_X)(Y - \mu_Y)$ è positivo quando $X$ e $Y$ stanno dalla stessa parte delle rispettive medie (entrambe sopra o entrambe sotto) e negativo quando stanno da parti opposte.

• $\text{Cov} > 0$: quando $X$ è grande, tende a esserlo anche $Y$ (altezza e peso).
• $\text{Cov} < 0$: quando $X$ è grande, $Y$ tende a essere piccola (estrazioni senza reinserimento: una nera alla prima rende meno probabile una nera alla seconda).
• $\text{Cov} = 0$: nessuna tendenza lineare. Si dice che $X$ e $Y$ sono non correlate (o scorrelate).

Formula di calcolo

Formula (di calcolo della covarianza). $$\text{Cov}(X, Y) = E[XY] - E[X]\,E[Y].$$

Esempio. $X \sim U(0,1)$ e $Y = X^2$: $\text{Cov}(X,Y) = E[X^3] - E[X]E[X^2] = \frac{1}{4} - \frac{1}{2} \cdot \frac{1}{3} = \frac{1}{12}$. I momenti dell'uniforme su $[0, 1]$ sono $E[X^k] = \int_0^1 x^k \, dx = \frac{1}{k + 1}$, quindi $E[X] = \frac12$, $E[X^2] = \frac13$, $E[X^3] = \frac14$; e $\frac14 - \frac16 = \frac{3 - 2}{12}$.

Dimostrazione. Si sviluppa il prodotto e si usa la linearità ($\mu_X, \mu_Y$ sono numeri):

$$E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - \mu_Y E[X] - \mu_X E[Y] + \mu_X\mu_Y = E[XY] - \mu_X\mu_Y - \mu_X\mu_Y + \mu_X\mu_Y = E[XY] - \mu_X\mu_Y. \ \blacksquare$$

Il prodotto sviluppato è $XY - \mu_Y X - \mu_X Y + \mu_X \mu_Y$; le costanti escono dalla media ($E[\mu_Y X] = \mu_Y E[X]$) e la media di una costante è la costante stessa. Poi $E[X] = \mu_X$ ed $E[Y] = \mu_Y$, e dei tre termini $\mu_X \mu_Y$ due si cancellano.

È l'analogo di $\text{Var}(X) = E[X^2] - E[X]^2$, che si ritrova con $Y = X$.

Esempio (urna, da Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →). 2 nere e 3 bianche, due estrazioni senza reinserimento, $X, Y$ indicatrici di "nera" alla prima e alla seconda: $E[XY] = P(X = 1, Y = 1) = \frac{1}{10}$, $E[X] = E[Y] = \frac25$, quindi $\text{Cov}(X, Y) = \frac{1}{10} - \frac{4}{25} = -\frac{3}{50}$.

Proprietà

Proprietà (della covarianza).

1. Simmetria: $\text{Cov}(X, Y) = \text{Cov}(Y, X)$.
2. $\text{Cov}(X, X) = \text{Var}(X)$.
3. Costanti: $\text{Cov}(X, c) = 0$ e $\text{Cov}(X + c, Y) = \text{Cov}(X, Y)$.
4. Bilinearità: $\text{Cov}(aX + bY, Z) = a\,\text{Cov}(X, Z) + b\,\text{Cov}(Y, Z)$, e lo stesso nel secondo argomento.
5. Varianza di una combinazione lineare: $$\text{Var}(aX + bY) = a^2\,\text{Var}(X) + b^2\,\text{Var}(Y) + 2ab\,\text{Cov}(X, Y).$$

Esempio. Con $\text{Var}(X) = \text{Var}(Y) = 1$ e $\text{Cov}(X,Y) = \frac{1}{2}$: $\text{Var}(X + Y) = 1 + 1 + 2 \cdot \frac{1}{2} = 3$.

Perché. 1 e 2 sono evidenti dalla definizione. 3: una costante coincide con la sua media, quindi $c - E[c] = 0$; e aggiungere $c$ a $X$ aggiunge $c$ anche alla sua media, quindi $X - E[X]$ non cambia. 4: segue dalla formula $E[XY] - E[X]E[Y]$ e dalla linearità della media: $$\text{Cov}(aX + bY, Z) = E[(aX + bY)Z] - E[aX + bY]E[Z] = a\big(E[XZ] - E[X]E[Z]\big) + b\big(E[YZ] - E[Y]E[Z]\big).$$ È la stessa proprietà del prodotto scalare tra vettori (Forme bilineari simmetricheUna forma bilineare simmetrica generalizza il prodotto scalare: si rappresenta con una matrice simmetrica, che cambiando base diventa PᵀAP (matrici congruenti); può essere degenere o no, definita positiva, negativa o indefinita; le definite positive sono i prodotti scalari e per esse vale Gram-Schmidt.Forme bilineari simmetriche →): la covarianza è una forma bilineare simmetrica, e la varianza è la sua "norma al quadrato". 5: si usa la bilinearità su $\text{Cov}(aX + bY, aX + bY)$, che produce i quattro termini $a^2\text{Cov}(X, X) + ab\,\text{Cov}(X, Y) + ba\,\text{Cov}(Y, X) + b^2\text{Cov}(Y, Y)$.

Come si usa la bilinearità (è lo strumento principale negli esercizi): si "moltiplica" come un prodotto, termine per termine.

$$\text{Cov}(X - Y, X + Y) = \text{Cov}(X, X) + \text{Cov}(X, Y) - \text{Cov}(Y, X) - \text{Cov}(Y, Y) = \text{Var}(X) - \text{Var}(Y).$$

Se $X$ e $Y$ hanno la stessa varianza, $X - Y$ e $X + Y$ sono non correlate (II parziale 15.01.2026, Esercizio 19 · differenza e somma di gaussiane standard).

Più addendi: $\text{Var}(X_1 + \dots + X_n) = \sum_i \text{Var}(X_i) + 2\sum_{i < j} \text{Cov}(X_i, X_j)$.

Perché. Per bilinearità $\text{Var}\big(\sum_i X_i\big) = \text{Cov}\big(\sum_i X_i, \sum_j X_j\big) = \sum_i \sum_j \text{Cov}(X_i, X_j)$, una somma di $n^2$ termini. I termini con $i = j$ sono le varianze; quelli con $i \ne j$ si accoppiano, perché $\text{Cov}(X_i, X_j) = \text{Cov}(X_j, X_i)$, e ogni coppia $i < j$ compare due volte (come per $(a_1 + \dots + a_n)^2$, vedi SommatorieIl simbolo di sommatoria, le sue proprietà (linearità, additività, cambio di indice) e le somme notevoli di Gauss e geometrica.Sommatorie →).

Indipendenza e non correlazione

Teorema (indipendenti implica non correlate). Se $X$ e $Y$ sono indipendenti, allora $\text{Cov}(X, Y) = 0$, e quindi $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$.

Esempio. Due dadi indipendenti: $\text{Cov} = 0$ e $\text{Var}(X + Y) = 2 \cdot \frac{35}{12} = \frac{35}{6}$. La varianza di un dado è $E[X^2] - E[X]^2 = \frac{1 + 4 + 9 + 16 + 25 + 36}{6} - \left(\frac72\right)^2 = \frac{91}{6} - \frac{49}{4} = \frac{182 - 147}{12} = \frac{35}{12}$.

Perché: per v.a. indipendenti $E[XY] = E[X]E[Y]$ (Vettori aleatori discretiUn vettore aleatorio discreto (X, Y) è descritto dalla densità congiunta p(x, y) = P(X = x, Y = y); le marginali si ottengono sommando sull'altra variabile, X e Y sono indipendenti se p(x, y) = p_X(x) p_Y(y) per ogni coppia, e E[g(X, Y)] = Σ g(x, y) p(x, y).Vettori aleatori discreti →, Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →).

Il viceversa è falso. Controesempio: $X$ uniforme su $\{-1, 0, 1\}$ e $Y = X^2$.

• $E[X] = 0$ e $E[XY] = E[X^3] = \frac{-1 + 0 + 1}{3} = 0$, quindi $\text{Cov}(X, Y) = 0 - 0 \cdot E[Y] = 0$: non correlate.
• Ma $Y$ è una funzione di $X$: $P(X = 0, Y = 1) = 0$ (se $X = 0$ allora $Y = 0$) mentre $P(X = 0)P(Y = 1) = \frac13 \cdot \frac23 \ne 0$ ($Y = 1$ quando $X = \pm 1$, due casi su tre): non indipendenti.

La covarianza vede solo i legami lineari: qui il legame è quadratico e simmetrico, e "in media" la tendenza lineare si annulla.

Coefficiente di correlazione

La covarianza dipende dalle unità di misura (se $X$ si misura in centimetri invece che in metri, la covarianza si moltiplica per $100$). Per avere un numero puro si normalizza.

Definizione (coefficiente di correlazione). Se $\text{Var}(X), \text{Var}(Y) > 0$, il coefficiente di correlazione è $$\rho(X, Y) := \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X)\,\text{Var}(Y)}} = \frac{\text{Cov}(X, Y)}{\sigma_X\,\sigma_Y}.$$

Esempio. Con $\text{Cov}(X,Y) = \frac{1}{4}$ e $\text{Var}(X) = \text{Var}(Y) = \frac{1}{4}$: $\rho = \frac{1/4}{\sqrt{1/16}} = 1$ (è il caso $Y = X$).

Teorema (limiti del coefficiente di correlazione). $-1 \le \rho(X, Y) \le 1$. Inoltre $|\rho| = 1$ se e solo se $Y = aX + b$ (quasi certamente) per qualche $a \ne 0$, con $\rho = 1$ se $a > 0$ e $\rho = -1$ se $a < 0$.

Esempio. $Y = -3X + 1$ ha $\rho(X,Y) = -1$; due variabili indipendenti hanno $\rho = 0$.

Dimostrazione. Siano $X^* = \frac{X - \mu_X}{\sigma_X}$ e $Y^* = \frac{Y - \mu_Y}{\sigma_Y}$ le versioni standardizzate (media $0$, varianza $1$); per bilinearità $\text{Cov}(X^*, Y^*) = \rho$. In dettaglio: le costanti $-\mu_X$ e $-\mu_Y$ non cambiano la covarianza (proprietà 3) e i fattori $\frac{1}{\sigma_X}$, $\frac{1}{\sigma_Y}$ escono (proprietà 4), quindi $\text{Cov}(X^*, Y^*) = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y} = \rho$; con $Y = X$ lo stesso conto dà $\text{Var}(X^*) = \frac{\text{Var}(X)}{\sigma_X^2} = 1$. Una varianza non è mai negativa, quindi, con la proprietà 5 ($a = 1$, $b = \pm 1$),

$$0 \le \text{Var}(X^* \pm Y^*) = 1 + 1 \pm 2\rho = 2(1 \pm \rho).$$

Il segno $+$ dà $\rho \ge -1$, il segno $-$ dà $\rho \le 1$. Se $\rho = 1$, allora $\text{Var}(X^* - Y^*) = 0$, quindi $X^* - Y^*$ è costante (una v.a. con varianza nulla è quasi certamente uguale alla sua media, vedi Varianza e momentiI momenti E[X^k] e i momenti centrati E[(X − μ)^k] descrivono la forma di una legge; la varianza Var(X) = E[(X − μ)²] = E[X²] − E[X]² misura quanto X si disperde attorno alla media, vale Var(aX + b) = a² Var(X) e Var(X) = 0 solo se X è costante.Varianza e momenti →; qui la media è $0$): $Y^* = X^*$, cioè $\frac{Y - \mu_Y}{\sigma_Y} = \frac{X - \mu_X}{\sigma_X}$, e risolvendo $Y = \frac{\sigma_Y}{\sigma_X} X + \mu_Y - \frac{\sigma_Y}{\sigma_X}\mu_X$: funzione affine con pendenza $a = \frac{\sigma_Y}{\sigma_X} > 0$. Analogamente per $\rho = -1$, da $\text{Var}(X^* + Y^*) = 0$ si ottiene $Y^* = -X^*$ e pendenza negativa. ∎

È lo stesso ragionamento della disuguaglianza di Cauchy-Schwarz per il prodotto scalarePer due vettori, il modulo del prodotto scalare è al più il prodotto delle norme; il rapporto è il coseno dell'angolo tra i vettori.Prodotto scalare, norma e angoli →: con la covarianza come prodotto scalare e $\sigma$ come norma, $\rho$ è il coseno dell'angolo tra $X - \mu_X$ e $Y - \mu_Y$, e vale $\pm 1$ quando i due "vettori" sono paralleli.

Lettura di $\rho$. $\rho$ vicino a $\pm 1$: i punti $(X, Y)$ si dispongono quasi su una retta. $\rho$ vicino a $0$: nessuna tendenza lineare (ma potrebbe esserci un legame non lineare). $\rho$ non dipende da cambi di scala positivi: $\rho(aX + b, cY + d) = \rho(X, Y)$ se $a, c > 0$.

Esempio (urna): $X$ e $Y$ sono BernoulliBernoulli Be(p): un solo tentativo, vale 1 con probabilità p; binomiale Bin(n, p): numero di successi in n prove indipendenti, P(X = k) = C(n,k) p^k (1−p)^(n−k), media np e varianza np(1−p); uniforme discreta: n valori equiprobabili.Bernoulli, binomiale e uniforme discreta → di parametro $\frac25$, con varianza $p(1 - p)$: $\text{Var}(X) = \text{Var}(Y) = \frac25 \cdot \frac35 = \frac{6}{25}$, quindi $\sigma_X \sigma_Y = \sqrt{\frac{6}{25} \cdot \frac{6}{25}} = \frac{6}{25}$ e $\rho = \frac{-3/50}{6/25} = -\frac{3}{50} \cdot \frac{25}{6} = -\frac14$.

Matrice di covarianza

Per un vettore $(X_1, \dots, X_n)$ si raccolgono tutte le covarianze in una matrice:

Definizione (matrice di covarianza). $$\Sigma = (\Sigma_{ij}), \qquad \Sigma_{ij} = \text{Cov}(X_i, X_j).$$

Esempio. Se $\text{Var}(X) = 4$, $\text{Var}(Y) = 1$ e $\text{Cov}(X,Y) = 1$: $\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 1 \end{pmatrix}$.

Sulla diagonale ci sono le varianze. Per due v.a.:

$$\Sigma = \begin{pmatrix} \text{Var}(X) & \text{Cov}(X, Y) \\ \text{Cov}(X, Y) & \text{Var}(Y) \end{pmatrix}.$$

$\Sigma$ è simmetrica (perché $\text{Cov}(X_i, X_j) = \text{Cov}(X_j, X_i)$) e semidefinita positiva: per ogni vettore di numeri $a = (a_1, \dots, a_n)$,

$$a^T \Sigma\, a = \sum_{i,j} a_i a_j \text{Cov}(X_i, X_j) = \text{Var}\Big(\sum_i a_i X_i\Big) \ge 0.$$

La prima uguaglianza è il prodotto riga per colonna (Operazioni tra matriciLe matrici m×n formano uno spazio vettoriale (somma e prodotto per scalare elemento per elemento); il prodotto righe per colonne corrisponde alla composizione di funzioni lineari, è associativo ma non commutativo; la trasposta scambia righe e colonne e (AB)^T = B^T A^T.Operazioni tra matrici →): $(\Sigma a)_i = \sum_j \Sigma_{ij} a_j$, e moltiplicando a sinistra per $a^T$ si ottiene $\sum_i a_i \sum_j \Sigma_{ij} a_j$. La seconda è la bilinearità, come per la varianza di una somma. "Semidefinita positiva" vuol dire proprio che la forma quadratica $a \mapsto a^T \Sigma a$ non prende mai valori negativi (Segno di una forma bilineare simmetricaPer capire se una forma bilineare simmetrica è definita positiva, negativa, semidefinita o indefinita si usano quattro metodi: segni degli autovalori, regola di Cartesio sul polinomio caratteristico, minori principali di nord-ovest, completamento dei quadrati. Il teorema di Sylvester dice che il numero di segni + e − in una forma diagonale non dipende dalla base.Segno di una forma bilineare simmetrica →); per una matrice $2 \times 2$ equivale a diagonale $\ge 0$ e determinante $\text{Var}(X)\text{Var}(Y) - \text{Cov}(X, Y)^2 \ge 0$, che è di nuovo $|\rho| \le 1$.

Combinazioni lineari. Se $U = a^T X = \sum a_i X_i$, allora $E[U] = a^T E[X]$ e $\text{Var}(U) = a^T \Sigma a$. Per $U = X - 2Y$ con $\Sigma = \begin{pmatrix} 4 & 2 \\ 2 & 2 \end{pmatrix}$ (III appello 24.06.2026, Esercizio 20 · vettore gaussiano, combinazione lineare e correlazione):

$$\text{Var}(U) = 1^2 \cdot 4 + (-2)^2 \cdot 2 + 2 \cdot 1 \cdot (-2) \cdot 2 = 4 + 8 - 8 = 4,$$ $$\text{Cov}(X, U) = \text{Cov}(X, X) - 2\,\text{Cov}(X, Y) = 4 - 4 = 0.$$

Qui $a = (1, -2)$, $\text{Var}(X) = 4$, $\text{Var}(Y) = 2$, $\text{Cov}(X, Y) = 2$, e la prima riga è la proprietà 5. Con le matrici: $\Sigma a = \begin{pmatrix} 4 - 4 \\ 2 - 4 \end{pmatrix} = \begin{pmatrix} 0 \\ -2 \end{pmatrix}$ e $a^T \Sigma a = 1 \cdot 0 + (-2) \cdot (-2) = 4$ ✓. La seconda riga è la bilinearità nel secondo argomento: $\text{Cov}(X, X - 2Y) = \text{Cov}(X, X) - 2\,\text{Cov}(X, Y)$.

Esempio (II parziale 15.01.2026): $X, Y \sim N(0, 1)$ indipendenti e $Z = X - Y$. $\text{Cov}(X, Z) = \text{Var}(X) - \text{Cov}(X, Y) = 1 - 0 = 1$ e $\text{Var}(Z) = \text{Var}(X) + \text{Var}(Y) - 2\,\text{Cov}(X, Y) = 1 + 1 - 0 = 2$ (proprietà 5 con $a = 1$, $b = -1$), quindi la matrice di covarianza di $(X, Z)$ è $\begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix}$.

Riepilogo

Errori comuni

• Dimenticare il doppio prodotto in $\text{Var}(X + Y)$ quando le v.a. non sono indipendenti.
• Scrivere $\text{Var}(X - Y) = \text{Var}(X) - \text{Var}(Y)$: il coefficiente $-1$ si eleva al quadrato; il termine che cambia segno è solo quello con la covarianza.
• Concludere l'indipendenza da $\text{Cov} = 0$ fuori dal caso gaussiano.
• Dimenticare la radice nel denominatore di $\rho$: si divide per le deviazioni standard, non per le varianze.