Vettori aleatori discreti

Punto 4 del programma ("caso discreto: densità congiunta e marginale; indipendenza di v.a. discrete; valore medio di funzioni scalari di un vettore aleatorio"). Prerequisiti: Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta →, Valore attesoIl valore atteso E[X] = Σ x p_X(x) è la media dei valori di X pesata con le loro probabilità (esiste se la serie converge assolutamente); per una funzione g vale E[g(X)] = Σ g(x) p_X(x) senza trovare la legge di g(X), ed E è lineare: E[aX + bY + c] = aE[X] + bE[Y] + c.Valore atteso →. Seguito: Somma di variabili aleatorie indipendentiSe X e Y sono indipendenti, la legge di Z = X + Y è la convoluzione: p_Z(n) = Σ_k p_X(k) p_Y(n − k) nel discreto, f_Z(z) = ∫ f_X(z − y) f_Y(y) dy nel continuo. Casi notevoli: Bin(n,p) + Bin(m,p) = Bin(n+m,p), Poi(λ) + Poi(μ) = Poi(λ+μ), Geo + Geo con densità (n−1)p²(1−p)^(n−2), Exp(λ) + Exp(λ) = Γ(2,λ), gaussiane indipendenti sommano medie e varianze.Somma di variabili aleatorie indipendenti →, Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →; il caso continuo è in Vettori aleatori assolutamente continuiUn vettore (X, Y) è assolutamente continuo se P((X, Y) ∈ A) = ∬_A f(x, y) dx dy per una densità congiunta f ≥ 0 con integrale 1; le marginali si ottengono integrando sull'altra variabile (f_X(x) = ∫ f(x, y) dy), X e Y sono indipendenti se f(x, y) = f_X(x) f_Y(y), e E[g(X, Y)] = ∬ g f. Il punto delicato degli esercizi è descrivere bene la regione dove f > 0.Vettori aleatori assolutamente continui →.

Perché servono

Negli esercizi compaiono quasi sempre più variabili aleatorie definite sullo stesso esperimento: i risultati di due dadi, il numero di teste di due monete, il tempo $T$ e la somma $Y = X_1 + \dots + X_T$. Conoscere separatamente la legge di $X$ e quella di $Y$ non basta per calcolare $P(X = Y)$, $P(X + Y = 5)$ o $E[XY]$: serve sapere come $X$ e $Y$ si comportano insieme.

Definizione

Definizione (vettore aleatorio discreto e densità congiunta). Un vettore aleatorio discreto è una coppia (o in generale una $n$-upla) $(X, Y)$ di v.a. discrete definite sullo stesso spazio $(\Omega, \mathcal F, P)$. La sua densità congiunta è $$p_{X,Y}(x, y) := P(X = x, Y = y), \qquad (x, y) \in \mathbb R^2,$$ dove la virgola significa "e": $\{X = x, Y = y\} = \{X = x\} \cap \{Y = y\}$.

Esempio. Due lanci indipendenti di una moneta equa, $X, Y \in \{0,1\}$: $p_{X,Y}(x,y) = \frac{1}{4}$ per ogni coppia $(x,y) \in \{0,1\}^2$.

Proprietà (stesse della densità discreta di una v.a.):

• $p_{X,Y}(x, y) \ge 0$, ed è diversa da zero solo per $(x, y)$ nell'alfabeto $\mathcal X_X \times \mathcal X_Y$ (al più numerabile);
• $\sum_{x} \sum_{y} p_{X,Y}(x, y) = 1$;
• per ogni insieme $A \subseteq \mathbb R^2$: $P((X, Y) \in A) = \sum_{(x, y) \in A} p_{X,Y}(x, y)$.

Perché le ultime due: al variare delle coppie $(x, y)$ dell'alfabeto, gli eventi $\{X = x, Y = y\}$ sono a due a due disgiunti (una stessa $\omega$ dà una sola coppia di valori) e sono al più numerabili. L'evento $\{(X, Y) \in A\}$ è la loro unione sulle coppie che stanno in $A$, quindi per σ-additivitàPer eventi a due a due disgiunti la probabilità dell'unione è la somma (anche infinita) delle probabilità.Misura di probabilità e sue proprietà → la sua probabilità è la somma delle $p_{X,Y}(x, y)$ con $(x, y) \in A$. Con $A = \mathbb R^2$ l'evento è tutto $\Omega$ e la somma vale $1$. Se le coppie sono infinite la somma è una serieUna serie è la successione delle somme parziali s_n = a_0 + ... + a_n; la sua somma è il limite di s_n (converge, diverge o è irregolare). Proprietà generali e condizione necessaria: se la serie converge, gli addendi tendono a 0.Serie numeriche → a termini $\ge 0$, che si può sommare in qualsiasi ordine (prima su $y$ e poi su $x$ o viceversa) senza cambiare il risultato.

Per un numero finito di valori la densità congiunta si scrive comodamente come tabella: righe per i valori di $X$, colonne per quelli di $Y$.

Esempio guida: due estrazioni senza reinserimento

Un'urna contiene 2 palline nere e 3 bianche; se ne estraggono 2 senza reinserimento. Sia $X = 1$ se la prima pallina è nera ($0$ altrimenti) e $Y = 1$ se la seconda è nera. Con la regola del prodottoP(A ∩ B) = P(A) P(B ∣ A): probabilità della prima estrazione per quella della seconda sapendo com'è andata la prima.Probabilità condizionata →:

• $p(1, 1) = \frac25 \cdot \frac14 = \frac{1}{10}$ (dopo una nera resta 1 nera su 4);
• $p(1, 0) = \frac25 \cdot \frac34 = \frac{3}{10}$;
• $p(0, 1) = \frac35 \cdot \frac24 = \frac{3}{10}$;
• $p(0, 0) = \frac35 \cdot \frac24 = \frac{3}{10}$.

Controllo: $\frac{3 + 3 + 3 + 1}{10} = 1$ ✓.

Densità marginali

Dalla congiunta si ricavano le leggi di $X$ e di $Y$ da sole, dette marginali:

Formula (densità marginali). $$p_X(x) = \sum_{y} p_{X,Y}(x, y), \qquad p_Y(y) = \sum_{x} p_{X,Y}(x, y).$$

Esempio. Se $p_{X,Y} \equiv \frac{1}{4}$ su $\{0,1\}^2$: $p_X(0) = p_{X,Y}(0,0) + p_{X,Y}(0,1) = \frac{1}{2}$.

Perché: gli eventi $\{Y = y\}$, al variare di $y \in \mathcal X_Y$, formano una partizioneEventi disgiunti la cui unione è Ω: ogni esito sta in uno solo di essi.Spazio campionario ed eventi → di $\Omega$. Quindi $\{X = x\}$ è l'unione disgiunta dei pezzi $\{X = x, Y = y\}$: $$\{X = x\} = \{X = x\} \cap \Omega = \{X = x\} \cap \bigcup_y \{Y = y\} = \bigcup_y \big(\{X = x\} \cap \{Y = y\}\big),$$ (proprietà distributiva dell'intersezione rispetto all'unione, vedi Operazioni tra insiemiUnione, intersezione, differenza, complementare e prodotto cartesiano, con le leggi di De Morgan e il legame con la logica.Operazioni tra insiemi →) e per σ-additività $P(X = x) = \sum_y P(X = x, Y = y)$. È la formula delle probabilità totaliSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes → scritta con la partizione $\{Y = y\}$.

Nella tabella: le marginali sono le somme di riga e di colonna, scritte "a margine" (da qui il nome). Nell'esempio $p_X(1) = \frac{3}{10} + \frac{1}{10} = \frac25$: la prima pallina è nera con probabilità $\frac25$, come deve essere. Anche $p_Y(1) = \frac25$: senza sapere com'è andata la prima estrazione, la seconda pallina è nera con la stessa probabilità della prima (per simmetria).

Attenzione: dalla congiunta si ricavano le marginali, non viceversa. Due vettori diversi possono avere le stesse marginali: con estrazioni con reinserimento le marginali sono ancora $\text{Be}(\frac25)$, ma $p(1, 1) = \frac{4}{25} \neq \frac{1}{10}$.

Indipendenza di variabili aleatorie discrete

Definizione (indipendenza di variabili aleatorie discrete). Le v.a. $X$ e $Y$ sono indipendenti se gli eventi $\{X \in A\}$ e $\{Y \in B\}$ sono indipendenti per ogni scelta di $A, B \subseteq \mathbb R$. Nel caso discreto questo equivale a $$p_{X,Y}(x, y) = p_X(x) \, p_Y(y) \qquad \text{per ogni } (x, y).$$

Esempio. Con $p_{X,Y} \equiv \frac{1}{4}$ si ha $p_X = p_Y = \frac{1}{2}$ e $p_X(x)\,p_Y(y) = \frac{1}{4} = p_{X,Y}(x,y)$: $X$ e $Y$ sono indipendenti.

Perché basta la condizione sui singoli valori: se vale, sommando su $x \in A$ e $y \in B$ si ottiene $$P(X \in A, Y \in B) = \sum_{x \in A} \sum_{y \in B} p_X(x) p_Y(y) = \sum_{x \in A} p_X(x) \Big(\sum_{y \in B} p_Y(y)\Big) = P(X \in A) P(Y \in B).$$ Il primo passaggio è la proprietà precedente con l'insieme $A \times B$ del piano; nel secondo, nella somma interna su $y$ il fattore $p_X(x)$ è una costante e si porta fuori (SommatorieIl simbolo di sommatoria, le sue proprietà (linearità, additività, cambio di indice) e le somme notevoli di Gauss e geometrica.Sommatorie →); infine la somma interna è $P(Y \in B)$, anch'essa costante rispetto a $x$, e si porta fuori dalla somma esterna, che resta $P(X \in A)$. Il viceversa è il caso $A = \{x\}$, $B = \{y\}$.

Come si verifica in pratica.

• Per dimostrare l'indipendenza bisogna controllare tutte le caselle della tabella: ognuna deve essere il prodotto della sua marginale di riga per quella di colonna.
• Per dimostrare la non indipendenza basta una casella sbagliata. Nell'esempio: $p(1, 1) = \frac1{10}$ mentre $p_X(1) p_Y(1) = \frac25 \cdot \frac25 = \frac{4}{25}$: $X$ e $Y$ non sono indipendenti (si capisce: se la prima è nera, la seconda lo è meno probabilmente).
• Un controllo rapido: se nella tabella c'è uno zero in una casella la cui riga e colonna hanno marginali positive, le v.a. non sono indipendenti ($0 \neq$ prodotto di due numeri positivi).
• Se la congiunta si fattorizza come $p(x, y) = g(x) h(y)$ su un alfabeto "rettangolare" $\mathcal X_X \times \mathcal X_Y$, allora $X$ e $Y$ sono indipendenti (le costanti si sistemano normalizzando).

Più v.a. $X_1, \dots, X_n$ sono indipendenti se $P(X_1 = x_1, \dots, X_n = x_n) = \prod_i P(X_i = x_i)$ per ogni scelta dei valori. Le prove ripetute del modello binomialen prove indipendenti con la stessa probabilità di successo p.Prove ripetute e modello binomiale → sono l'esempio tipico: le $X_i \sim \text{Be}(p)$ che indicano il successo alla prova $i$ sono indipendenti.

Costruire v.a. indipendenti. Quando un testo dice "$X$ e $Y$ indipendenti con $X \sim \text{Geo}(\frac12)$, $Y \sim \text{Geo}(\frac12)$" (II appello, esercizio 4), la congiunta è data dal prodotto. La densità di $\text{Geo}(p)$ è $p(1 - p)^{k - 1}$ (Distribuzione geometricaGeo(p) è il numero della prova in cui arriva il primo successo in prove indipendenti: P(X = n) = (1−p)^(n−1) p per n ≥ 1, P(X > n) = (1−p)^n (lunga attesa), media 1/p, varianza (1−p)/p², ed è senza memoria.Distribuzione geometrica →), che con $p = \frac12$ diventa $\frac12 \cdot \left(\frac12\right)^{k-1} = \frac{1}{2^k}$; quindi $p_{X,Y}(j, k) = \frac{1}{2^j} \cdot \frac{1}{2^k} = \frac{1}{2^{j + k}}$ per $j, k \ge 1$ (le potenze con la stessa base si moltiplicano sommando gli esponenti).

Funzioni di v.a. indipendenti sono indipendenti: se $X$ e $Y$ sono indipendenti, lo sono anche $g(X)$ e $h(Y)$ per ogni $g, h$ (ad esempio $X^2$ e $e^Y$). Infatti $\{g(X) \in A\} = \{X \in g^{-1}(A)\}$.

Valore medio di una funzione del vettore

Teorema fondamentale (caso vettoriale). Per $g : \mathbb R^2 \to \mathbb R$, se la serie converge assolutamenteLa serie dei valori assoluti converge; allora converge anche la serie e la somma non dipende dall'ordine dei termini.Serie a termini di segno variabile →, $$E[g(X, Y)] = \sum_{x} \sum_{y} g(x, y) \, p_{X,Y}(x, y).$$

Esempio. Con $p_{X,Y} \equiv \frac{1}{4}$ su $\{0,1\}^2$: $E[X + Y] = \frac{0 + 1 + 1 + 2}{4} = 1$.

È la stessa idea del teorema fondamentale del valor medioLa media di g(X) si calcola pesando ogni valore g(x) con la probabilità di x, senza trovare la legge di g(X).Valore atteso →: non serve trovare la legge di $g(X, Y)$.

Conseguenze.

1. Linearità: con $g(x, y) = ax + by$ si ottiene $E[aX + bY] = aE[X] + bE[Y]$. Vale sempre, anche senza indipendenza. I passaggi: $$E[aX + bY] = \sum_x \sum_y (ax + by)\, p_{X,Y}(x, y) = a \sum_x x \underbrace{\sum_y p_{X,Y}(x, y)}_{p_X(x)} + b \sum_y y \underbrace{\sum_x p_{X,Y}(x, y)}_{p_Y(y)} = a E[X] + b E[Y].$$ Si spezza la somma in due; nella prima $x$ non dipende da $y$ e si porta fuori dalla somma su $y$, nella seconda si scambia l'ordine delle somme (lecito per la convergenza assoluta) e si porta fuori $y$. Le somme interne sono proprio le marginali: non è servita nessuna ipotesi sulla congiunta.
2. Prodotto di indipendenti: se $X$ e $Y$ sono indipendenti (e hanno media finita) $$E[XY] = \sum_x \sum_y xy \, p_X(x) p_Y(y) = \sum_x x\, p_X(x) \Big(\sum_y y \, p_Y(y)\Big) = \Big(\sum_x x \, p_X(x)\Big)\Big(\sum_y y \, p_Y(y)\Big) = E[X] \, E[Y].$$ Nel primo passaggio si usa l'indipendenza ($p_{X,Y} = p_X p_Y$); poi $x\,p_X(x)$ si porta fuori dalla somma su $y$, e la somma su $y$, che è il numero $E[Y]$, si porta fuori dalla somma su $x$. Senza indipendenza il primo passaggio non si può fare. Più in generale $E[g(X) h(Y)] = E[g(X)] \, E[h(Y)]$. È la proprietà che rende le funzioni caratteristiche così utili per le somme (Funzione caratteristicaLa funzione caratteristica φ_X(θ) = E[e^(iθX)] = E[cos θX] + iE[sin θX] esiste per ogni v.a. e ogni θ, vale 1 in 0, ha modulo ≤ 1, determina la legge (è la trasformata di Fourier della densità), trasforma le somme di v.a. indipendenti in prodotti e dà i momenti: E[X^k] = φ^(k)(0) / i^k. Per N(μ, σ²) vale e^(iμθ − σ²θ²/2).Funzione caratteristica →).

Nell'esempio dell'urna: $XY$ vale $1$ solo nella casella $(1, 1)$ e $0$ nelle altre tre, quindi $E[XY] = 1 \cdot 1 \cdot \frac1{10} = \frac1{10}$. Le marginali sono BernoulliUna Be(p) vale 1 con probabilità p e 0 altrimenti; la sua media è p.Bernoulli, binomiale e uniforme discreta → di parametro $\frac25$, quindi $E[X] = E[Y] = \frac25$ e $E[X] E[Y] = \frac{4}{25}$: diversi, come ci si aspetta per v.a. non indipendenti. La differenza $E[XY] - E[X]E[Y] = \frac1{10} - \frac4{25} = \frac{5}{50} - \frac{8}{50} = -\frac{3}{50}$ è la covarianza, negativa perché una nera alla prima rende meno probabile una nera alla seconda (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →).

Legge di una funzione del vettore

Per trovare la densità di $Z = g(X, Y)$ si raccolgono le coppie che danno lo stesso valore:

$$p_Z(z) = \sum_{(x, y) \,:\, g(x, y) = z} p_{X,Y}(x, y).$$

Esempio (urna): $Z = X + Y$ = numero di nere estratte. $p_Z(0) = \frac{3}{10}$, $p_Z(1) = p(1, 0) + p(0, 1) = \frac{6}{10}$, $p_Z(2) = \frac{1}{10}$. È una legge ipergeometricaEstrazioni senza reinserimento: P(k nere) = C(M,k) C(N−M,n−k) / C(N,n).Calcolo combinatorio per la probabilità →: ad esempio $p_Z(2) = \binom22 \binom30 / \binom52 = \frac{1}{10}$ ✓ e $p_Z(1) = \binom21 \binom31 / \binom52 = \frac{2 \cdot 3}{10} = \frac{6}{10}$ ✓ ($\binom52 = \frac{5 \cdot 4}{2} = 10$ coppie di palline, vedi Fattoriale e coefficienti binomialiFattoriale, permutazioni, disposizioni, combinazioni e coefficiente binomiale n su k, con il triangolo di Tartaglia.Fattoriale e coefficienti binomiali →).

Il caso più importante, $Z = X + Y$ con $X, Y$ indipendenti, ha una formula dedicata (convoluzione): Somma di variabili aleatorie indipendentiSe X e Y sono indipendenti, la legge di Z = X + Y è la convoluzione: p_Z(n) = Σ_k p_X(k) p_Y(n − k) nel discreto, f_Z(z) = ∫ f_X(z − y) f_Y(y) dy nel continuo. Casi notevoli: Bin(n,p) + Bin(m,p) = Bin(n+m,p), Poi(λ) + Poi(μ) = Poi(λ+μ), Geo + Geo con densità (n−1)p²(1−p)^(n−2), Exp(λ) + Exp(λ) = Γ(2,λ), gaussiane indipendenti sommano medie e varianze.Somma di variabili aleatorie indipendenti →.

Riepilogo

Errori comuni

• Ricostruire la congiunta moltiplicando le marginali senza sapere che le v.a. sono indipendenti.
• Verificare l'indipendenza su una sola casella e concludere che sono indipendenti: servono tutte (mentre per la non indipendenza ne basta una).
• Credere che $E[XY] = E[X]E[Y]$ implichi l'indipendenza: implica solo covarianza nulla (Covarianza e coefficiente di correlazioneCov(X, Y) = E[(X − E X)(Y − E Y)] = E[XY] − E[X]E[Y] misura quanto X e Y variano insieme; è bilineare, Cov(X, X) = Var(X), Var(X + Y) = Var X + Var Y + 2Cov(X, Y); ρ = Cov / (σ_X σ_Y) sta in [−1, 1] e vale ±1 solo per legami lineari. Indipendenti ⇒ non correlate, ma non viceversa (tranne per i vettori gaussiani).Covarianza e coefficiente di correlazione →).
• Dimenticare che le marginali non determinano la congiunta.