Spazi di probabilità generali e sigma-algebra di Borel

Inizio del punto 3 del programma. Prerequisiti: Sigma-algebre di eventiUna σ-algebra è una famiglia di eventi che contiene ∅ ed è chiusa per complementare e unioni numerabili; è la famiglia degli eventi a cui si assegna una probabilità. Nel caso discreto si prende tutto 𝒫(Ω).Sigma-algebre di eventi →, Misura di probabilità e sue proprietàUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà →, Variabili aleatorie discrete e densità discretaUna variabile aleatoria discreta è una funzione X da Ω in R che assume un insieme finito o numerabile di valori (l'alfabeto); la sua densità discreta p_X(x) = P(X = x) basta a calcolare la probabilità di ogni evento che riguarda X.Variabili aleatorie discrete e densità discreta →. Seguito: Variabili aleatorie assolutamente continueX è assolutamente continua se F_X(x) = ∫ da −∞ a x di f_X(t) dt per una densità f_X ≥ 0 con integrale 1; allora P(a < X ≤ b) = ∫ da a a b di f_X, P(X = x) = 0 per ogni x, f_X = F_X' dove F_X è derivabile, E[g(X)] = ∫ g(x) f_X(x) dx, e varianza, momenti e disuguaglianze funzionano come nel caso discreto con gli integrali al posto delle somme.Variabili aleatorie assolutamente continue →.

Perché il caso discreto non basta più

Negli spazi discretiΩ finito o numerabile, F = 𝒫(Ω), e P(A) è la somma delle probabilità dei singoli esiti di A.Spazi di probabilità discreti e uniformi → tutto si costruiva a partire dai singoli esiti: $P(A) = \sum_{\omega \in A} p(\omega)$. Ora si vogliono descrivere esperimenti come

• scegliere un punto "a caso" nell'intervallo $[0, 1]$;
• misurare un tempo di attesa, una tensione di rumore, la durata di un componente.

Qui $\Omega$ è non numerabile e il metodo discreto si rompe per due motivi.

1. Ogni singolo esito ha probabilità zero. Se il punto è scelto a caso in $[0, 1]$, la probabilità di cadere in $[a, b]$ dovrebbe essere la lunghezza $b - a$. Allora per ogni $x$, dato che $\{x\} \subseteq [x - \varepsilon, x + \varepsilon]$ per ogni $\varepsilon > 0$, per monotonia

$$P(\{x\}) \le 2\varepsilon \quad \forall \varepsilon > 0 \implies P(\{x\}) = 0.$$

I due passaggi. La monotoniaSe A ⊆ B allora P(A) ≤ P(B).Misura di probabilità e sue proprietà → dà $P(\{x\}) \le P([x - \varepsilon, x + \varepsilon])$, e l'intervallo ha lunghezza $(x + \varepsilon) - (x - \varepsilon) = 2\varepsilon$ (se $x$ è vicino a un estremo di $[0, 1]$ si prende solo la parte dentro $[0, 1]$, che è ancora più corta). Poi: un numero $c = P(\{x\}) \ge 0$ che sta sotto $2\varepsilon$ per ogni $\varepsilon > 0$ è nullo, perché se fosse $c > 0$ basterebbe scegliere $\varepsilon = c/4$ per avere $c \le c/2$, assurdo.

Sommare le probabilità dei singoli esiti darebbe sempre $0$: non si può più ricostruire $P$ dai singoletti (la σ-additività vale solo per unioni numerabili, e $[0, 1]$ non è un'unione numerabile di punti).

2. $\mathcal P(\Omega)$ è troppo grande. Si dimostra (teorema di Vitali, non in programma) che non esiste nessuna probabilità definita su tutti i sottoinsiemi di $[0, 1]$ che dia agli intervalli la loro lunghezza. Bisogna quindi rinunciare ad alcuni sottoinsiemi "patologici" e scegliere una σ-algebra più piccola: è la situazione anticipata in Sigma-algebre di eventiUna σ-algebra è una famiglia di eventi che contiene ∅ ed è chiusa per complementare e unioni numerabili; è la famiglia degli eventi a cui si assegna una probabilità. Nel caso discreto si prende tutto 𝒫(Ω).Sigma-algebre di eventi →.

La σ-algebra di Borel

Definizione (σ-algebra di Borel). La σ-algebra di Borel su $\mathbb R$, indicata con $\mathcal B(\mathbb R)$, è la σ-algebra generataLa più piccola σ-algebra che contiene una famiglia data: l'intersezione di tutte le σ-algebre che la contengono.Sigma-algebre di eventi → dagli intervalli: $$\mathcal B(\mathbb R) := \sigma\big(\{(a, b] : a < b\}\big).$$ I suoi elementi si chiamano boreliani.

Esempio. Intervalli, punti e aperti di $\mathbb{R}$ sono boreliani; per esempio $[a, b] = \bigcap_{n \ge 1} \left(a - \frac{1}{n}, b\right]$.

Si può partire indifferentemente da intervalli aperti, chiusi, semirette $(-\infty, x]$: si ottiene sempre la stessa σ-algebra, perché ogni tipo di intervallo si scrive con unioni/intersezioni numerabili degli altri. Ad esempio

$$[a, b] = \bigcap_{n \ge 1} \left(a - \tfrac1n, b\right], \qquad (a, b) = \bigcup_{n \ge 1} \left(a, b - \tfrac1n\right].$$

Perché valgono. Prima uguaglianza: un $x \le b$ sta in tutti gli intervalli $\left(a - \frac1n, b\right]$ se e solo se $x > a - \frac1n$ per ogni $n$. Se $x \ge a$ questo è vero. Se invece $x < a$, la distanza $a - x$ è positiva e per l'archimedeitàPer ogni numero reale positivo d esiste un naturale n con 1/n < d.Archimedeità di N → c'è un $n$ con $\frac1n < a - x$, cioè $x < a - \frac1n$: quel punto resta fuori. Quindi l'intersezione è esattamente $[a, b]$, con l'estremo $a$ incluso. Seconda uguaglianza: ogni $x$ con $a < x < b$ ha $b - x > 0$, quindi per $n$ abbastanza grande $x \le b - \frac1n$ e $x$ sta nell'unione; il punto $b$ invece non sta in nessun $\left(a, b - \frac1n\right]$. Gli insiemi usati sono una famiglia numerabile (indicizzata da $n \in \mathbb N$), ed è questo che permette di restare dentro la σ-algebra, che è chiusa solo per unioni e intersezioni numerabili.

Cosa contiene (tutto quello che serve in pratica):

Due righe della tabella spiegate. $\mathbb Q$ è numerabile (i razionali si possono elencare in una successione, vedi Insiemi numerici (N, Z, Q, R)Naturali, interi, razionali e reali, perché la radice di 2 obbliga a passare da Q a R, e gli intervalli.Insiemi numerici (N, Z, Q, R) →), quindi $\mathbb Q = \bigcup_{k} \{q_k\}$ è un'unione numerabile di singoletti boreliani. Per gli aperti (definiti in Topologia di RnIn Rn la distanza tra due punti è la norma euclidea della differenza, ‖X − Y‖ = √(Σ(xi − yi)²). Con le palle aperte B(X0, r) si classificano i punti rispetto a un insieme D (interni, esterni, di frontiera, di accumulazione, isolati) e si definiscono insiemi aperti, chiusi, limitati, compatti (= chiusi e limitati) e connessi per archi.Topologia di Rn →): ogni punto $x$ di un aperto $A$ sta in un intervallo aperto contenuto in $A$, e lo si può rimpicciolire fino ad avere estremi razionali; gli intervalli con estremi razionali sono numerabili (coppie di razionali), quindi $A$ è l'unione di una famiglia numerabile di intervalli. I chiusi sono i complementari degli aperti, e la σ-algebra è chiusa per complementare. Infine, se $g$ è continua, $\{x : g(x) \le c\}$ è chiuso perché il suo complementare $\{g > c\}$ è aperto: vicino a un punto dove $g > c$, per la continuitàf è continua in x0 (punto del dominio) se il limite in x0 esiste ed è f(x0); somme, prodotti e quozienti di funzioni continue sono continue, e tutte le funzioni elementari sono continue nel loro dominio.Funzioni continue →, $g$ resta $> c$.

Gli insiemi non boreliani esistono, ma per costruirli serve l'assioma della scelta: negli esercizi non compaiono mai. In $\mathbb R^n$ si definisce allo stesso modo $\mathcal B(\mathbb R^n)$, generata dai rettangoli.

Il punto scelto a caso in $[0, 1]$. Si prende $\Omega = [0, 1]$, $\mathcal F =$ boreliani contenuti in $[0, 1]$, e $P$ = "lunghezza" (la misura di Lebesgue): $P([a, b]) = b - a$. Allora

• $P(\{x\}) = 0$ per ogni $x$;
• $P(\mathbb Q \cap [0, 1]) = 0$: è un'unione numerabile di singoletti, ciascuno di probabilità $0$, e per σ-additività la somma è $0$. Il punto scelto è quasi certamente irrazionale, anche se i razionali sono "densi";
• $P([0, \frac12)) = P([0, \frac12]) = \frac12$: aggiungere o togliere un punto non cambia nulla.

Continuità della probabilità

Negli spazi generali si usano spesso limiti di eventi. La proprietà chiave è questa.

Teorema (continuità della probabilità). Sia $(A_n)_{n \ge 1}$ una successione di eventi.

1. Dal basso: se $A_1 \subseteq A_2 \subseteq \dots$ (crescente), allora $\displaystyle P\Big(\bigcup_{n} A_n\Big) = \lim_{n \to \infty} P(A_n)$.
2. Dall'alto: se $A_1 \supseteq A_2 \supseteq \dots$ (decrescente), allora $\displaystyle P\Big(\bigcap_{n} A_n\Big) = \lim_{n \to \infty} P(A_n)$.

I limiti esistono perché $P(A_n)$ è monotona (crescente nel caso 1, decrescente nel caso 2: se $A_n \subseteq A_{n+1}$ la monotonia della probabilità dà $P(A_n) \le P(A_{n+1})$) e limitata tra $0$ e $1$, e ogni successione monotona e limitataUna successione crescente e limitata superiormente converge al suo sup; una decrescente e limitata inferiormente converge al suo inf.Successioni limitate e monotone → ha limite finito.

Dimostrazione di 1. L'idea è trasformare l'unione crescente in un'unione disgiunta, per poter usare la σ-additività. Si definiscono gli "anelli"

$$B_1 = A_1, \qquad B_n = A_n \setminus A_{n-1} \ (n \ge 2),$$

cioè $B_n$ contiene ciò che si aggiunge al passo $n$. Le tre proprietà che servono:

• i $B_n$ sono a due a due disgiunti: se $m < n$, $B_m \subseteq A_m \subseteq A_{n-1}$, mentre $B_n$ è fatto di punti fuori da $A_{n-1}$;
• $A_n = B_1 \cup \dots \cup B_n$: un punto di $A_n$ appartiene a un primo $A_k$ con $k \le n$ (il più piccolo indice in cui compare), e quindi sta in $B_k$; viceversa ogni $B_k \subseteq A_k \subseteq A_n$;
• $\bigcup_n A_n = \bigcup_n B_n$: è la stessa osservazione senza fermarsi a $n$.

Allora

$$P\Big(\bigcup_n A_n\Big) = P\Big(\bigcup_n B_n\Big) \overset{\sigma\text{-add.}}{=} \sum_{n=1}^\infty P(B_n) = \lim_{N \to \infty} \sum_{n=1}^N P(B_n) = \lim_{N \to \infty} P(A_N).$$

Il terzo passaggio è la definizione di somma di una serieUna serie è la successione delle somme parziali s_n = a_0 + ... + a_n; la sua somma è il limite di s_n (converge, diverge o è irregolare). Proprietà generali e condizione necessaria: se la serie converge, gli addendi tendono a 0.Serie numeriche → (limite delle somme parziali); il quarto usa l'additività finita, perché $A_N$ è unione disgiunta di $B_1, \dots, B_N$. ∎

Dimostrazione di 2. Si passa ai complementari: se gli $A_n$ decrescono, gli $A_n^c$ crescono (se $A_{n+1} \subseteq A_n$, ciò che sta fuori da $A_n$ sta anche fuori da $A_{n+1}$), e per le leggi di De MorganIl complementare di un'intersezione è l'unione dei complementari, e viceversa.Operazioni tra insiemi → $\big(\bigcap_n A_n\big)^c = \bigcup_n A_n^c$. Per il punto 1:

$$P\Big(\bigcap_n A_n\Big) = 1 - P\Big(\bigcup_n A_n^c\Big) = 1 - \lim_n P(A_n^c) = \lim_n \big(1 - P(A_n^c)\big) = \lim_n P(A_n). \quad \blacksquare$$

Il primo e l'ultimo passaggio usano la regola del complementare $P(A^c) = 1 - P(A)$ (Misura di probabilità e sue proprietàUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà →); il secondo è il punto 1 applicato agli $A_n^c$ crescenti; il terzo porta la costante $1$ dentro il limite (il limite di una differenza è la differenza dei limiti).

Esempio 1: prima o poi esce testa. Si lancia all'infinito una moneta equa. $A_n =$ "nessuna testa nei primi $n$ lanci" è una successione decrescente (se non è uscita testa nei primi $n+1$ lanci, non è uscita nei primi $n$), con $P(A_n) = 2^{-n}$: $A_n$ vuol dire "croce in ciascuno dei primi $n$ lanci", e per l'indipendenza dei lanciA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi → la probabilità è il prodotto $\frac12 \cdot \frac12 \cdots \frac12 = \left(\frac12\right)^n$. L'intersezione $\bigcap_n A_n$ è "non esce mai testa" (un esito sta in tutti gli $A_n$ se non ha teste tra i primi $n$ lanci per ogni $n$, cioè in nessun lancio), quindi per la continuità dall'alto

$$P(\text{mai testa}) = \lim_n 2^{-n} = 0, \qquad P(\text{prima o poi testa}) = 1.$$

Il limite è quello della successione geometrica $q^n \to 0$ per $|q| < 1$, qui con $q = \frac12$ (vedi Limiti notevoli e gerarchia degli infinitiI limiti di base per sciogliere le forme indeterminate delle successioni: potenze, polinomi, il numero e, esponenziali, la gerarchia logaritmi < potenze < esponenziali < fattoriale < n^n e la razionalizzazione.Limiti notevoli e gerarchia degli infiniti →, sezione sulle successioni esponenziali); l'ultima uguaglianza è il complementare: "prima o poi testa" è la negazione di "mai testa".

Esempio 2: la funzione di distribuzione. La continuità della probabilità è esattamente ciò che serve per dimostrare che ogni funzione di distribuzioneF_X(x) = P(X ≤ x): crescente, continua a destra, con limiti 0 e 1.Funzione di distribuzione → è continua a destra e ha limiti $0$ e $1$. Per la continuità a destra in $x$: gli eventi $\{X \le x + \frac1n\}$ sono decrescenti (se $X \le x + \frac1{n+1}$ allora $X \le x + \frac1n$) e la loro intersezione è $\{X \le x\}$ (un valore che sta sotto $x + \frac1n$ per ogni $n$ sta sotto $x$), quindi per la continuità dall'alto $F_X\big(x + \frac1n\big) \to F_X(x)$; la monotonia di $F_X$ permette poi di passare da $x + \frac1n$ a un qualunque $h \to 0^+$. Allo stesso modo $\{X \le -n\}$ decresce verso $\emptyset$ (limite $0$) e $\{X \le n\}$ cresce verso $\Omega$ (limite $1$).

Esempio 3: σ-subadditività. Per eventi qualsiasi (non disgiunti) vale $P\big(\bigcup_n A_n\big) \le \sum_n P(A_n)$. Gli eventi $C_N = A_1 \cup \dots \cup A_N$ sono crescenti e la loro unione è $\bigcup_n A_n$; per la subadditività finita $P(C_N) \le P(A_1) + \dots + P(A_N) \le \sum_{n=1}^\infty P(A_n)$ (i termini sono $\ge 0$, quindi una somma parziale non supera la serie). Passando al limite per $N \to \infty$ e usando la continuità dal basso a sinistra si ottiene la disuguaglianza.

Variabili aleatorie in generale

Nel caso discreto ogni funzione $X : \Omega \to \mathbb R$ andava bene, perché tutti i sottoinsiemi erano eventi. Ora bisogna chiedere che gli insiemi che ci interessano siano eventi, cioè stiano in $\mathcal F$.

Definizione (variabile aleatoria). Una variabile aleatoria su $(\Omega, \mathcal F, P)$ è una funzione $X : \Omega \to \mathbb R$ tale che $$\{X \le x\} = \{\omega \in \Omega : X(\omega) \le x\} \in \mathcal F \qquad \text{per ogni } x \in \mathbb R.$$

Esempio. Su $\Omega = \{1, \dots, 6\}$ con $\mathcal{F} = \mathcal{P}(\Omega)$, $X(\omega) = \omega^2$ è una v.a.: ogni $\{X \le x\}$ è un sottoinsieme di $\Omega$, cioè un evento.

Da questa condizione segue (perché le semirette generano $\mathcal B(\mathbb R)$) che $\{X \in B\} \in \mathcal F$ per ogni boreliano $B$. L'idea: la famiglia dei $B$ con $\{X \in B\} \in \mathcal F$ è una σ-algebra, perché $\{X \in B^c\} = \{X \in B\}^c$ e $\{X \in \bigcup_n B_n\} = \bigcup_n \{X \in B_n\}$; contiene tutte le semirette $(-\infty, x]$ per ipotesi, quindi contiene la σ-algebra che esse generano, cioè $\mathcal B(\mathbb R)$. Per esempio $\{a < X \le b\} = \{X \le b\} \setminus \{X \le a\}$. Così si possono calcolare $P(a < X \le b)$, $P(X = c)$, $P(X \in \mathbb Q)$, $P(|X| > 2)$, eccetera.

Legge di $X$. La funzione $P_X(B) := P(X \in B)$, per $B \in \mathcal B(\mathbb R)$, è una misura di probabilità su $(\mathbb R, \mathcal B(\mathbb R))$: è lo spazio indotto dalla v.a., come nel caso discreto. Per descriverla basta la funzione di distribuzione $F_X(x) = P(X \le x)$, che determina $P_X$ su tutti i boreliani.

I tre tipi di v.a. (classificati guardando $F_X$):

Errori comuni

• Pensare che $P(\{x\}) = 0$ significhi "impossibile": nel punto scelto a caso in $[0,1]$ ogni valore ha probabilità $0$, eppure uno di essi si realizza.
• Applicare la σ-additività a unioni non numerabili ("$[0,1]$ è unione dei suoi punti, quindi $P([0,1]) = \sum P(\{x\}) = 0$"): la σ-additività vale solo per famiglie numerabili.
• Usare la continuità della probabilità con successioni non monotone: per eventi qualsiasi $P(\bigcup A_n)$ non è il limite di $P(A_n)$.