Formula delle probabilità totali e formula di Bayes

Prima: Probabilità condizionataLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata →. Dopo: Indipendenza di eventiA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →. Negli appelli compaiono in quasi ogni tema: esercizi svolti sulla malattia XXX (I parziale, Esercizio 6 · malattia XXX, Bayes e approssimazione di Poisson), sui due dadi da 6 e 12 facce (I appello, Esercizio 7 · dado a sei o a dodici facce, probabilità totali e Bayes), sui tre fornitori (III appello, Esercizio 8 · tre fornitori e componenti difettosi).

Quando servono

Molti esperimenti avvengono in due fasi: prima si "sceglie" una situazione (un dado tra due, un fornitore tra tre, un individuo maschio o femmina), poi accade qualcosa la cui probabilità dipende dalla situazione scelta. I dati del problema sono allora del tipo

• $\mathbb{P}(A_i)$: probabilità di ciascuna situazione;
• $\mathbb{P}(B \mid A_i)$: probabilità dell'evento $B$ sapendo di essere nella situazione $A_i$.

Le due formule rispondono alle due domande naturali:

Formula delle probabilità totali

Teorema (formula delle probabilità totali). Sia $(A_i)_{i \in I}$ una partizioneFamiglia di eventi a due a due disgiunti la cui unione è Ω: ogni esito sta in uno e un solo A_i.Spazio campionario ed eventi → di $\Omega$ (finita o numerabile) con $\mathbb{P}(A_i) > 0$ per ogni $i$. Allora per ogni evento $B$ $$\boxed{\mathbb{P}(B) = \sum_{i \in I} \mathbb{P}(B \mid A_i)\, \mathbb{P}(A_i)}$$

Esempio. Si sceglie a caso (con probabilità $\frac12$ ciascuna) una di due urne, la prima con il $30\%$ di palline nere e la seconda con il $60\%$, e se ne estrae una pallina. La partizione è $\{U_1, U_2\}$ ("si è scelta l'urna 1 o 2"), con $\mathbb{P}(U_1) = \mathbb{P}(U_2) = 0{,}5$; le percentuali sono le condizionate $\mathbb{P}(\text{nera} \mid U_1) = 0{,}3$ e $\mathbb{P}(\text{nera} \mid U_2) = 0{,}6$. Quindi $\mathbb{P}(\text{nera}) = 0{,}3 \cdot 0{,}5 + 0{,}6 \cdot 0{,}5 = 0{,}15 + 0{,}30 = 0{,}45$.

Dimostrazione. La partizione taglia $B$ in fette: $B = \bigcup_i (B \cap A_i)$. L'uguaglianza vale perché ogni esito di $B$ sta in esattamente un $A_i$ (gli $A_i$ coprono $\Omega$), quindi sta nella fetta $B \cap A_i$ corrispondente; è la proprietà distributivaB ∩ (A_1 ∪ A_2 ∪ ...) = (B ∩ A_1) ∪ (B ∩ A_2) ∪ ..., e A_1 ∪ A_2 ∪ ... = Ω.Operazioni tra insiemi → $B = B \cap \Omega = B \cap \bigcup_i A_i = \bigcup_i (B \cap A_i)$. Le fette sono disgiunte perché $B \cap A_i \subseteq A_i$ e gli $A_i$ sono disgiunti. Allora per σ-additivitàSe gli eventi sono a due a due disgiunti, la probabilità dell'unione è la somma (anche infinita) delle probabilità.Misura di probabilità e sue proprietà → (additività finita se la partizione è finita) e poi per la regola del prodottoP(B ∩ A_i) = P(B ∣ A_i) P(A_i).Probabilità condizionata →, che si può usare perché $\mathbb{P}(A_i) > 0$:

$$\mathbb{P}(B) = \sum_i \mathbb{P}(B \cap A_i) = \sum_i \mathbb{P}(B \mid A_i)\, \mathbb{P}(A_i) \qquad \blacksquare$$

Interpretazione: $\mathbb{P}(B)$ è una media pesata delle probabilità condizionate $\mathbb{P}(B \mid A_i)$, con pesi $\mathbb{P}(A_i)$ (i pesi sono $\ge 0$ e sommano a $1$, perché la partizione copre $\Omega$). Quindi è sempre compresa tra la più piccola e la più grande delle $\mathbb{P}(B \mid A_i)$: se $m \le \mathbb{P}(B \mid A_i) \le M$ per ogni $i$, moltiplicando per $\mathbb{P}(A_i) \ge 0$ e sommando si ottiene $m \sum_i \mathbb{P}(A_i) \le \mathbb{P}(B) \le M \sum_i \mathbb{P}(A_i)$, cioè $m \le \mathbb{P}(B) \le M$. È un ottimo controllo sui risultati (nell'esempio delle urne: $0{,}3 \le 0{,}45 \le 0{,}6$ ✓).

Caso più frequente: partizione $\{A, A^c\}$.

$$\mathbb{P}(B) = \mathbb{P}(B \mid A)\, \mathbb{P}(A) + \mathbb{P}(B \mid A^c)\, \mathbb{P}(A^c)$$

Esempio: la malattia XXX (I parziale)

Una malattia colpisce lo $0{,}4\%$ dei maschi e lo $0{,}5\%$ delle femmine; il campione è per metà maschi e per metà femmine. Probabilità che un individuo scelto a caso sia malato?

Eventi: $M =$ "maschio", $F = M^c =$ "femmina" (partizione), $A =$ "malato". Dati: $\mathbb{P}(M) = \mathbb{P}(F) = 0{,}5$, $\mathbb{P}(A \mid M) = 0{,}004$, $\mathbb{P}(A \mid F) = 0{,}005$.

Le percentuali $0{,}4\%$ e $0{,}5\%$ sono riferite ai maschi e alle femmine, quindi sono condizionate: $0{,}4\% = \frac{0{,}4}{100} = 0{,}004$. Con la partizione $\{M, F\}$:

$$\mathbb{P}(A) = \mathbb{P}(A \mid M)\,\mathbb{P}(M) + \mathbb{P}(A \mid F)\,\mathbb{P}(F) = 0{,}004 \cdot 0{,}5 + 0{,}005 \cdot 0{,}5 = 0{,}002 + 0{,}0025 = 0{,}0045$$

Controllo: $0{,}0045$ sta tra $0{,}004$ e $0{,}005$, esattamente a metà perché i pesi sono uguali ✓. Il seguito (numero di malati nel campione di 2000 persone) è nell'Esercizio 6 · malattia XXX, Bayes e approssimazione di Poisson.

Formula di Bayes

Teorema (formula di Bayes). Nelle stesse ipotesi, se $\mathbb{P}(B) > 0$, per ogni $k$ $$\boxed{\mathbb{P}(A_k \mid B) = \frac{\mathbb{P}(B \mid A_k)\, \mathbb{P}(A_k)}{\mathbb{P}(B)} = \frac{\mathbb{P}(B \mid A_k)\, \mathbb{P}(A_k)}{\sum_{i} \mathbb{P}(B \mid A_i)\, \mathbb{P}(A_i)}}$$

Esempio. Con le due urne: $\mathbb{P}(U_1 \mid \text{nera}) = \frac{\mathbb{P}(\text{nera} \mid U_1)\,\mathbb{P}(U_1)}{\mathbb{P}(\text{nera})} = \frac{0{,}3 \cdot 0{,}5}{0{,}45} = \frac{0{,}15}{0{,}45} = \frac{1}{3}$. Prima di vedere la pallina l'urna 1 aveva probabilità $\frac12$; una nera è più facile dall'urna 2, quindi dopo averla vista l'urna 1 scende a $\frac13$ (e l'urna 2 sale a $\frac{0{,}30}{0{,}45} = \frac23$).

Dimostrazione. Per definizione $\mathbb{P}(A_k \mid B) = \frac{\mathbb{P}(A_k \cap B)}{\mathbb{P}(B)}$ (serve $\mathbb{P}(B) > 0$). Al numeratore si usa la regola del prodotto "nell'altro verso": $\mathbb{P}(A_k \cap B) = \mathbb{P}(B \cap A_k) = \mathbb{P}(B \mid A_k)\, \mathbb{P}(A_k)$, dove $B \mid A_k$ ha senso perché $\mathbb{P}(A_k) > 0$. Al denominatore si sostituisce $\mathbb{P}(B)$ con la formula delle probabilità totali. $\blacksquare$

Interpretazione. $\mathbb{P}(A_k)$ è la probabilità a priori della situazione $A_k$ (prima di osservare $B$); $\mathbb{P}(A_k \mid B)$ è la probabilità a posteriori, aggiornata dopo aver osservato $B$. La formula "inverte" il condizionamento: dai dati del tipo $\mathbb{P}(\text{effetto} \mid \text{causa})$ ricava $\mathbb{P}(\text{causa} \mid \text{effetto})$.

Osservazione utile: il numeratore è uno degli addendi del denominatore. Quindi conviene calcolare prima tutti i prodotti $\mathbb{P}(B \mid A_i)\mathbb{P}(A_i)$, sommarli (probabilità totali) e poi dividere quello che interessa per la somma. Le probabilità a posteriori $\mathbb{P}(A_i \mid B)$ sommano a $1$: hanno tutte lo stesso denominatore $\mathbb{P}(B)$, e la somma dei numeratori è proprio $\mathbb{P}(B)$. (È anche una conseguenza del fatto che $\mathbb{P}(\cdot \mid B)$ è una misura di probabilitàLa probabilità di A sapendo che si è verificato B è P(A ∣ B) = P(A ∩ B) / P(B), con P(B) > 0; è una nuova misura di probabilità, e da essa seguono la regola del prodotto e la regola della catena.Probabilità condizionata → e gli $A_i$ sono una partizione.)

Esempio: la malattia XXX, continuazione

Sapendo che l'individuo scelto è malato, probabilità che sia maschio?

$$\mathbb{P}(M \mid A) = \frac{\mathbb{P}(A \mid M)\, \mathbb{P}(M)}{\mathbb{P}(A)} = \frac{0{,}004 \cdot 0{,}5}{0{,}0045} = \frac{0{,}002}{0{,}0045} = \frac49 \approx 0{,}444$$

(per semplificare $\frac{0{,}002}{0{,}0045}$ si moltiplicano numeratore e denominatore per $10\,000$: $\frac{20}{45} = \frac49$). Meno di $\frac12$: i maschi si ammalano meno, quindi tra i malati sono la minoranza. Specularmente $\mathbb{P}(F \mid A) = \frac{0{,}005 \cdot 0{,}5}{0{,}0045} = \frac{25}{45} = \frac59$, e $\frac49 + \frac59 = 1$ ✓.

Esempio: tre fornitori (III appello)

I componenti arrivano dai fornitori $A, B, C$ con probabilità $\frac12, \frac13, \frac16$; le probabilità di difetto sono $\mathbb{P}(D \mid A) = \frac1{20}$, $\mathbb{P}(D \mid B) = \frac1{10}$, $\mathbb{P}(D \mid C) = \frac15$.

Come si leggono le colonne. La colonna "prodotto" contiene $\mathbb{P}(D \mid A_i)\,\mathbb{P}(A_i) = \mathbb{P}(D \cap A_i)$: ad esempio $\frac12 \cdot \frac1{20} = \frac1{40}$. Per sommare le frazioni si porta tutto al denominatore comune $600$ (multiplo di $40$ e di $30$): $\frac1{40} = \frac{15}{600}$, $\frac1{30} = \frac{20}{600}$, quindi $\mathbb{P}(D) = \frac{15 + 20 + 20}{600} = \frac{55}{600} = \frac{11}{120}$ (si divide per $5$). La colonna "a posteriori" è ogni prodotto diviso per $\mathbb{P}(D)$: il denominatore $600$ si semplifica e resta, ad esempio, $\frac{15/600}{55/600} = \frac{15}{55} = \frac3{11}$. Controllo: $\mathbb{P}(D) = \frac{11}{120} \approx 0{,}092$ sta tra $\frac1{20} = 0{,}05$ e $\frac15 = 0{,}2$ ✓.

Il fornitore $C$ fornisce pochi pezzi ma molto difettosi: dopo aver visto un difetto, la sua probabilità sale da $\frac16 \approx 0{,}17$ a $\frac4{11} \approx 0{,}36$. Svolgimento completo nell'Esercizio 8 · tre fornitori e componenti difettosi.

Esempio: un test diagnostico (perché Bayes sorprende)

Una malattia ha prevalenza $1\%$; un test la rileva nel $99\%$ dei malati e dà un falso positivo nel $5\%$ dei sani. Se un individuo risulta positivo ($+$), probabilità che sia malato ($M$)?

Dati: $\mathbb{P}(M) = 0{,}01$, quindi $\mathbb{P}(M^c) = 0{,}99$; $\mathbb{P}(+ \mid M) = 0{,}99$ (sensibilità); $\mathbb{P}(+ \mid M^c) = 0{,}05$ (falsi positivi). Attenzione: i due $0{,}99$ sono numeri diversi che per caso coincidono.

$$\mathbb{P}(+) = \mathbb{P}(+ \mid M)\,\mathbb{P}(M) + \mathbb{P}(+ \mid M^c)\,\mathbb{P}(M^c) = 0{,}99 \cdot 0{,}01 + 0{,}05 \cdot 0{,}99 = 0{,}0099 + 0{,}0495 = 0{,}0594$$ $$\mathbb{P}(M \mid +) = \frac{\mathbb{P}(+ \mid M)\,\mathbb{P}(M)}{\mathbb{P}(+)} = \frac{0{,}0099}{0{,}0594} = \frac{99}{594} = \frac16 \approx 0{,}167$$

(moltiplicando sopra e sotto per $10\,000$, e $594 = 6 \cdot 99$).

Lo stesso conto con le frequenze. Su $10\,000$ persone i malati sono $100$, e di questi $99$ risultano positivi; i sani sono $9900$, e il $5\%$ di loro, cioè $495$, risulta positivo. I positivi sono $99 + 495 = 594$, di cui malati $99$: $\frac{99}{594} = \frac16$.

Solo un positivo su sei è davvero malato: i sani sono così tanti che anche il $5\%$ di falsi positivi supera di molto i veri positivi. Senza Bayes si confonderebbe $\mathbb{P}(+ \mid M) = 0{,}99$ con $\mathbb{P}(M \mid +)$.

Quanto conta la probabilità a priori. Con la prevalenza $p = \mathbb{P}(M)$ generica, lo stesso conto dà $$\mathbb{P}(M \mid +) = \frac{0{,}99\,p}{0{,}99\,p + 0{,}05\,(1 - p)}.$$ Con $p = 0{,}001$ vale circa $0{,}019$, con $p = 0{,}01$ vale $\frac16$, con $p = 0{,}1$ vale $0{,}6875$, con $p = 0{,}5$ circa $0{,}952$: lo stesso test, applicato a una popolazione in cui la malattia è rara, produce soprattutto falsi allarmi.

Schema per gli esercizi

1. Dare un nome agli eventi: le "situazioni" ($A_i$, che devono formare una partizione) e l'evento osservato ($B$).
2. Tradurre i dati: le percentuali "tra i maschi", "del fornitore A", "per il dado A" sono probabilità condizionate $\mathbb{P}(B \mid A_i)$; le proporzioni delle situazioni sono $\mathbb{P}(A_i)$.
3. Probabilità totali per $\mathbb{P}(B)$.
4. Bayes se si chiede la probabilità di una situazione sapendo $B$.
5. Controlli: $\mathbb{P}(B)$ tra il minimo e il massimo dei $\mathbb{P}(B \mid A_i)$; le a posteriori sommano a 1.

Errori comuni

• Usare eventi che non formano una partizione (che si sovrappongono o non coprono tutto).
• Confondere $\mathbb{P}(B \mid A)$ con $\mathbb{P}(A \cap B)$: "lo 0,4% dei maschi è malato" è $\mathbb{P}(A \mid M)$, non $\mathbb{P}(A \cap M)$.
• Dimenticare il denominatore in Bayes, o mettere al denominatore $\mathbb{P}(A_k)$ invece di $\mathbb{P}(B)$.