Probabilità condizionata
In questa pagina 6
In questa pagina 5
Prima: Calcolo combinatorio per la probabilitàNegli spazi uniformi bisogna contare: principio di moltiplicazione, disposizioni con ripetizione n^k, disposizioni semplici n!/(n−k)!, permutazioni n!, combinazioni (n su k); estrazioni con e senza reinserimento e distribuzione ipergeometrica.Calcolo combinatorio per la probabilità →. Dopo: Formula delle probabilità totali e formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →, Indipendenza di eventiA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →.
L'idea
Spesso si riceve un'informazione parziale sull'esito: "il dado ha dato un numero pari", "il paziente è risultato positivo al test". Questa informazione cambia le probabilità degli altri eventi.
Esempio. Dado equo. . Se però so che è uscito un numero pari, gli esiti possibili sono solo , ancora equiprobabili: la probabilità di diventa .
Sapere che si è verificato significa che diventa il nuovo spazio degli esiti: di conta solo la parte , e le probabilità vanno "riscalate" dividendo per in modo che il nuovo evento certo, , abbia probabilità .
Grafico interattivo: Condizionare a B: tutto ciò che sta fuori dal cerchio B è escluso, B diventa il nuovo Ω. Di A resta solo la zona A ∩ B (colorata), e P(A | B) è la frazione di B che essa occupa: P(A ∩ B) / P(B)
Definizione
Definizione (probabilità condizionata). Siano eventi con . La probabilità di condizionata a (o "di dato ") è
Perché : non si può dividere per zero, e comunque non ha senso condizionare a un evento che (quasi) non accade.
Nell'esempio del dado: , , quindi (il 6 è pari): ✓.
Negli spazi uniformi la formula diventa un rapporto di conteggi. In uno spazio uniformeΩ finito con esiti equiprobabili: P(E) = abs(E) / abs(Ω) per ogni evento E.Spazi di probabilità discreti e uniformi → vale per ogni evento ; applicandolo a e a , il fattore compare sopra e sotto e si semplifica:
cioè "casi favorevoli dentro , su casi possibili dentro ". In pratica: si elencano (o si contano) gli esiti di e si guarda quanti stanno anche in , senza più preoccuparsi di .
Esempio con due dadi. Sapendo che la somma è , probabilità che il primo dado abbia dato ? Gli esiti sono le 36 coppie ordinate (primo dado, secondo dado), equiprobabili. , : . Senza informazione era (le 6 coppie ): sapere che la somma è 7 non cambia la probabilità che il primo dado dia 1. Questo caso particolare si chiama indipendenzaA e B sono indipendenti se P(A ∣ B) = P(A), cioè se sapere B non cambia la probabilità di A.Indipendenza di eventi →. Con la somma invece e : qui l'informazione cambia tutto.
Attenzione: in generale. La probabilità di essere positivi al test sapendo di essere malati non è la probabilità di essere malati sapendo di essere positivi: per passare dall'una all'altra serve la formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →.
La condizionata è una misura di probabilità
Proprietà (la condizionata è una misura di probabilità). Fissato con , la funzione è una misura di probabilità su .
Esempio. Dado e : , , e le probabilità sommano a .
Verifica degli assiomi:
- valori in : per monotoniaSe E ⊆ F allora P(E) ≤ P(F).Misura di probabilità e sue proprietà → (); dividendo tutto per il numero positivo le disuguaglianze restano nello stesso verso e si ottiene ;
- normalizzazione: , perché ( è contenuto in );
- σ-additività: se gli sono disgiunti, anche gli lo sono (sono pezzi degli ), e per la proprietà distributivaL'intersezione si distribuisce sull'unione: (A_1 ∪ A_2 ∪ ...) ∩ B = (A_1 ∩ B) ∪ (A_2 ∩ B) ∪ ...Operazioni tra insiemi →; quindi, per la σ-additività di , Il penultimo passaggio porta la costante dentro la serieUna serie convergente moltiplicata per una costante c converge, e la somma viene moltiplicata per c.Serie numeriche →, cosa lecita perché la serie converge (le somme parziali si moltiplicano per la costante, e così il loro limite).
Conseguenza pratica: tutte le proprietà della probabilitàComplementare, monotonia, unione, inclusione-esclusione.Misura di probabilità e sue proprietà → valgono anche "dato ", purché l'evento condizionante resti lo stesso:
Attenzione: non è . Si complementa l'evento a sinistra della barra, non quello a destra. Esempio con il dado: , , . Allora , (giusto: stesso condizionante), ma , che non è . Le due condizionate e sono due misure di probabilità diverse.
Regola del prodotto
Moltiplicando la definizione per :
Formula (regola del prodotto).
La prima uguaglianza richiede , la seconda (si scambiano i ruoli: , moltiplicato per ). Se uno dei due eventi ha probabilità , anche per monotonia e non serve la formula.
È il modo più naturale di calcolare la probabilità di un'intersezione quando l'esperimento avviene in più fasi: probabilità della prima fase per probabilità della seconda sapendo come è andata la prima. In molti problemi le condizionate sono dati (si leggono dal testo o dalla composizione dell'urna), e la regola del prodotto serve a ricavare le intersezioni.
Esempio (estrazioni senza reinserimento). Urna con 8 nere e 6 bianche, due estrazioni senza reinserimento. "nera all'estrazione ":
perché all'inizio ci sono 8 nere su 14 palline; perché, sapendo che la prima era nera, nell'urna restano 13 palline di cui 7 nere. La frazione si semplifica dividendo per : . Controllo con il conteggioSenza reinserimento: P(k nere) = (M su k)(N−M su n−k) / (N su n).Calcolo combinatorio per la probabilità →: ✓.
Ogni percorso dell'albero qui sotto è un'intersezione, e la sua probabilità è il prodotto dei numeri sui rami:
Grafico interattivo: Albero delle due estrazioni senza reinserimento (8 nere, 6 bianche): sui rami del primo livello P(N1) e P(B1), su quelli del secondo le condizionate. P(N1 ∩ N2) = (8/14)(7/13) = 4/13 è il prodotto lungo il percorso in alto
Le quattro foglie sommano a , come deve essere perché i quattro percorsi sono una partizione di .
Regola della catena
Per eventi (con ), applicando ripetutamente la regola del prodotto:
Formula (regola della catena).
Perché basta l'ipotesi sull'ultima intersezione. è contenuto in tutte le intersezioni più corte , , ..., quindi per monotonia anche queste hanno probabilità e tutte le condizionate sono definite.
Da dove viene, con . Si applica la regola del prodotto con e poi di nuovo a : Per qualsiasi si procede allo stesso modo, staccando ogni volta l'ultimo evento (è un ragionamento per induzionePer dimostrare una proprietà per ogni n basta il passo base e il passo induttivo da n a n+1.Principio di induzione → su ).
Esempio: probabilità di pescare 3 assi di fila da un mazzo di 40 carte (4 assi), senza reinserimento. "la -esima carta è un asso": ; dato restano 3 assi su 39 carte, ; dati e restano 2 assi su 38, . Quindi .
Condizionare a due eventi: formula di decomposizione
Un esercizio del I parziale chiede di dimostrare che, se e ,
È la formula delle probabilità totaliSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes → "dentro" , con la partizione . Si dimostra in tre passi.
- Si semplifica ciascun prodotto con la definizione di condizionata (le ipotesi garantiscono che i denominatori siano positivi; anche per monotonia): e allo stesso modo .
- Gli eventi e sono disgiunti (uno sta in , l'altro in ) e la loro unione è (ogni esito di sta in oppure in ). Per additività .
- Sommando i due prodotti: .
In alternativa: è una misura di probabilità (sezione sopra), e la formula è la formula delle probabilità totali applicata a questa misura, perché è proprio la condizionata di ad calcolata con la misura . Svolgimento completo nell'Esercizio 5 · eventi indipendenti, eventi di probabilità zero e formula di decomposizione.
Errori comuni
- Scambiare con ("fallacia del procuratore").
- Scrivere , dimenticando di dividere per .
- Complementare l'evento condizionante: .
- Condizionare a un evento di probabilità zero.
Versione ripasso
Definizione
Siano eventi con . La probabilità di condizionata a (o "di dato ") è
Perché : non si divide per zero, e non ha senso condizionare a un evento che (quasi) non accade.
Esempio (dado). , : .
Spazi uniformi: (casi favorevoli dentro su casi possibili dentro ).
Esempio con due dadi. Somma : , , quindi , uguale a : sapere che la somma è 7 non cambia la probabilità che il primo dado dia 1 (è il caso dell' indipendenzaA e B sono indipendenti se P(A ∩ B) = P(A) P(B), cioè se sapere che uno si è verificato non cambia la probabilità dell'altro; l'indipendenza passa ai complementari, non va confusa con l'incompatibilità, e per più eventi va richiesta su ogni sottofamiglia.Indipendenza di eventi →). Con somma invece .
Attenzione: in generale. Per passare dall'una all'altra serve la formula di BayesSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes →.
La condizionata è una misura di probabilità
Fissato con , la funzione è una misura di probabilità su .
Verifica degli assiomi:
- valori in : per monotoniaUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà →, e si divide per il numero positivo ;
- normalizzazione: , perché ;
- σ-additività: se gli sono disgiunti, anche gli lo sono, e . La costante esce dalla serieUna serie è la successione delle somme parziali s_n = a_0 + ... + a_n; la sua somma è il limite di s_n (converge, diverge o è irregolare). Proprietà generali e condizione necessaria: se la serie converge, gli addendi tendono a 0.Serie numeriche →, che converge.
Conseguenza: le proprietà della probabilità valgono anche "dato ", purché l'evento condizionante resti lo stesso:
Attenzione: non è . Con il dado, , : , ma . Le due condizionate e sono misure diverse.
Regola del prodotto
È il modo naturale di calcolare un'intersezione quando l'esperimento avviene in più fasi: probabilità della prima fase per probabilità della seconda, sapendo come è andata la prima.
Esempio (senza reinserimento). Urna con 8 nere e 6 bianche, due estrazioni: . Controllo: ✓.
Nell'albero delle due estrazioni le quattro foglie valgono , come deve essere per una partizione di .
Regola della catena
Vale se ; per monotoniaUna misura di probabilità è una funzione P: F → [0,1] con P(Ω) = 1 e σ-additiva; ne seguono P(Aᶜ) = 1 − P(A), P(∅) = 0, monotonia, P(A ∪ B) = P(A) + P(B) − P(A ∩ B) e la formula di inclusione-esclusione.Misura di probabilità e sue proprietà → anche le intersezioni più corte hanno probabilità positiva. Si dimostra per induzionePer dimostrare una proprietà per ogni n basta il passo base e il passo induttivo da n a n+1.Principio di induzione →, staccando ogni volta l'ultimo evento.
Esempio. Tre assi di fila da un mazzo di 40 carte (4 assi): .
Condizionare a due eventi: formula di decomposizione
Se e ,
Dimostrazione in tre passi:
- ogni prodotto si semplifica con la definizione: , e analogamente per ;
- e sono disgiunti con unione , quindi le loro probabilità sommano a ;
- dividendo per si ottiene .
È la formula delle probabilità totaliSe (A_i) è una partizione di Ω, P(B) = Σ P(B ∣ A_i) P(A_i) (probabilità totali); la formula di Bayes inverte il condizionamento: P(A_k ∣ B) = P(B ∣ A_k) P(A_k) / P(B).Formula delle probabilità totali e formula di Bayes → applicata alla misura . Svolgimento completo nell'Esercizio 5 · eventi indipendenti, eventi di probabilità zero e formula di decomposizione.
Errori comuni
- Scambiare con (fallacia del procuratore).
- Scrivere , dimenticando di dividere per .
- Complementare l'evento condizionante: .
- Condizionare a un evento di probabilità zero.
Esercizi su questo argomento
- Esercizio 5 · eventi indipendenti, eventi di probabilità zero e formula di decomposizione
- Esercizio 7 · dado a sei o a dodici facce, probabilità totali e Bayes
- Esercizio 8 · tre fornitori e componenti difettosi
- Esercizio 9 · eventi A e B dalle probabilità delle intersezioni
- Esercizio 11 · lotto, numero 33 per 90 settimane
- Esercizio 12 · somma di due geometriche indipendenti
- Esercizio 13 · densità proporzionale a t² su un intervallo che dipende da a
- Esercizio 22 · somma di un numero geometrico di Bernoulli
- Esercizio - Balanced random forest (laboratorio di ripasso)
- Esercizio - Metriche di fairness e soglie per gruppo
- Esercizio - Dado lanciato fino al primo sei con tutti i lanci pari (lezioni MIT)
- Esercizio - il meteorologo, entropia e informazione mutua
Teoria collegata
- Incertezza - probabilità, regola di Bayes e indipendenza condizionata
- Calcolo combinatorio per la probabilità
- Densità e media condizionata
- Distribuzione geometrica
- Distribuzioni uniforme continua ed esponenziale
- Formula delle probabilità totali e formula di Bayes
- Indipendenza di eventi
- Vettori aleatori discreti
- Tabelle hash
- Entropia congiunta e condizionata e informazione mutua
- Probabilità per le telecomunicazioni - eventi e variabili aleatorie discrete
- Funzioni hash e crittografia simmetrica
- Modello analitico del tasso di invio di TCP
- Cenni a reinforcement learning e reti per sequenze
- Fairness nel machine learning
- Metriche di classificazione
- Regressione logistica e softmax
- Catene di Markov - matrice di transizione, classificazione degli stati e distribuzione stazionaria
- Linearità del valore atteso e variabili indicatrici
- Taglio minimo randomizzato - algoritmo di Karger
- Informazione, entropia e informazione mutua