Distribuzione esponenziale e processo di Poisson per l'informatica
In questa pagina 5
Modelli del tempo continuo per i sistemi: tempi di servizio, arrivi di richieste, guasti. Le definizioni e le formule di base sono già in Distribuzioni uniforme continua ed esponenzialeU(a, b) ha densità costante 1/(b − a) su [a, b], media (a + b)/2 e varianza (b − a)²/12; Exp(λ) ha densità λe^(−λx) per x ≥ 0, FdD 1 − e^(−λx), P(X > t) = e^(−λt), media 1/λ, varianza 1/λ², ed è l'unica legge continua senza memoria (versione continua della geometrica).Distribuzioni uniforme continua ed esponenziale →, Distribuzione di PoissonPoi(λ) conta eventi rari: P(X = k) = e^(−λ) λ^k / k! per k = 0, 1, 2, …, con media e varianza entrambe uguali a λ; approssima la binomiale Bin(n, p) quando n è grande e p piccolo, con λ = np.Distribuzione di Poisson →, Distribuzione gammaΓ(α, λ) ha densità λ^α x^(α−1) e^(−λx) / Γ(α) per x > 0, dove Γ(α) = ∫ x^(α−1) e^(−x) dx è la funzione Gamma (Γ(n) = (n − 1)!, Γ(1/2) = √π); media α/λ, varianza α/λ²; Γ(1, λ) = Exp(λ), e la somma di n esponenziali Exp(λ) indipendenti è Γ(n, λ), il tempo d'attesa dell'n-esimo evento.Distribuzione gamma → e in Somma di variabili aleatorie indipendentiSe X e Y sono indipendenti, la legge di Z = X + Y è la convoluzione: p_Z(n) = Σ_k p_X(k) p_Y(n − k) nel discreto, f_Z(z) = ∫ f_X(z − y) f_Y(y) dy nel continuo. Casi notevoli: Bin(n,p) + Bin(m,p) = Bin(n+m,p), Poi(λ) + Poi(μ) = Poi(λ+μ), Geo + Geo con densità (n−1)p²(1−p)^(n−2), Exp(λ) + Exp(λ) = Γ(2,λ), gaussiane indipendenti sommano medie e varianze.Somma di variabili aleatorie indipendenti →; qui si dimostrano le proprietà che servono agli algoritmi e si danno gli usi. Il processo di Poisson e le code sono trattati dal punto di vista delle telecomunicazioni in Processi di arrivo e processo di PoissonUn sistema a coda ha clienti che arrivano, un'area di attesa e $m$ servitori. Il processo di arrivo è un processo di punto con tempi di interarrivo $\tau_n=t_n-t_{n-1}$ e tasso $\lambda=\frac1{E[\tau]}$. Nel processo di Poisson omogeneo gli arrivi in intervalli disgiunti sono indipendenti e di Poisson con media $\lambda T$, gli interarrivi sono esponenziali $\lambda e^{-\lambda a}$ e senza memoria; somma di processi di Poisson è Poisson (tassi che si sommano), il diradamento con probabilità $p$ dà Poisson di tasso $p\lambda$; in $[0,h]$ c'è un arrivo con probabilità $\lambda h+o(h)$. Servizio con tasso $\mu=\frac1{E[y]}$; notazione di Kendall $A/B/m/K/N-S$.Processi di arrivo e processo di Poisson → e Sistemi a coda - processo di Poisson, M/M/1 e formula di LittleUn sistema a coda ha arrivi (di pacchetti, file) e un servitore (il collegamento). Con arrivi di Poisson di intensità $\lambda$ e tempi di servizio esponenziali di media $\frac1\mu$ (coda M/M/1) e $\rho=\frac\lambda\mu<1$: $P[N=n]=(1-\rho)\rho^n$, numero medio nel sistema $\bar N=\frac\rho{1-\rho}$, tempo medio di permanenza $\bar W=\frac1{\mu-\lambda}$, attesa in coda $\bar W_q=\frac\rho{\mu-\lambda}$. La formula di Little $\bar N=\lambda\bar W$ vale in generale. Con buffer finito (M/M/1/K) i pacchetti sono persi con $P_K=\frac{(1-\rho)\rho^K}{1-\rho^{K+1}}$.Sistemi a coda - processo di Poisson, M/M/1 e formula di Little → (code e in Sistemi a coda M-M-1 e M-M-mIn un sistema M/M/m (arrivi di Poisson $\lambda$, servizi esponenziali $\mu$, $m$ servitori) il numero di clienti $x(t)$ è una catena di Markov di nascita e morte con tassi di nascita $\lambda$ e di morte $\min(k,m)\mu$. A regime il bilancio di flusso $\lambda\pi_{k-1}=\min(k,m)\mu,\pi_k$ dà per M/M/1 $\pi_k=(1-\rho)\rho^k$ ($\rho=\frac\lambda\mu<1$), $E[x]=\frac\rho{1-\rho}$, $E[s]=\frac1{\mu-\lambda}$ (esponenziale), e per M/M/m la probabilità di accodamento di Erlang C, $C=P[x\ge m]$, con $E[q]=\frac{C,G}{m-G}$, $E[w]=\frac C{m\mu-\lambda}$, $E[s]=E[w]+\frac1\mu$ ($G=\frac\lambda\mu$, $\rho=\frac Gm<1$).Sistemi a coda M-M-1 e M-M-m →): non si ripetono. Le catene di Markov a tempo discreto, di cui questo è il corrispettivo continuo (tempi di permanenza esponenziali), sono in Catene di Markov - matrice di transizione, classificazione degli stati e distribuzione stazionariaUna catena di Markov a tempo discreto e stati finiti è descritta da una matrice stocastica P: P(X_{n+1}=j | X_n=i)=P_ij, la legge al tempo n è π_0 P^n. Gli stati si classificano in classi comunicanti (irriducibilità), periodo (aperiodicità) e ricorrenza/transitorietà. Una distribuzione stazionaria soddisfa πP=π; per catene finite irriducibili esiste ed è unica, vale π_i=1/h_ii (h_ii = tempo medio di primo ritorno), e se la catena è anche aperiodica P^n converge a una matrice con tutte le righe uguali a π. Le catene reversibili (π_i P_ij = π_j P_ji) hanno stazionaria immediata.Catene di Markov - matrice di transizione, classificazione degli stati e distribuzione stazionaria →.
La distribuzione esponenziale
Definizione. , , ha densità per , coda , media , varianza . Il parametro è un tasso (eventi per unità di tempo), è il tempo medio.
Esempio. Un server completa un lavoro in media in s: al secondo, .
Teorema (assenza di memoria). Se , per ogni : . Viceversa, ogni variabile continua positiva con questa proprietà è esponenziale.
Dimostrazione. . Viceversa, se soddisfa ed è continua e decrescente, allora (equazione funzionale di Cauchy, additiva e monotona, quindi lineare).
Significato: un lavoro già in esecuzione da secondi ha ancora lo stesso tempo residuo di uno appena partito. Il tasso di guasto ("hazard") è costante. È la versione continua della Distribuzione geometricaGeo(p) è il numero della prova in cui arriva il primo successo in prove indipendenti: P(X = n) = (1−p)^(n−1) p per n ≥ 1, P(X > n) = (1−p)^n (lunga attesa), media 1/p, varianza (1−p)/p², ed è senza memoria.Distribuzione geometrica →: se si dividono i tempi in intervalli di ampiezza e in ciascuno l'evento avviene con probabilità , il numero di intervalli fino al primo evento è geometrico di parametro , e per il tempo converge a .
Minimo e massimo
Teorema (minimo). Siano indipendenti, , e . Allora , , e l'indice del minimo è indipendente da .
Dimostrazione. . Per l'indice, con due variabili: . Con si ha , e il prodotto dice che l'evento "vince " e sono indipendenti. Per variabili si confronta con il minimo delle altre, che è .
Esempio. Tre server con tassi al secondo lavorano a una richiesta ciascuno; la prima risposta arriva dopo , media s, ed è del server con probabilità .
Teorema (massimo di esponenziali identiche). Se sono i.i.d. , allora con (numero armonico, come nel collezionista di figurine: Linearità del valore atteso e variabili indicatriciLa linearità $E[X+Y]=E[X]+E[Y]$ vale sempre, anche senza indipendenza; con le variabili indicatrici ($E[I_A]=P(A)$) trasforma un conteggio in una somma di probabilità. Applicazioni: attesa del primo successo $1/p$, collezionista di figurine $nH_n$, punti fissi di una permutazione (media $1$), record (media $H_n$), inversioni ($n(n-1)/4$), attesa condizionata, identità di Wald $E[S_N]=E[N]E[X]$.Linearità del valore atteso e variabili indicatrici →), e .
Dimostrazione. Si aspetta che finiscano i lavori uno alla volta. Fino al primo completamento passa un tempo (minimo di ), media . Per l'assenza di memoria i lavori rimasti ricominciano da zero: fino al secondo completamento passa un indipendente, e così via fino a . Il massimo è la somma di questi tempi indipendenti di medie , .
Esempio. lavori con : volte la durata media di un lavoro, con deviazione standard . , circa dieci volte la probabilità per un singolo lavoro: la coda del massimo è ciò che un utente osserva se una richiesta si divide in sotto-richieste (tail latency).
Richieste replicate (hedging). Inviando la stessa richiesta a server identici di tasso e prendendo la prima risposta, il tempo è : media e . Con e : media s invece di s, e invece di .
Somme: Erlang
La somma di esponenziali indipendenti è una (caso intero della Distribuzione gammaΓ(α, λ) ha densità λ^α x^(α−1) e^(−λx) / Γ(α) per x > 0, dove Γ(α) = ∫ x^(α−1) e^(−x) dx è la funzione Gamma (Γ(n) = (n − 1)!, Γ(1/2) = √π); media α/λ, varianza α/λ²; Γ(1, λ) = Exp(λ), e la somma di n esponenziali Exp(λ) indipendenti è Γ(n, λ), il tempo d'attesa dell'n-esimo evento.Distribuzione gamma →) con densità , media .
Il processo di Poisson
Definizione. Un processo di Poisson di intensità è un processo di conteggio (numero di eventi in ) i cui tempi di interarrivo sono i.i.d. . Il -esimo evento avviene al tempo .
Proprietà equivalenti (qui si dimostra la prima):
- per ogni .
- Gli incrementi sono indipendenti (eventi in intervalli disgiunti) e stazionari ().
- In un intervallo piccolo : un evento con probabilità , due o più con (eventi isolati).
Dimostrazione di 1. L'evento equivale a . Condizionando a (densità ), occorre che l'interarrivo successivo superi , con probabilità : (Per , , : , e l'integrale numerico dà lo stesso valore.)
Un fatto utile: dato , i istanti degli eventi sono distribuiti come punti uniformi indipendenti su , poi ordinati. (La densità congiunta di e di è , costante sul simplesso , quindi la condizionata è uniforme sul simplesso.) Con : l'istante del singolo evento è uniforme su (simulazione: media , varianza contro e ).
Scomposizione e sovrapposizione
Teorema (scomposizione, thinning). Se ogni evento di un processo di Poisson di intensità viene tenuto con probabilità e scartato con probabilità , indipendentemente dagli altri, i processi dei tenuti e degli scartati sono processi di Poisson indipendenti di intensità e .
Dimostrazione. Che i tenuti da soli formino un processo di Poisson di intensità è dimostrato in Processi di arrivo e processo di PoissonUn sistema a coda ha clienti che arrivano, un'area di attesa e $m$ servitori. Il processo di arrivo è un processo di punto con tempi di interarrivo $\tau_n=t_n-t_{n-1}$ e tasso $\lambda=\frac1{E[\tau]}$. Nel processo di Poisson omogeneo gli arrivi in intervalli disgiunti sono indipendenti e di Poisson con media $\lambda T$, gli interarrivi sono esponenziali $\lambda e^{-\lambda a}$ e senza memoria; somma di processi di Poisson è Poisson (tassi che si sommano), il diradamento con probabilità $p$ dà Poisson di tasso $p\lambda$; in $[0,h]$ c'è un arrivo con probabilità $\lambda h+o(h)$. Servizio con tasso $\mu=\frac1{E[y]}$; notazione di Kendall $A/B/m/K/N-S$.Processi di arrivo e processo di Poisson →; qui serve soprattutto l'indipendenza fra tenuti e scartati, che è ciò che si usa negli algoritmi (urne, router). Dato , il numero di tenuti è . Quindi usando : il prodotto di due Poisson di parametri e , cioè i conteggi sono indipendenti. Il resto (incrementi indipendenti) segue dalla stessa proprietà del processo originale.
Teorema (sovrapposizione). Se sono processi di Poisson indipendenti di intensità , il processo somma è di Poisson con intensità , e ogni evento proviene dal processo con probabilità , indipendentemente dagli altri.
Dimostrazione. (Con i conteggi, come somma di variabili di Poisson indipendenti, in Processi di arrivo e processo di PoissonUn sistema a coda ha clienti che arrivano, un'area di attesa e $m$ servitori. Il processo di arrivo è un processo di punto con tempi di interarrivo $\tau_n=t_n-t_{n-1}$ e tasso $\lambda=\frac1{E[\tau]}$. Nel processo di Poisson omogeneo gli arrivi in intervalli disgiunti sono indipendenti e di Poisson con media $\lambda T$, gli interarrivi sono esponenziali $\lambda e^{-\lambda a}$ e senza memoria; somma di processi di Poisson è Poisson (tassi che si sommano), il diradamento con probabilità $p$ dà Poisson di tasso $p\lambda$; in $[0,h]$ c'è un arrivo con probabilità $\lambda h+o(h)$. Servizio con tasso $\mu=\frac1{E[y]}$; notazione di Kendall $A/B/m/K/N-S$.Processi di arrivo e processo di Poisson →; qui con i tempi, perché dà anche la provenienza.) Gli interarrivi del processo somma sono il minimo dei residui, che per l'assenza di memoria sono e indipendenti: il minimo è e vince con probabilità , indipendente dall'istante (teorema del minimo).
Esempio (router). Due sorgenti Poisson di e pacchetti al secondo; un filtro tiene i pacchetti di con probabilità e quelli di con . Per la scomposizione i tenuti di sono Poisson con intensità , quelli di con intensità e sono indipendenti; per la sovrapposizione il flusso in uscita è Poisson con intensità . Probabilità di nessun pacchetto in uscita in ms: . Un pacchetto in uscita proviene da con probabilità . Tutto in Esercizio - Router con due sorgenti Poisson - sovrapposizione, filtraggio e tempo del quinto pacchetto.
Applicazioni
Palline e urne con un numero di palline poissoniano
Si lanciano palline in urne, ciascuna uniforme: ogni pallina va nell'urna con probabilità , quindi per la scomposizione i carichi sono indipendenti . Con palline fisse i carichi sono invece dipendenti (sommano a ), e la poissonizzazione toglie la dipendenza.
Teorema (costo della poissonizzazione). Se un evento dipendente dai carichi ha probabilità nel modello poissoniano con media , allora ha probabilità nel modello con esattamente palline.
Dimostrazione. . Con la maggiorazione (valida per ), .
Esempio (). Urne vuote attese: (esatto) contro (Poisson). Probabilità che il carico massimo sia :
| 4 | 5 | 6 | 7 | |
|---|---|---|---|---|
| esatto ( fisse) | 0,8738 | 0,2984 | 0,0524 | 0,0071 |
| modello Poisson () | 0,8530 | 0,3070 | 0,0577 | 0,0083 |
I due modelli sono molto vicini; il limite è invece molto largo, ma serve a trasferire eventi rari. Applicazioni del carico massimo: Palline e urne - compleanno, carico massimo e approssimazione di PoissonModello palline e urne (m palline, n urne, scelte indipendenti e uniformi): paradosso del compleanno con soglia sqrt(2 n ln 2), urne vuote attese n e^(-m/n), carico massimo ln n / ln ln n con dimostrazione (first moment e union bound), approssimazione di Poisson con il fattore e sqrt(m), potere delle due scelte (ln ln n / ln 2).Palline e urne - compleanno, carico massimo e approssimazione di Poisson →.
Arrivi durante un servizio
Un server ha tempi di servizio e riceve richieste come processo di Poisson di intensità . La prima richiesta arriva prima della fine del servizio con probabilità (minimo di due esponenziali). Per l'assenza di memoria, dopo ogni arrivo il tempo residuo di servizio è di nuovo , quindi il numero di arrivi durante un servizio è geometrico: Con e : , , , (simulazione con servizi: ; ; ; media ). Il rapporto è il carico della coda (nota collegata sopra).
Un timeout non aiuta con tempi senza memoria. Se un lavoro è già in corso da secondi, annullarlo e rilanciarlo non cambia la distribuzione del tempo residuo: per questo ha senso replicare (hedging), non aspettare.
Codice: simulazione del processo di Poisson
import numpy as np
rng = np.random.default_rng(1)
def poisson_process(lam, T):
"""Tempi degli eventi in [0, T] con interarrivi Exp(lam)."""
t, eventi = rng.exponential(1 / lam), []
while t <= T:
eventi.append(t); t += rng.exponential(1 / lam)
return np.array(eventi)
# scomposizione: A 30/s con p=0.2, B 50/s con p=0.6 -> uscita Poisson di intensita' 36
prove, T = 20000, 0.1
uscite = []
for _ in range(prove):
a, b = poisson_process(30, T), poisson_process(50, T)
uscite.append((rng.random(len(a)) < .2).sum() + (rng.random(len(b)) < .6).sum())
uscite = np.array(uscite)
print(uscite.mean(), uscite.var()) # media e varianza ~ 3.6 (Poisson)
print((uscite == 3).mean()) # ~ P(3 in 100 ms) = 0.2125Domande d'esame
- Dimostra l'assenza di memoria dell'esponenziale e spiega perché la geometrica è la sua versione discreta. ; per la geometrica di parametro riscalata converge all'esponenziale.
- Tre server di tassi , , : tempo medio della prima risposta e probabilità che sia del terzo. : s; .
- Dimostra che dato l'istante dell'evento è uniforme su . , costante in ; dividendo per si ha densità .
- Dimostra la scomposizione di un processo di Poisson. Condizionando su si ottiene un prodotto di due Poisson (sopra).
Versione ripasso
- Esponenziale: , , media , varianza (Distribuzioni uniforme continua ed esponenzialeU(a, b) ha densità costante 1/(b − a) su [a, b], media (a + b)/2 e varianza (b − a)²/12; Exp(λ) ha densità λe^(−λx) per x ≥ 0, FdD 1 − e^(−λx), P(X > t) = e^(−λt), media 1/λ, varianza 1/λ², ed è l'unica legge continua senza memoria (versione continua della geometrica).Distribuzioni uniforme continua ed esponenziale →); è un tasso. Esempio: media s, , .
- Assenza di memoria: ; è l'unica legge continua con questa proprietà (, Cauchy). Limite continuo della Distribuzione geometricaGeo(p) è il numero della prova in cui arriva il primo successo in prove indipendenti: P(X = n) = (1−p)^(n−1) p per n ≥ 1, P(X > n) = (1−p)^n (lunga attesa), media 1/p, varianza (1−p)/p², ed è senza memoria.Distribuzione geometrica → (successo per intervallo ). Un lavoro già in corso da ha lo stesso residuo di uno nuovo.
- Minimo: perché ; vince con probabilità , indipendente dal valore (). Tre server : , media , vince il terzo con .
- Massimo di identiche: per l'assenza di memoria è la somma di tempi , : media , varianza (Linearità del valore atteso e variabili indicatriciLa linearità $E[X+Y]=E[X]+E[Y]$ vale sempre, anche senza indipendenza; con le variabili indicatrici ($E[I_A]=P(A)$) trasforma un conteggio in una somma di probabilità. Applicazioni: attesa del primo successo $1/p$, collezionista di figurine $nH_n$, punti fissi di una permutazione (media $1$), record (media $H_n$), inversioni ($n(n-1)/4$), attesa condizionata, identità di Wald $E[S_N]=E[N]E[X]$.Linearità del valore atteso e variabili indicatrici →). , : , sd , contro . HedgingInviare la stessa richiesta a k server e usare la prima risposta.: repliche di tasso danno ; , : media contro s.
- Erlang: somma di , densità , media (Distribuzione gammaΓ(α, λ) ha densità λ^α x^(α−1) e^(−λx) / Γ(α) per x > 0, dove Γ(α) = ∫ x^(α−1) e^(−x) dx è la funzione Gamma (Γ(n) = (n − 1)!, Γ(1/2) = √π); media α/λ, varianza α/λ²; Γ(1, λ) = Exp(λ), e la somma di n esponenziali Exp(λ) indipendenti è Γ(n, λ), il tempo d'attesa dell'n-esimo evento.Distribuzione gamma →); .
- Processo di Poisson: interarrivi i.i.d.; : (dato il successivo interarrivo supera ); incrementi indipendenti e stazionari (Processi di arrivo e processo di PoissonUn sistema a coda ha clienti che arrivano, un'area di attesa e $m$ servitori. Il processo di arrivo è un processo di punto con tempi di interarrivo $\tau_n=t_n-t_{n-1}$ e tasso $\lambda=\frac1{E[\tau]}$. Nel processo di Poisson omogeneo gli arrivi in intervalli disgiunti sono indipendenti e di Poisson con media $\lambda T$, gli interarrivi sono esponenziali $\lambda e^{-\lambda a}$ e senza memoria; somma di processi di Poisson è Poisson (tassi che si sommano), il diradamento con probabilità $p$ dà Poisson di tasso $p\lambda$; in $[0,h]$ c'è un arrivo con probabilità $\lambda h+o(h)$. Servizio con tasso $\mu=\frac1{E[y]}$; notazione di Kendall $A/B/m/K/N-S$.Processi di arrivo e processo di Poisson →). Dato gli istanti sono uniformi ordinate (densità congiunta costante).
- Scomposizione: ogni evento tenuto con probabilità : dato , , : Poisson indipendenti di intensità e . Sovrapposizione: intensità , evento dal processo con probabilità (teorema del minimo).
- Router: a con , a con : tenuti , scartati ; ; un'uscita da con probabilità .
- Poissonizzazione: palline in urne dà carichi indipendenti . Teorema: , perché e (Stirling). : urne vuote esatto contro ; : contro (Palline e urne - compleanno, carico massimo e approssimazione di PoissonModello palline e urne (m palline, n urne, scelte indipendenti e uniformi): paradosso del compleanno con soglia sqrt(2 n ln 2), urne vuote attese n e^(-m/n), carico massimo ln n / ln ln n con dimostrazione (first moment e union bound), approssimazione di Poisson con il fattore e sqrt(m), potere delle due scelte (ln ln n / ln 2).Palline e urne - compleanno, carico massimo e approssimazione di Poisson →).
- Servizio: primo arrivo prima della fine con probabilità ; per l'assenza di memoria il numero di arrivi durante un servizio è geometrico, , (, : ; media ); code in Sistemi a coda M-M-1 e M-M-mIn un sistema M/M/m (arrivi di Poisson $\lambda$, servizi esponenziali $\mu$, $m$ servitori) il numero di clienti $x(t)$ è una catena di Markov di nascita e morte con tassi di nascita $\lambda$ e di morte $\min(k,m)\mu$. A regime il bilancio di flusso $\lambda\pi_{k-1}=\min(k,m)\mu,\pi_k$ dà per M/M/1 $\pi_k=(1-\rho)\rho^k$ ($\rho=\frac\lambda\mu<1$), $E[x]=\frac\rho{1-\rho}$, $E[s]=\frac1{\mu-\lambda}$ (esponenziale), e per M/M/m la probabilità di accodamento di Erlang C, $C=P[x\ge m]$, con $E[q]=\frac{C,G}{m-G}$, $E[w]=\frac C{m\mu-\lambda}$, $E[s]=E[w]+\frac1\mu$ ($G=\frac\lambda\mu$, $\rho=\frac Gm<1$).Sistemi a coda M-M-1 e M-M-m →.
- Errori tipici: sommare i tassi per il massimo invece che per il minimo; credere che il condizionamento cambi la scomposizione; confondere tasso e media ; usare per eventi di probabilità non piccola.
Esercizi su questo argomento
- Esercizio - Dimostrazioni su esponenziale, Erlang e processo di Poisson (domande da orale)
- Esercizio - Gara fra server con tempi di servizio esponenziali - minimo, massimo e richieste replicate
- Esercizio - Poissonizzazione di cento palline in cento urne e confronto con il modello esatto
- Esercizio - Router con due sorgenti Poisson - sovrapposizione, filtraggio e tempo del quinto pacchetto