Esercizio - Modello esponenziale linearizzato e confronto con i minimi quadrati non lineari

Teoria: Interpolazione a tratti, spline cubiche e minimi quadratiInvece di un polinomio di grado alto si usano polinomi di grado basso su ogni intervallo. Lineare a tratti: errore ≤ h²/8·max|f''|. Spline cubica: polinomio di grado 3 su ogni intervallo, di classe C² nei nodi; i momenti M_i = S''(x_i) risolvono un sistema tridiagonale (h_{i−1}/6)M_{i−1} + ((h_{i−1}+h_i)/3)M_i + (h_i/6)M_{i+1} = differenza tra le pendenze dei due intervalli adiacenti, con due condizioni agli estremi (naturale M_0 = M_n = 0, vincolata, not-a-knot); errore O(h⁴), nessun fenomeno di Runge. Minimi quadrati: con più dati che parametri si minimizza ‖Ac − y‖², cioè si risolvono le equazioni normali AᵀA c = Aᵀy (proiezione ortogonale di y sulle colonne di A); la retta di regressione minimizza la somma dei quadrati dei residui e i residui sono ortogonali alle colonne.Interpolazione a tratti, spline cubiche e minimi quadrati →.

Testo

Una grandezza cresce, secondo il modello $y = \alpha e^{\beta x}$. Sono state misurate:

• (a) Linearizzare il modello e scrivere le equazioni normali per $\ln y = A + \beta x$.
• (b) Risolverle e ricavare $\alpha = e^{A}$ e $\beta$.
• (c) Calcolare i valori del modello nei punti e i residui di $y$. Confrontare con la soluzione ai minimi quadrati non lineari ($\alpha = 1{,}99696$, $\beta = 0{,}505649$).
• (d) Domanda teorica: la retta di $\ln y$ minimizza gli scarti di $y$? Quale previsione si ottiene per $x = 4$?

Soluzione

(a) Linearizzazione

Passando ai logaritmi: $\ln y = \ln\alpha + \beta x = A + \beta x$, che è lineare nei parametri $A = \ln\alpha$ e $\beta$. Si pone $z_k = \ln y_k$: $$z = (\ln 2{,}0,\ \ln 3{,}3,\ \ln 5{,}5,\ \ln 9{,}1) = (0{,}693147;\ 1{,}193922;\ 1{,}704748;\ 2{,}208274).$$ Somme: $m = 4$, $\sum x = 6$, $\sum x^2 = 14$, $\sum z = 5{,}800091$, $\sum xz = 0 + 1{,}193922 + 3{,}409496 + 6{,}624822 = 11{,}228240$. Equazioni normali: $$4A + 6\beta = 5{,}800091, \qquad 6A + 14\beta = 11{,}228240.$$

(b) Soluzione

Determinante $4\cdot14 - 6\cdot 6 = 20$. $$\beta = \frac{4\cdot 11{,}228240 - 6\cdot 5{,}800091}{20} = \frac{44{,}912960 - 34{,}800546}{20} = \frac{10{,}112414}{20} = \mathbf{0{,}505621},$$ $$A = \frac{5{,}800091 - 6\cdot 0{,}505621}{4} = \frac{5{,}800091 - 3{,}033726}{4} = 0{,}691591, \qquad \alpha = e^{0{,}691591} = \mathbf{1{,}99689}.$$ Modello: $y = 1{,}99689\,e^{0{,}505621\,x}$.

(c) Residui

Somma dei quadrati dei residui di $y$: $0{,}0031^2 + 0{,}0109^2 + 0{,}0105^2 + 0{,}0016^2 = 2{,}41\cdot 10^{-4}$. Minimi quadrati non lineari (minimizzando direttamente gli scarti di $y$): $\alpha = 1{,}99696$, $\beta = 0{,}505649$, somma dei quadrati $2{,}40\cdot10^{-4}$. I parametri differiscono alla quinta cifra e la somma dei quadrati è praticamente identica: i dati sono molto vicini al modello.

(d) Teoria e previsione

No: la regressione di $\ln y$ minimizza $\sum(\ln y_k - A - \beta x_k)^2$, cioè gli scarti relativi $\approx\frac{y_k - \hat y_k}{y_k}$, e non $\sum(y_k - \hat y_k)^2$. Penalizza di più gli errori sui valori piccoli di $y$ e meno quelli sui valori grandi; con dati poco rumorosi la differenza è piccola, con dati rumorosi può essere sensibile (e si preferisce la minimizzazione non lineare, che richiede un metodo iterativo come Newton, Metodo di Newton, metodo delle secanti e ordine di convergenzaOrdine di convergenza p: |e_{k+1}| ≈ C|e_k|^p (p = 1 lineare, p = 2 quadratica: le cifre corrette raddoppiano a ogni passo). Newton x_{k+1} = x_k − f(x_k)/f'(x_k): zero della tangente, ordine 2 per radici semplici con e_{k+1} ≈ f''(α)/(2f'(α)) e_k²; per radici di molteplicità m è solo lineare con tasso (m−1)/m (si recupera con x − m f/f'). Secanti: sostituisce f' con un rapporto incrementale, ordine (1+√5)/2 ≈ 1,618, una sola valutazione di f per passo. Newton richiede un x_0 abbastanza vicino: può ciclare o divergere.Metodo di Newton, metodo delle secanti e ordine di convergenza →, con la linearizzazione come punto di partenza). Previsione per $x=4$ (estrapolazione): $y = 1{,}99689\,e^{0{,}505621\cdot 4} = 1{,}99689\,e^{2{,}022484} = 1{,}99689\cdot 7{,}5571 = \mathbf{15{,}09}$.

Risultati. $\beta = \mathbf{0{,}5056}$, $\alpha = \mathbf{1{,}9969}$; previsione $y(4) = \mathbf{15{,}09}$.

Errori tipici

• Dimenticare di riportare il risultato in $\alpha = e^A$ e usare $A$ come fattore del modello.
• Calcolare i residui sui logaritmi e dichiararli "residui del modello": sono scarti di $\ln y$.
• Usare con fiducia l'estrapolazione ($x=4$ è fuori dall'intervallo dei dati).