Esercizio 87retta dei minimi quadrati per quattro punti

---

1. Il sistema impossibile

Chiedere che il punto $(x_i, y_i)$ stia sulla retta significa $m x_i + q = y_i$. Con i quattro punti:

$$\begin{cases} 0m + q = 1 \\ 1m + q = 1 \\ 2m + q = 2 \\ 3m + q = 4 \end{cases} \qquad A = \begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 2 & 1 \\ 3 & 1 \end{pmatrix}, \quad X = \begin{pmatrix} m \\ q \end{pmatrix}, \quad b = \begin{pmatrix} 1 \\ 1 \\ 2 \\ 4 \end{pmatrix}.$$

Quattro equazioni, due incognite. Dalle prime due: $q = 1$ e $m = 0$; ma allora la terza darebbe $1 = 2$, falso. Il sistema è impossibile (per Rouché-CapelliUn sistema ha soluzioni se e solo se la matrice dei coefficienti e la matrice completa hanno lo stesso rango; qui i ranghi sono 2 e 3.Sistemi lineari e teorema di Rouché-Capelli →): i quattro punti non sono allineati, come si vede anche a occhio.

I ranghi si controllano così: le due colonne di $A$ non sono proporzionali, quindi $\operatorname{rango}(A) = 2$; nella matrice completa $(A \mid b)$ le prime tre righe hanno determinante, sviluppato lungo la prima riga (LaplaceIl determinante è lineare in ogni riga, cambia segno scambiando due righe, non cambia sommando a una riga un multiplo di un'altra: così si calcola con Gauss riducendo a triangolare. Binet: det(AB) = det A · det B. Laplace: sviluppo lungo una riga o colonna con i complementi algebrici.Proprietà del determinante, Binet e Laplace →),

$$\det \begin{pmatrix} 0 & 1 & 1 \\ 1 & 1 & 1 \\ 2 & 1 & 2 \end{pmatrix} = 0 \cdot (2 - 1) - 1 \cdot (2 - 2) + 1 \cdot (1 - 2) = -1 \ne 0,$$

quindi $\operatorname{rango}(A \mid b) = 3$.

Lettura geometrica. $AX = b$ ha soluzione se e solo se $b$ è combinazione lineare delle colonne di $A$, cioè $b \in \operatorname{Im} A$ (un piano in $\mathbb{R}^4$). Qui $b$ non sta in quel piano.

---

2. Le equazioni normali

L'idea

Non potendo ottenere $AX = b$, si cerca $X$ che renda minimo l'errore $\|AX - b\|^2 = \sum_i (m x_i + q - y_i)^2$ (la somma dei quadrati degli scarti verticali: da qui "minimi quadrati"). Il vettore $AX$ più vicino a $b$ dentro $\operatorname{Im} A$ è la proiezione ortogonale di $b$ su $\operatorname{Im} A$Il vettore di un sottospazio più vicino a b è la proiezione ortogonale di b su quel sottospazio.Complemento ortogonale e proiezioni ortogonali →. La condizione è che il residuo $b - AX$ sia ortogonale a tutte le colonne di $A$:

$$A^T (b - AX) = 0 \quad \Longleftrightarrow \quad A^T A\, X = A^T b \qquad \text{(equazioni normali).}$$

I conti

$$A^T A = \begin{pmatrix} 0 & 1 & 2 & 3 \\ 1 & 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 2 & 1 \\ 3 & 1 \end{pmatrix} = \begin{pmatrix} 0 + 1 + 4 + 9 & 0 + 1 + 2 + 3 \\ 0 + 1 + 2 + 3 & 1 + 1 + 1 + 1 \end{pmatrix} = \begin{pmatrix} 14 & 6 \\ 6 & 4 \end{pmatrix},$$

$$A^T b = \begin{pmatrix} 0 \cdot 1 + 1 \cdot 1 + 2 \cdot 2 + 3 \cdot 4 \\ 1 + 1 + 2 + 4 \end{pmatrix} = \begin{pmatrix} 17 \\ 8 \end{pmatrix}.$$

(Si riconoscono le somme della statistica: $\sum x_i^2 = 14$, $\sum x_i = 6$, $n = 4$, $\sum x_i y_i = 17$, $\sum y_i = 8$.)

Il sistema normale è

$$\begin{cases} 14m + 6q = 17 \\ 6m + 4q = 8 \end{cases}$$

Dalla seconda (divisa per $2$): $3m + 2q = 4$, quindi $q = \frac{4 - 3m}{2}$. Nella prima: $14m + 6 \cdot \frac{4 - 3m}{2} = 14m + 3(4 - 3m) = 14m + 12 - 9m = 17$, cioè $5m + 12 = 17$, $m = 1$, e quindi $q = \frac{4 - 3}{2} = \frac12$.

Risultato 2: la retta dei minimi quadrati è $y = x + \frac12$.

Perché il sistema normale ha sempre una e una sola soluzione qui: $A^T A$ è invertibileUna matrice quadrata è invertibile se e solo se il suo determinante è diverso da zero.Matrice inversa → perché le colonne di $A$ sono indipendenti ($\det A^T A = 14 \cdot 4 - 6 \cdot 6 = 56 - 36 = 20 \ne 0$). Succede ogni volta che i punti non hanno tutti la stessa ascissa.

---

3. Residui e errore

$$AX = \begin{pmatrix} \frac12 \\ \frac32 \\ \frac52 \\ \frac72 \end{pmatrix}, \qquad r = b - AX = \begin{pmatrix} 1 - \frac12 \\ 1 - \frac32 \\ 2 - \frac52 \\ 4 - \frac72 \end{pmatrix} = \begin{pmatrix} \frac12 \\ -\frac12 \\ -\frac12 \\ \frac12 \end{pmatrix}.$$

Ortogonalità alle colonne di $A$:

• prima colonna $(0, 1, 2, 3)$: $0 - \frac12 - 1 + \frac32 = 0$ ✓;
• seconda colonna $(1, 1, 1, 1)$: $\frac12 - \frac12 - \frac12 + \frac12 = 0$ ✓.

La seconda condizione dice che la somma dei residui è zero: la retta passa "in mezzo" ai punti. In effetti passa per il baricentro $(\bar x, \bar y) = (\frac64, \frac84) = (\frac32, 2)$: $\frac32 + \frac12 = 2$ ✓.

Errore quadratico: $\|r\|^2 = \left(\frac12\right)^2 + \left(-\frac12\right)^2 + \left(-\frac12\right)^2 + \left(\frac12\right)^2 = 4 \cdot \frac14 = 1$. Nessun'altra retta ha somma dei quadrati degli scarti minore di $1$. Per confronto, la retta $y = x$ (che passa per i punti $(1, 1)$ e $(2, 2)$) dà scarti $1 - 0 = 1$, $0$, $0$, $4 - 3 = 1$ e errore $1^2 + 0 + 0 + 1^2 = 2$.

---

Errori comuni

• Risolvere solo due equazioni scelte a caso: si ottiene una retta che passa per due punti, non quella che approssima meglio tutti.
• Scrivere $A A^T$ invece di $A^T A$: $AA^T$ è $4 \times 4$ e non dà il sistema giusto.
• Minimizzare le distanze perpendicolari alla retta: il metodo dei minimi quadrati misura gli scarti verticali $y_i - (mx_i + q)$, che sono le componenti di $b - AX$.