Complemento ortogonale e proiezioni ortogonali

Lezioni 32 (fine) e 33 (videolezioni n. 32 e 33). Esercizi svolti: Esercizio 80 · U⊥ da un'equazione, Gram-Schmidt e vettore di minima distanza, Esercizio 81 · base ortogonale, U⊥, proiezione e un sottospazio impossibile, Esercizio 82 · (Im f)⊥ = Ker f per una matrice simmetrica, Esercizio 83 · U da un sistema, U⊥, proiezioni su U e U⊥, Esercizio 85 · dimensione con parametro, U⊥ e vettore con proiezione assegnata. Prerequisito: Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →. Seguito: Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati →, Basi ortonormali e Gram-SchmidtUna base ortonormale è fatta di vettori di norma 1 a due a due ortogonali: le coordinate si calcolano con prodotti scalari e le proiezioni con una formula diretta. Il procedimento di Gram-Schmidt trasforma una base qualsiasi in una base ortogonale (e poi ortonormale) dello stesso sottospazio.Basi ortonormali e Gram-Schmidt →.

In tutta la nota si lavora in $\mathbb{R}^n$ con il prodotto scalare usuale.

L'ortogonale di un sottospazio

Definizione. Sia $U \subseteq \mathbb{R}^n$ un sottospazio vettoriale. L'ortogonale di $U$ è $$U^\perp = \{ v \in \mathbb{R}^n : v \cdot u = 0 \ \text{ per ogni } u \in U \},$$ l'insieme dei vettori perpendicolari a tutti i vettori di $U$.

Esempio. $U = \langle (1,1,0) \rangle \subseteq \mathbb{R}^3$: $U^\perp = \{(x,y,z) : x + y = 0\} = \langle (1,-1,0), (0,0,1) \rangle$. Passaggi: $(x, y, z) \cdot (1, 1, 0) = x + y$, e basta imporre l'ortogonalità al generatore (lo si giustifica sotto, "basta controllare una base"). L'equazione $x + y = 0$ ha due incognite libere, $x$ e $z$: con $y = -x$ le soluzioni sono $(x, -x, z) = x\,(1, -1, 0) + z\,(0, 0, 1)$.

Esempi in $\mathbb{R}^3$. Se $U$ è una retta per l'origine, $U^\perp$ è il piano per l'origine perpendicolare a essa. Se $U$ è un piano per l'origine, $U^\perp$ è la retta perpendicolare. $\{0\}^\perp = \mathbb{R}^3$ e $(\mathbb{R}^3)^\perp = \{0\}$.

$U^\perp$ è un sottospazio

Si verificano le due chiusure (criterio dei sottospaziUn sottospazio vettoriale è un sottoinsieme che è spazio vettoriale con le stesse operazioni: basta che sia chiuso per somma e per prodotto per scalari. Deve contenere il vettore nullo. In R^2 i sottospazi sono {0}, le rette per l'origine e tutto R^2.Sottospazi vettoriali →). Siano $v_1, v_2 \in U^\perp$, $\lambda \in \mathbb{R}$, e $u \in U$ qualsiasi.

• Somma: $(v_1 + v_2) \cdot u = v_1 \cdot u + v_2 \cdot u = 0 + 0 = 0$, quindi $v_1 + v_2 \in U^\perp$.
• Multiplo: $(\lambda v_1) \cdot u = \lambda (v_1 \cdot u) = \lambda \cdot 0 = 0$, quindi $\lambda v_1 \in U^\perp$.

(E $0 \in U^\perp$, quindi non è vuoto.) Si usa solo la linearità del prodotto scalare.

Basta controllare una base

Proposizione. Se $\{u_1, \dots, u_r\}$ è una base (o anche solo un insieme di generatori) di $U$, allora $$v \in U^\perp \iff v \cdot u_1 = 0, \ \ v \cdot u_2 = 0, \ \dots, \ v \cdot u_r = 0 .$$

Dimostrazione. ($\Rightarrow$) Se $v$ è ortogonale a tutti i vettori di $U$, lo è in particolare a $u_1, \dots, u_r$. ($\Leftarrow$) Ogni $u \in U$ si scrive $u = \lambda_1 u_1 + \dots + \lambda_r u_r$, quindi

$$v \cdot u = \lambda_1 (v \cdot u_1) + \dots + \lambda_r (v \cdot u_r) = \lambda_1 \cdot 0 + \dots + \lambda_r \cdot 0 = 0 \ \blacksquare$$

Conseguenza pratica. Si ottengono subito le equazioni cartesiane di $U^\perp$: se $u_i = (a_{i1}, \dots, a_{in})$, allora

$$U^\perp: \begin{cases} a_{11} x_1 + \dots + a_{1n} x_n = 0 \\ \quad \vdots \\ a_{r1} x_1 + \dots + a_{rn} x_n = 0 \end{cases}$$

cioè: le componenti dei vettori di una base di $U$ sono i coefficienti delle equazioni di $U^\perp$.

Esempio. $U = \langle (1, 2, 0, 1),\ (0, 1, 1, -1) \rangle \subset \mathbb{R}^4$: $$U^\perp: \begin{cases} x_1 + 2x_2 + x_4 = 0 \\ x_2 + x_3 - x_4 = 0 \end{cases}$$

La dimensione dell'ortogonale

Teorema. Per ogni sottospazio $U \subseteq \mathbb{R}^n$: $$\dim U^\perp = n - \dim U .$$

Esempio. $U = \langle (1,1,0) \rangle \subseteq \mathbb{R}^3$ ha $\dim U = 1$, quindi $\dim U^\perp = 3 - 1 = 2$ (infatti $U^\perp = \langle (1,-1,0), (0,0,1) \rangle$).

Dimostrazione. Sia $\{u_1, \dots, u_r\}$ una base di $U$ ($r = \dim U$) e sia $A$ la matrice $r \times n$ che ha i vettori $u_i$ come righe. Per la proposizione precedente $v \in U^\perp \iff Av = 0$, cioè $U^\perp$ è lo spazio delle soluzioni del sistema omogeneo $AX = 0$, ossia il nucleoIl nucleo (vettori mandati in 0) e l'immagine (vettori raggiunti) di una funzione lineare sono sottospazi; f è iniettiva se e solo se Ker f = {0}; dim Ker f + dim Im f = dim V (nullità + rango); l'antimmagine di un vettore è una soluzione particolare più il nucleo.Nucleo e immagine → di $A$. Le righe di $A$ sono indipendenti, quindi $\operatorname{rango}(A) = r$ (il rango è il numero massimo di righe indipendenti, vedi Sistemi lineari e teorema di Rouché-CapelliUn sistema lineare si scrive AX = B; ha soluzioni se e solo se B sta nell'immagine di A, cioè se rango(A) = rango(A|B) (Rouché-Capelli); le soluzioni sono una soluzione particolare più il nucleo e dipendono da n − r parametri.Sistemi lineari e teorema di Rouché-Capelli →), e per il teorema nullità + rangodim Ker A + rango(A) = numero di colonne di A.Nucleo e immagine → (qui $A$ ha $n$ colonne)

$$\dim U^\perp = \dim \operatorname{Ker} A = n - \operatorname{rango}(A) = n - r \ \blacksquare$$

Esempi: in $\mathbb{R}^3$ l'ortogonale di una retta ha dimensione $3 - 1 = 2$ (piano), quello di un piano ha dimensione $1$ (retta). In $\mathbb{R}^4$ l'ortogonale di un piano è ancora un piano.

$\mathbb{R}^n = U \oplus U^\perp$ e $(U^\perp)^\perp = U$

Teorema. Per ogni sottospazio $U \subseteq \mathbb{R}^n$:

1. $U \cap U^\perp = \{0\}$;
2. $\mathbb{R}^n = U \oplus U^\perp$;
3. $(U^\perp)^\perp = U$.

Esempio. Con $U = \langle (1,1,0) \rangle$ e $U^\perp = \langle (1,-1,0), (0,0,1) \rangle$ si ha $U \cap U^\perp = \{0\}$ e $\mathbb{R}^3 = U \oplus U^\perp$ (dimensioni $1 + 2 = 3$).

Dimostrazione.

1. Se $v \in U \cap U^\perp$, allora $v$ è ortogonale a tutti i vettori di $U$, in particolare a sé stesso: $v \cdot v = 0$, quindi $v = 0$ per la positività del prodotto scalare.
2. Per la formula di Grassmanndim(U + W) = dim U + dim W − dim(U ∩ W).Formula di Grassmann e somma diretta →: $\dim(U + U^\perp) = \dim U + (n - \dim U) - 0 = n$, quindi $U + U^\perp = \mathbb{R}^n$, e la somma è diretta per il punto 1.
3. Ogni $u \in U$ è ortogonale a ogni vettore di $U^\perp$ (è la definizione di $U^\perp$ letta al contrario), quindi $U \subseteq (U^\perp)^\perp$. Le dimensioni: $\dim (U^\perp)^\perp = n - (n - \dim U) = \dim U$. Un sottospazio contenuto in un altro della stessa dimensione coincide con esso (una base del più piccolo è fatta di $\dim U$ vettori indipendenti del più grande, quindi è già una base anche di quello: vedi DimensioneTutte le basi di uno spazio vettoriale hanno lo stesso numero di vettori, la dimensione (dim K^n = n). Da ogni sistema di generatori si estrae una base, ogni insieme di vettori indipendenti si completa a una base, e in dimensione n bastano n vettori indipendenti (o n generatori) per avere una base.Dimensione →) ∎.

Conseguenza: equazioni e basi si scambiano. Se $U$ è dato da equazioni cartesiane indipendenti con righe dei coefficienti $r_1, \dots, r_k$, allora $U = \langle r_1, \dots, r_k \rangle^\perp$ e quindi

$$U^\perp = \langle r_1, \dots, r_k \rangle \qquad \text{(i coefficienti delle equazioni di } U \text{ sono una base di } U^\perp).$$

Esempio d'esame: se $U^\perp$ ha l'unica equazione $x_1 + 4x_2 - 3x_3 + 2x_4 = 0$, allora $U = \langle (1, 4, -3, 2) \rangle$ (Esercizio 80 · U⊥ da un'equazione, Gram-Schmidt e vettore di minima distanza).

Un legame con nucleo e immagine. Per una matrice $A$, $AX = 0$ significa che $X$ è ortogonale a tutte le righe di $A$: quindi $\operatorname{Ker} A = (\text{spazio delle righe})^\perp = (\operatorname{Im} A^T)^\perp$. Se $A$ è simmetrica righe e colonne coincidono e $\operatorname{Ker} A = (\operatorname{Im} A)^\perp$ (Esercizio 82 · (Im f)⊥ = Ker f per una matrice simmetrica).

Proiezione ortogonale su un sottospazio

Siccome $\mathbb{R}^n = U \oplus U^\perp$, ogni vettore $v$ si scrive in un solo modo come

$$v = v' + v'', \qquad v' \in U, \quad v'' \in U^\perp .$$

Definizione. $v' = p_U(v)$ è la proiezione ortogonale di $v$ su $U$; $v'' = v - p_U(v) = p_{U^\perp}(v)$ è la proiezione su $U^\perp$ (la "componente ortogonale").

Esempio. $U = \langle (1,0) \rangle \subseteq \mathbb{R}^2$ e $v = (3,4)$: $p_U(v) = (3,0)$ e $v - p_U(v) = (0,4) \in U^\perp$.

Caratterizzazione da usare negli esercizi: $p_U(v)$ è l'unico vettore $v'$ tale che

$$v' \in U \qquad \text{e} \qquad v - v' \in U^\perp .$$

Generalizza la proiezione su una retta vista in Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →.

Metodo 1: con le incognite (va sempre bene)

Sia $\{u_1, \dots, u_r\}$ una base qualsiasi di $U$.

1. Si scrive $v' = a_1 u_1 + \dots + a_r u_r$ con $a_i$ incogniti (così $v' \in U$ automaticamente).
2. Si impone $v - v' \perp u_j$ per $j = 1, \dots, r$: sono $r$ equazioni lineari nelle $r$ incognite.
3. Si risolve e si sostituisce.

Variante furba: se $\dim U^\perp < \dim U$ conviene proiettare su $U^\perp$ (meno incognite) e poi fare $p_U(v) = v - p_{U^\perp}(v)$.

Esempio. $U = \langle u_1, u_2 \rangle$ con $u_1 = (1, 0, 1)$, $u_2 = (0, 1, 1)$, e $v = (1, 2, 0)$. Qui $\dim U^\perp = 1$: conviene la variante. $U^\perp$ ha equazioni $x_1 + x_3 = 0$, $x_2 + x_3 = 0$ (coefficienti = componenti di $u_1$ e $u_2$). Con $x_3 = t$ libera si ricava $x_1 = -t$, $x_2 = -t$, cioè $(x_1, x_2, x_3) = t\,(-1, -1, 1)$; si sceglie il generatore $(1, 1, -1)$ (cambiare segno non cambia la retta), quindi $U^\perp = \langle (1, 1, -1) \rangle =: \langle n \rangle$. Proiezione su una retta:

$$p_{U^\perp}(v) = \frac{v \cdot n}{n \cdot n}\, n = \frac{1 + 2 + 0}{1 + 1 + 1} (1, 1, -1) = (1, 1, -1), \qquad p_U(v) = v - (1, 1, -1) = (0, 1, 1).$$

Controllo: $(0, 1, 1) = u_2 \in U$ ✓.

Lo stesso esempio con il metodo 1. $v' = a_1 u_1 + a_2 u_2 = (a_1,\ a_2,\ a_1 + a_2)$, quindi $v - v' = (1 - a_1,\ 2 - a_2,\ -a_1 - a_2)$. Le due condizioni:

$$\begin{cases} (v - v') \cdot u_1 = (1 - a_1) + (-a_1 - a_2) = 0 \\ (v - v') \cdot u_2 = (2 - a_2) + (-a_1 - a_2) = 0 \end{cases} \iff \begin{cases} 2a_1 + a_2 = 1 \\ a_1 + 2a_2 = 2 \end{cases}$$

Dalla prima $a_2 = 1 - 2a_1$; sostituendo nella seconda $a_1 + 2 - 4a_1 = 2$, cioè $a_1 = 0$, e quindi $a_2 = 1$. Si ritrova $v' = u_2 = (0, 1, 1)$: due incognite contro una sola della variante.

Metodo 2: con una base ortogonale (formula diretta)

Se $\{u_1, \dots, u_r\}$ è una base ortogonale di $U$ ($u_i \cdot u_j = 0$ per $i \ne j$), il sistema del metodo 1 si "disaccoppia": l'equazione $(v - \sum a_i u_i) \cdot u_j = 0$ diventa $v \cdot u_j - a_j (u_j \cdot u_j) = 0$, perché tutti gli altri prodotti sono nulli. Quindi

$$p_U(v) = \frac{v \cdot u_1}{u_1 \cdot u_1}\, u_1 + \frac{v \cdot u_2}{u_2 \cdot u_2}\, u_2 + \dots + \frac{v \cdot u_r}{u_r \cdot u_r}\, u_r \qquad \text{(solo con base ortogonale!)}$$

È la somma delle proiezioni sulle singole rette $\langle u_i \rangle$. Con una base non ortogonale questa somma è sbagliata: è uno dei motivi per cui si costruiscono basi ortogonali con Gram-SchmidtUna base ortonormale è fatta di vettori di norma 1 a due a due ortogonali: le coordinate si calcolano con prodotti scalari e le proiezioni con una formula diretta. Il procedimento di Gram-Schmidt trasforma una base qualsiasi in una base ortogonale (e poi ortonormale) dello stesso sottospazio.Basi ortonormali e Gram-Schmidt →.

Esempio. $u_1 = (1, 1, 0)$, $u_2 = (1, -1, 1)$ (ortogonali: $1 - 1 + 0 = 0$), $v = (1, 2, 3)$. Servono quattro prodotti scalari: $v \cdot u_1 = 3$, $u_1 \cdot u_1 = 2$, $v \cdot u_2 = 1 - 2 + 3 = 2$, $u_2 \cdot u_2 = 3$. Quindi

$$p_U(v) = \frac32 (1, 1, 0) + \frac23 (1, -1, 1) = \left(\frac32 + \frac23,\ \frac32 - \frac23,\ \frac23\right) = \left(\frac{13}{6}, \frac56, \frac23\right).$$

Controllo: $v - p_U(v) = \left(-\frac76, \frac76, \frac73\right) = \frac76 (-1, 1, 2)$, e $(-1, 1, 2) \cdot u_1 = 0$, $(-1, 1, 2) \cdot u_2 = -1 - 1 + 2 = 0$ ✓.

Che cosa succede con una base non ortogonale. Nell'esempio del metodo 1 ($u_1 = (1, 0, 1)$, $u_2 = (0, 1, 1)$, $u_1 \cdot u_2 = 1 \ne 0$, $v = (1, 2, 0)$) la somma delle due proiezioni darebbe $\frac12 (1, 0, 1) + \frac22 (0, 1, 1) = \left(\frac12, 1, \frac32\right)$, mentre la proiezione vera è $(0, 1, 1)$.

Metodo 3: la matrice di proiezione

Sia $A$ la matrice $n \times r$ che ha i vettori di una base di $U$ come colonne. Allora $v' = A a$ con $a = (a_1, \dots, a_r)^T$, e le condizioni "$v - Aa$ ortogonale a ogni colonna di $A$" si scrivono in un colpo solo come $A^T (v - Aa) = 0$:

$$A^T A\, a = A^T v .$$

(La $j$-esima componente di $A^T w$ è la riga $j$ di $A^T$, cioè la colonna $j$ di $A$, per $w$: proprio il prodotto scalare $u_j \cdot w$.)

La matrice $A^T A$ ($r \times r$) è invertibile perché le colonne di $A$ sono indipendenti: se $A^T A x = 0$ allora $x^T A^T A x = (Ax)^T (Ax) = \|Ax\|^2 = 0$, quindi $Ax = 0$; ma $Ax$ è la combinazione delle colonne con coefficienti $x_1, \dots, x_r$, e colonne indipendenti danno $0$ solo con $x = 0$. Una matrice quadrata con nucleo nullo è invertibileL'inversa di una matrice quadrata A è la matrice A⁻¹ con A A⁻¹ = A⁻¹ A = I; esiste se e solo se rango(A) = n e si calcola con Gauss-Jordan riducendo (A | I) fino a (I | A⁻¹).Matrice inversa →. Quindi $a = (A^T A)^{-1} A^T v$ e

$$p_U(v) = P\, v, \qquad P = A\, (A^T A)^{-1} A^T \qquad \text{(matrice di proiezione su } U).$$

Proprietà della matrice di proiezione:

I conti delle prime due righe. Si pone $G = A^TA$, che è simmetrica, e quindi lo è anche $G^{-1}$ (trasponendo $G G^{-1} = I$ si ha $(G^{-1})^T G = I$, cioè $(G^{-1})^T = G^{-1}$).

• $P^2 = A G^{-1} \underbrace{A^T A}_{G} G^{-1} A^T = A\, (G^{-1} G)\, G^{-1} A^T = A G^{-1} A^T = P$.
• $P^T = (A G^{-1} A^T)^T = (A^T)^T (G^{-1})^T A^T = A G^{-1} A^T = P$, con la regola della trasposta di un prodottoLa trasposta di un prodotto è il prodotto delle trasposte in ordine inverso.Operazioni tra matrici → $(XYZ)^T = Z^T Y^T X^T$.

Se la base è ortonormale, $A^T A = I$ e $P = A A^T$.

Esempio (retta in $\mathbb{R}^2$). $U = \langle (1, 2) \rangle$, $A = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$, $A^T A = 5$:

$$P = \frac15 \begin{pmatrix} 1 \\ 2 \end{pmatrix} \begin{pmatrix} 1 & 2 \end{pmatrix} = \frac15 \begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix}.$$

Controllo: $P \begin{pmatrix} 1 \\ 2 \end{pmatrix} = \frac15 \begin{pmatrix} 5 \\ 10 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$ (resta fermo) ✓; $P \begin{pmatrix} 2 \\ -1 \end{pmatrix} = \frac15 \begin{pmatrix} 2 - 2 \\ 4 - 4 \end{pmatrix} = 0$ (il perpendicolare si annulla) ✓. Per il vettore del grafico, $P \begin{pmatrix} 3 \\ 1 \end{pmatrix} = \frac15 \begin{pmatrix} 3 + 2 \\ 6 + 4 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$, e $(I - P)\, v = (3, 1) - (1, 2) = (2, -1)$.

La proiezione è il punto più vicino

Teorema (migliore approssimazione). Per ogni $u \in U$: $$\|v - p_U(v)\| \le \|v - u\|,$$ con uguaglianza solo se $u = p_U(v)$. Cioè $p_U(v)$ è il vettore di $U$ più vicino a $v$, e la distanza di $v$ da $U$ è $\|v - p_U(v)\| = \|p_{U^\perp}(v)\|$.

Esempio. $U = \langle (1,0) \rangle$ e $v = (3,4)$: la distanza di $v$ da $U$ è $\|v - p_U(v)\| = \|(0,4)\| = 4$; per $u = (2,0)$ si ha $\|v - u\| = \sqrt{1 + 16} \approx 4{,}12 > 4$.

Dimostrazione. Scriviamo $v - u = (v - p_U(v)) + (p_U(v) - u)$. Il primo addendo sta in $U^\perp$, il secondo in $U$ (differenza di due vettori di $U$): sono ortogonali. Per Pitagora

$$\|v - u\|^2 = \|v - p_U(v)\|^2 + \|p_U(v) - u\|^2 \ge \|v - p_U(v)\|^2,$$

con uguaglianza se e solo se $\|p_U(v) - u\| = 0$ ∎. (Il passaggio $\ge$ toglie un termine $\ge 0$; poi si prende la radice, crescente, di due numeri non negativi.)

È il fondamento del Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati → e dei problemi d'esame "trovare $w \in U$ che rende minima $\|v - w\|$".

Una condizione necessaria utile. Se $w$ è la proiezione di $v$ su qualche sottospazio, allora $w \perp (v - w)$. Se $w \cdot (v - w) \ne 0$, nessun sottospazio ha $w$ come proiezione di $v$ (Esercizio 81 · base ortogonale, U⊥, proiezione e un sottospazio impossibile, punto (d)).

Errori comuni

• Usare la formula $\sum \frac{v \cdot u_i}{u_i \cdot u_i} u_i$ con una base non ortogonale.
• Confondere "equazioni di $U$" e "base di $U^\perp$" o scambiare righe e colonne: i coefficienti delle equazioni di $U$ formano una base di $U^\perp$, non di $U$.
• Credere che $U^\perp$ sia il "complementare" insiemistico di $U$: è un sottospazio (contiene $0$) e in generale è molto più piccolo di $\mathbb{R}^n \setminus U$.
• Dimenticare di controllare il risultato: $p_U(v)$ deve stare in $U$ e $v - p_U(v)$ deve soddisfare le equazioni di $U^\perp$. Sono due controlli rapidi.