Basi ortonormali e Gram-Schmidt

Esercizi svolti: Esercizio 80 · U⊥ da un'equazione, Gram-Schmidt e vettore di minima distanza, Esercizio 81 · base ortogonale, U⊥, proiezione e un sottospazio impossibile, Esercizio 84 · prodotto scalare tra matrici con la traccia, Esercizio 89 · base ortonormale di autovettori e forma quadratica diagonale. Prerequisiti: Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →, Complemento ortogonale e proiezioni ortogonaliL'ortogonale U⊥ di un sottospazio è un sottospazio di dimensione n − dim U, e R^n = U ⊕ U⊥; ogni vettore si scompone in proiezione su U più componente ortogonale; la proiezione è il punto di U più vicino e si calcola con un sistema o con la matrice di proiezione A(AᵀA)⁻¹Aᵀ.Complemento ortogonale e proiezioni ortogonali →. Seguito: Isometrie e matrici ortogonaliUna matrice Q è ortogonale se QᵀQ = I, cioè se ha colonne (e righe) ortonormali; equivale a conservare prodotto scalare, norme e angoli, ed è la matrice di una isometria lineare. Ha Q⁻¹ = Qᵀ e det Q = ±1. In R² le ortogonali sono le rotazioni (det 1) e le riflessioni rispetto a una retta (det −1); in R³ le rotazioni hanno un asse (autovalore 1) e un angolo con tr Q = 1 + 2 cos θ, le riflessioni rispetto a un piano hanno Q = I − 2nnᵀ/(n·n). Le isometrie affini sono x ↦ Qx + b.Isometrie e matrici ortogonali → (le matrici che mandano basi ortonormali in basi ortonormali) e Teorema spettrale e forme quadraticheUna funzione lineare è simmetrica se f(v)·w = v·f(w); in una base ortonormale ha matrice simmetrica. Teorema spettrale: f è simmetrica se e solo se esiste una base ortonormale di autovettori, cioè A simmetrica ⇔ PᵀAP diagonale con P ortogonale. È l'ortodiagonalizzazione delle matrici simmetriche reali: serve per le direzioni principali (tensioni, momenti d'inerzia) e permette di scrivere le forme quadratiche come somma di quadrati con gli autovalori come coefficienti.Teorema spettrale e forme quadratiche →.

Definizioni

Definizione. Un insieme di vettori $\{v_1, \dots, v_k\}$ è

• ortogonale se $v_i \cdot v_j = 0$ per ogni $i \ne j$;
• ortonormale se è ortogonale e inoltre $\|v_i\| = 1$ per ogni $i$.

In formula, ortonormale significa $v_i \cdot v_j = \delta_{ij}$, dove $\delta_{ij} = 1$ se $i = j$ e $0$ se $i \ne j$ ("delta di Kronecker").

Esempio. $\{(1,1), (1,-1)\}$ è ortogonale ($1 - 1 = 0$) ma non ortonormale (ogni vettore ha norma $\sqrt{2}$); $\left\{\frac{(1,1)}{\sqrt{2}}, \frac{(1,-1)}{\sqrt{2}}\right\}$ è ortonormale.

Una base ortogonale (ortonormale) è una base che è un insieme ortogonale (ortonormale).

Esempi. La base canonica $e_1, \dots, e_n$ di $\mathbb{R}^n$ è ortonormale. In $\mathbb{R}^2$, $\{(1, 1), (1, -1)\}$ è ortogonale ma non ortonormale (norme $\sqrt2$); $\left\{\frac{1}{\sqrt2}(1, 1), \frac{1}{\sqrt2}(1, -1)\right\}$ è ortonormale. Più in generale $\{(\cos\theta, \sin\theta), (-\sin\theta, \cos\theta)\}$ è ortonormale per ogni $\theta$ (gli assi ruotati di $\theta$): il prodotto scalare è $-\cos\theta \sin\theta + \sin\theta \cos\theta = 0$ e ciascuno ha norma al quadrato $\cos^2\theta + \sin^2\theta = 1$ (relazione fondamentale, vedi Funzioni trigonometriche e loro inverseSeno, coseno e tangente definiti sulla circonferenza goniometrica (angoli in radianti), le loro proprietà e le inverse arcoseno, arcocoseno e arcotangente; come risolvere a sin t + b cos t ≥ c.Funzioni trigonometriche e loro inverse →).

Vettori ortogonali non nulli sono indipendenti

Proposizione. Se $v_1, \dots, v_k$ sono non nulli e a due a due ortogonali, allora sono linearmente indipendentiUna combinazione lineare è una somma di vettori moltiplicati per scalari. I vettori sono linearmente indipendenti se l'unica combinazione che dà il vettore nullo è quella con tutti i coefficienti nulli; altrimenti sono dipendenti, e allora uno di essi è combinazione lineare degli altri.Combinazioni lineari e dipendenza lineare →.

Esempio. $v_1 = (1,1,0)$, $v_2 = (1,-1,0)$, $v_3 = (0,0,2)$ sono non nulli e a due a due ortogonali, quindi sono linearmente indipendenti.

Dimostrazione. Sia $\lambda_1 v_1 + \dots + \lambda_k v_k = 0$. Si fa il prodotto scalare di entrambi i membri con $v_j$. A sinistra, per linearità, $(\lambda_1 v_1 + \dots + \lambda_k v_k) \cdot v_j = \lambda_1 (v_1 \cdot v_j) + \dots + \lambda_k (v_k \cdot v_j)$, e tutti i termini con $i \ne j$ sono nulli; a destra c'è il prodotto scalare del vettore nullo con $v_j$, che vale $0$. Resta

$$\lambda_j (v_j \cdot v_j) = 0 .$$

Siccome $v_j \ne 0$, $v_j \cdot v_j > 0$, quindi $\lambda_j = 0$. Vale per ogni $j$ ∎.

Conseguenza: $n$ vettori non nulli a due a due ortogonali in $\mathbb{R}^n$ sono automaticamente una base: sono indipendenti per la proposizione, e in uno spazio di dimensioneTutte le basi di uno spazio vettoriale hanno lo stesso numero di vettori, la dimensione (dim K^n = n). Da ogni sistema di generatori si estrae una base, ogni insieme di vettori indipendenti si completa a una base, e in dimensione n bastano n vettori indipendenti (o n generatori) per avere una base.Dimensione → $n$ bastano $n$ vettori indipendenti per avere una base (non serve verificare che generino).

Perché le basi ortonormali sono comode

Coordinate con i prodotti scalari

Se $\{f_1, \dots, f_n\}$ è una base ortonormale di $V$, per ogni $v \in V$: $$v = (v \cdot f_1)\, f_1 + (v \cdot f_2)\, f_2 + \dots + (v \cdot f_n)\, f_n .$$

Infatti, scritto $v = \sum \lambda_i f_i$, il prodotto scalare con $f_j$ dà $v \cdot f_j = \lambda_j$ (tutti gli altri termini sono nulli e $f_j \cdot f_j = 1$). Le coordinateFissata una base, ogni vettore ha una e una sola lista di coordinate; la funzione vettore → coordinate è un isomorfismo con K^n, quindi ogni spazio di dimensione n si comporta come K^n (ma l'isomorfismo dipende dalla base).Coordinate rispetto a una base → si ottengono quindi senza risolvere sistemi. Con una base solo ortogonale: $\lambda_j = \frac{v \cdot f_j}{f_j \cdot f_j}$.

Esempio. Base ortonormale $f_1 = \frac{1}{\sqrt2}(1, 1)$, $f_2 = \frac{1}{\sqrt2}(1, -1)$, $v = (3, 1)$: $v \cdot f_1 = \frac{4}{\sqrt2} = 2\sqrt2$, $v \cdot f_2 = \frac{2}{\sqrt2} = \sqrt2$. Controllo: $2\sqrt2 \cdot \frac{1}{\sqrt2}(1, 1) + \sqrt2 \cdot \frac{1}{\sqrt2}(1, -1) = (2, 2) + (1, -1) = (3, 1)$ ✓. Le coordinate di $v$ nella base $\{f_1, f_2\}$ sono quindi $(2\sqrt2, \sqrt2)$. Con una base non ortogonale, per esempio $\{(1, 0), (1, 1)\}$, le stesse coordinate richiederebbero di risolvere il sistema $a + b = 3$, $b = 1$.

Prodotto scalare e norma con le coordinate

Se $v = \sum \lambda_i f_i$ e $w = \sum \mu_i f_i$ in una base ortonormale, sviluppando per bilinearità $v \cdot w = \sum_{i} \sum_{j} \lambda_i \mu_j\, (f_i \cdot f_j)$, e siccome $f_i \cdot f_j = \delta_{ij}$ restano solo i termini con $i = j$:

$$v \cdot w = \lambda_1 \mu_1 + \dots + \lambda_n \mu_n, \qquad \|v\|^2 = \lambda_1^2 + \dots + \lambda_n^2 .$$

Cioè in una base ortonormale il prodotto scalare si calcola con la stessa formula della base canonica. In una base qualsiasi non è così.

Proiezioni con una formula diretta

Se $\{f_1, \dots, f_r\}$ è una base ortonormale di un sottospazio $U$, la proiezione ortogonaleL'ortogonale U⊥ di un sottospazio è un sottospazio di dimensione n − dim U, e R^n = U ⊕ U⊥; ogni vettore si scompone in proiezione su U più componente ortogonale; la proiezione è il punto di U più vicino e si calcola con un sistema o con la matrice di proiezione A(AᵀA)⁻¹Aᵀ.Complemento ortogonale e proiezioni ortogonali → è

$$p_U(v) = (v \cdot f_1) f_1 + \dots + (v \cdot f_r) f_r ,$$

e la matrice di proiezione è $P = A A^T$, con $A$ la matrice che ha le $f_i$ come colonne.

Matrici ortogonali

Se si mettono in colonna i vettori di una base ortonormale di $\mathbb{R}^n$ si ottiene una matrice $P$ con $P^T P = I$ (l'elemento $(i, j)$ di $P^TP$ è $f_i \cdot f_j = \delta_{ij}$). Una matrice così si chiama ortogonale: la sua inversa è la trasposta, $P^{-1} = P^T$. Il cambiamento di coordinate tra due basi ortonormali è dato da una matrice ortogonale, e conserva lunghezze e angoli: $(Px) \cdot (Py) = (Px)^T (Py) = x^T P^T P y = x^T I y = x \cdot y$ (la trasposta di un prodottoLe matrici m×n formano uno spazio vettoriale (somma e prodotto per scalare elemento per elemento); il prodotto righe per colonne corrisponde alla composizione di funzioni lineari, è associativo ma non commutativo; la trasposta scambia righe e colonne e (AB)^T = B^T A^T.Operazioni tra matrici → è $(Px)^T = x^T P^T$). Siccome norme e angoli si calcolano solo con prodotti scalari, restano uguali. Ritornano nel teorema spettraleUna funzione lineare è simmetrica se f(v)·w = v·f(w); in una base ortonormale ha matrice simmetrica. Teorema spettrale: f è simmetrica se e solo se esiste una base ortonormale di autovettori, cioè A simmetrica ⇔ PᵀAP diagonale con P ortogonale. È l'ortodiagonalizzazione delle matrici simmetriche reali: serve per le direzioni principali (tensioni, momenti d'inerzia) e permette di scrivere le forme quadratiche come somma di quadrati con gli autovalori come coefficienti.Teorema spettrale e forme quadratiche →. Lo studio completo di queste matrici (rotazioni, riflessioni, determinante $\pm 1$) è in Isometrie e matrici ortogonaliUna matrice Q è ortogonale se QᵀQ = I, cioè se ha colonne (e righe) ortonormali; equivale a conservare prodotto scalare, norme e angoli, ed è la matrice di una isometria lineare. Ha Q⁻¹ = Qᵀ e det Q = ±1. In R² le ortogonali sono le rotazioni (det 1) e le riflessioni rispetto a una retta (det −1); in R³ le rotazioni hanno un asse (autovalore 1) e un angolo con tr Q = 1 + 2 cos θ, le riflessioni rispetto a un piano hanno Q = I − 2nnᵀ/(n·n). Le isometrie affini sono x ↦ Qx + b.Isometrie e matrici ortogonali →.

Il procedimento di Gram-Schmidt

Problema. Data una base qualsiasi $\{v_1, \dots, v_k\}$ di un sottospazio $U$, costruire una base ortogonale dello stesso $U$.

Idea (è quella della proiezione su una retta in Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →): si prendono i vettori uno alla volta e a ciascuno si toglie la sua proiezione sui vettori già sistemati; ciò che resta è ortogonale a loro.

Procedimento di Gram-Schmidt. $$\begin{aligned} > v_1' &= v_1 \\ > v_2' &= v_2 - \frac{v_2 \cdot v_1'}{v_1' \cdot v_1'}\, v_1' \\ > v_3' &= v_3 - \frac{v_3 \cdot v_1'}{v_1' \cdot v_1'}\, v_1' - \frac{v_3 \cdot v_2'}{v_2' \cdot v_2'}\, v_2' \\ > &\ \ \vdots \\ > v_k' &= v_k - \sum_{i=1}^{k-1} \frac{v_k \cdot v_i'}{v_i' \cdot v_i'}\, v_i' > \end{aligned}$$ Allora $\{v_1', \dots, v_k'\}$ è una base ortogonale di $U$; dividendo ogni $v_i'$ per la sua norma si ottiene una base ortonormale.

Perché funziona.

1. Ortogonalità. Si verifica per $v_2'$ (gli altri passi sono uguali): $v_2' \cdot v_1' = v_2 \cdot v_1' - \frac{v_2 \cdot v_1'}{v_1' \cdot v_1'}\, (v_1' \cdot v_1') = 0$. Al passo $k$ si toglie a $v_k$ la sua proiezione sul sottospazio $\langle v_1', \dots, v_{k-1}' \rangle$ (calcolata con la formula diretta, lecita perché quei vettori sono già ortogonali), quindi $v_k'$ è ortogonale a tutti i precedenti. In formula, per $j < k$: nel prodotto $v_k' \cdot v_j' = v_k \cdot v_j' - \sum_{i < k} \frac{v_k \cdot v_i'}{v_i' \cdot v_i'}\, (v_i' \cdot v_j')$ tutti i termini della somma con $i \ne j$ sono nulli (i $v_i'$ precedenti sono già ortogonali tra loro), e quello con $i = j$ vale $\frac{v_k \cdot v_j'}{v_j' \cdot v_j'}\,(v_j' \cdot v_j') = v_k \cdot v_j'$: la differenza è $0$.
2. Stesso sottospazio. Ogni $v_k'$ è $v_k$ più una combinazione dei precedenti, quindi $\langle v_1', \dots, v_k' \rangle = \langle v_1, \dots, v_k \rangle$ a ogni passo.
3. Nessun vettore nullo. Se fosse $v_k' = 0$, $v_k$ sarebbe combinazione dei precedenti, contro l'indipendenza dei $v_i$.

Come si scrive negli esercizi. Con due vettori: si pone $v_2' = v_2 + \alpha v_1$ e si impone $v_1 \cdot v_2' = 0$, da cui $\alpha = -\frac{v_1 \cdot v_2}{v_1 \cdot v_1}$. È la stessa formula, ricavata ogni volta come equazione nell'incognita $\alpha$: meno da ricordare.

Esempio nel piano (quello del grafico). $v_1 = (2, 1)$, $v_2 = (1, 2)$: $v_2' = v_2 + \alpha v_1 = (1 + 2\alpha,\ 2 + \alpha)$ e $v_1 \cdot v_2' = 2(1 + 2\alpha) + (2 + \alpha) = 4 + 5\alpha = 0$, quindi $\alpha = -\frac45$ (che è proprio $-\frac{v_1 \cdot v_2}{v_1 \cdot v_1} = -\frac{2 + 2}{4 + 1}$). Allora $v_2' = \left(1 - \frac85,\ 2 - \frac45\right) = \left(-\frac35, \frac65\right) \leadsto (-1, 2)$, e il vettore tolto, $\frac45 v_1 = \left(\frac85, \frac45\right)$, è la proiezione di $v_2$ sulla retta di $v_1$.

Trucco per i conti. Si può moltiplicare ogni $v_i'$ per un numero non nullo (per togliere le frazioni) prima di usarlo nei passi successivi: ortogonalità e sottospazio generato non cambiano.

Esempio con tre vettori

In $\mathbb{R}^4$: $v_1 = (1, 1, 0, 0)$, $v_2 = (1, 0, 1, 0)$, $v_3 = (1, 1, 1, 1)$.

Passo 1. $v_1' = (1, 1, 0, 0)$, $\ v_1' \cdot v_1' = 2$.

Passo 2. $v_2 \cdot v_1' = 1$:

$$v_2' = (1, 0, 1, 0) - \frac12 (1, 1, 0, 0) = \left(1 - \frac12,\ 0 - \frac12,\ 1,\ 0\right) = \left(\frac12, -\frac12, 1, 0\right) \ \leadsto \ (1, -1, 2, 0) ,$$

dove $\leadsto$ indica che si moltiplica per $2$ per togliere le frazioni (vedi il trucco sopra).

Controllo: $(1, -1, 2, 0) \cdot v_1' = 1 - 1 = 0$ ✓. Si usa d'ora in poi $v_2' = (1, -1, 2, 0)$, con $v_2' \cdot v_2' = 6$.

Passo 3. $v_3 \cdot v_1' = 2$, $\ v_3 \cdot v_2' = 1 - 1 + 2 + 0 = 2$:

$$v_3' = (1, 1, 1, 1) - \frac22 (1, 1, 0, 0) - \frac26 (1, -1, 2, 0) = (0, 0, 1, 1) - \left(\frac13, -\frac13, \frac23, 0\right) = \left(-\frac13, \frac13, \frac13, 1\right) \ \leadsto \ (-1, 1, 1, 3)$$

(prima si toglie $v_1'$, che ha coefficiente $1$, poi un terzo di $v_2'$; alla fine si moltiplica per $3$).

Controlli: $(-1, 1, 1, 3) \cdot v_1' = 0$ ✓, $\cdot\, v_2' = -1 - 1 + 2 + 0 = 0$ ✓.

Normalizzazione. Norme $\sqrt{1 + 1} = \sqrt2$, $\sqrt{1 + 1 + 4} = \sqrt6$, $\sqrt{1 + 1 + 1 + 9} = \sqrt{12} = 2\sqrt3$:

$$f_1 = \frac{1}{\sqrt2}(1, 1, 0, 0), \qquad f_2 = \frac{1}{\sqrt6}(1, -1, 2, 0), \qquad f_3 = \frac{1}{2\sqrt3}(-1, 1, 1, 3) .$$

Conseguenze teoriche

• Ogni sottospazio di $\mathbb{R}^n$ ha una base ortonormale (si applica Gram-Schmidt a una base qualsiasi).
• Completamento. Una base ortonormale $\{f_1, \dots, f_r\}$ di $U$ si completa a una base ortonormale di $\mathbb{R}^n$ aggiungendo una base ortonormale di $U^\perp$ (perché $\mathbb{R}^n = U \oplus U^\perp$ e i vettori di $U$ sono ortogonali a quelli di $U^\perp$).
• Funziona con qualunque prodotto scalare, non solo quello usuale: basta sostituire "$\cdot$" con il prodotto scalare dato. Si usa per esempio con il prodotto tra matrici $\operatorname{Tr}(AB^T)$ (Esercizio 84 · prodotto scalare tra matrici con la traccia).

Errori comuni

• Usare nei passi successivi i vettori originali $v_i$ invece dei nuovi $v_i'$: le proiezioni vanno fatte sui vettori già ortogonalizzati.
• Normalizzare a metà procedimento e poi usare la formula con $v_i' \cdot v_i'$ sbagliato: o si normalizza alla fine, o si tiene conto che $f_i \cdot f_i = 1$.
• Dimenticare il controllo finale: due prodotti scalari nulli richiedono pochi secondi e scoprono quasi ogni errore di conto.
• Applicare Gram-Schmidt a vettori dipendenti senza accorgersene: a un certo passo si trova il vettore nullo; vuol dire che quel vettore era superfluo e va scartato.