Funzioni convesse in più variabili

Prerequisiti: Matrice hessiana e formula di Taylor in più variabiliLe derivate seconde ∂²f/∂xj∂xi formano la matrice hessiana Hf; per il teorema di Schwarz (derivate miste continue) è simmetrica. Taylor al secondo ordine: f(x0 + h) = f(x0) + ∇f(x0)·h + ½ hᵀHf(x0)h + o(‖h‖²). Una matrice simmetrica è definita positiva/negativa, semidefinita o indefinita a seconda del segno della forma quadratica hᵀAh; si riconosce con gli autovalori o con i minori principali (in 2×2: determinante e primo elemento).Matrice hessiana e formula di Taylor in più variabili →, Massimi e minimi liberi in più variabiliSe f è differenziabile e ha un estremo relativo in un punto interno x0, allora ∇f(x0) = 0 (Fermat): gli estremi interni vanno cercati tra i punti critici. Se f è C², in un punto critico: hessiana definita positiva → minimo, definita negativa → massimo, indefinita → sella, semidefinita → il test non decide e si studia il segno di f(x) − f(x0). In due variabili: det H > 0 e fxx > 0 minimo, det H > 0 e fxx < 0 massimo, det H < 0 sella.Massimi e minimi liberi in più variabili →, Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →.

In una variabile una funzione è convessa quando il grafico "tiene l'acqua", e si riconosce dal segno di $f''$. Qui la stessa idea vale con l'hessiana al posto di $f''$, ed è utile perché per le funzioni convesse la ricerca dei minimi è molto più semplice: un punto critico è già un minimo globale, senza studiare la frontiera o il comportamento all'infinito.

Insiemi convessi e definizione

Un insieme $C\subseteq\mathbb{R}^n$ è convesso se per ogni $x,y\in C$ il segmento che li unisce, $\{tx+(1-t)y:\ t\in[0,1]\}$, sta in $C$. Sono convessi un disco, un semipiano, un rettangolo, tutto $\mathbb{R}^n$; non lo sono una corona circolare o l'unione di due dischi disgiunti.

Definizione. Sia $C$ convesso. $f:C\to\mathbb{R}$ è convessa se per ogni $x,y\in C$ e $t\in[0,1]$ $$f\bigl(tx+(1-t)y\bigr)\le t\,f(x)+(1-t)\,f(y).$$ È strettamente convessa se la disuguaglianza è stretta per $x\ne y$ e $t\in\,]0,1[$.

Esempio. $f(x) = x^2$ su $\mathbb{R}$, con $x = 0$, $y = 2$, $t = \frac{1}{2}$: $f(1) = 1 \le \frac{1}{2} f(0) + \frac{1}{2} f(2) = 2$.

Significato: ristretta a un segmento, $f$ sta sotto la corda che unisce i valori agli estremi. Esempi: $\|x\|^2=x_1^2+\dots+x_n^2$ è strettamente convessa; ogni funzione lineare è convessa (con l'uguaglianza); la somma di funzioni convesse è convessa; il massimo di due funzioni convesse è convessa. Una funzione $g$ convessa di una variabile composta con una funzione lineare, $f(x)=g(a\cdot x)$, è convessa.

Caratterizzazione con il gradiente

Teorema. Sia $f$ differenziabile su un aperto convesso $C$. Allora $f$ è convessa se e solo se per ogni $x,y\in C$ $$f(y)\ge f(x)+\nabla f(x)\cdot(y-x).$$

Esempio. $f(x,y) = x^2 + y^2$ in $x = (1,0)$, dove $\nabla f = (2,0)$: la disuguaglianza $f(y) \ge f(x) + \nabla f(x) \cdot (y - x)$ diventa $y_1^2 + y_2^2 \ge 1 + 2(y_1 - 1)$, cioè $(y_1 - 1)^2 + y_2^2 \ge 0$, sempre vera.

Cioè il grafico di $f$ sta sopra il piano tangente in ogni punto (vedi il piano tangente in Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →).

Perché (la parte "convessa ⇒ disuguaglianza"). Per $t\in\,]0,1]$ la convessità dà $f(x+t(y-x))\le(1-t)f(x)+tf(y)$, cioè $f(x+t(y-x))-f(x)\le t\,(f(y)-f(x))$. Dividendo per $t>0$ e facendo $t\to0^+$, il primo membro tende alla derivata direzionale $\nabla f(x)\cdot(y-x)$: si ottiene $\nabla f(x)\cdot(y-x)\le f(y)-f(x)$.

Conseguenza fondamentale. Se $f$ è convessa e $\nabla f(x_0)=0$, la disuguaglianza diventa $f(y)\ge f(x_0)$ per ogni $y$: $x_0$ è un punto di minimo globale. Se $f$ è strettamente convessa il minimo è unico.

Caratterizzazione con l'hessiana

Teorema. Sia $f$ di classe $C^2$ su un aperto convesso $C$.

• $f$ è convessa se e solo se la matrice hessiana $H_f(x)$ è semidefinita positiva in ogni punto $x\in C$.
• Se $H_f(x)$ è definita positiva in ogni punto, $f$ è strettamente convessa. Il viceversa è falso: $f(x)=x^4$ è strettamente convessa ma $f''(0)=0$.

Esempio. $f(x,y) = x^2 + y^2$ ha $H_f = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$, definita positiva in ogni punto: $f$ è strettamente convessa su $\mathbb{R}^2$.

Perché. Si restringe $f$ a una retta: $\varphi(s)=f(x+sv)$. Allora $\varphi''(s)=v^TH_f(x+sv)\,v$ (regola della catena applicata due volte, Matrice jacobiana e derivata delle funzioni compostePer F: Rn → Rm, F = (f1, …, fm), la matrice jacobiana JF è la matrice m × n con (JF)ij = ∂fi/∂xj: la riga i è il gradiente di fi. Regola della catena: J(f∘g)(x) = Jf(g(x)) · Jg(x); casi frequenti d/dt f(γ(t)) = ∇f(γ(t))·γ'(t) e ∂f/∂x = f_u u_x + f_v v_x. Se det JF(x0) ≠ 0, F è invertibile vicino a x0 e J(F⁻¹) = (JF)⁻¹. Coordinate polari: det J = ρ.Matrice jacobiana e derivata delle funzioni composte →). La funzione $f$ è convessa su ogni segmento se e solo se ogni $\varphi$ è convessa in una variabile, cioè $\varphi''\ge0$, cioè $v^TH_f\,v\ge0$ per ogni $v$: è la definizione di semidefinita positiva.

Come si controlla in due variabili. $H=\begin{pmatrix}a&b\\b&c\end{pmatrix}$ è semidefinita positiva se e solo se $a\ge0$, $c\ge0$ e $\det H=ac-b^2\ge0$; è definita positiva se $a>0$ e $\det H>0$ (criterio di Sylvester, Matrice hessiana e formula di Taylor in più variabiliLe derivate seconde ∂²f/∂xj∂xi formano la matrice hessiana Hf; per il teorema di Schwarz (derivate miste continue) è simmetrica. Taylor al secondo ordine: f(x0 + h) = f(x0) + ∇f(x0)·h + ½ hᵀHf(x0)h + o(‖h‖²). Una matrice simmetrica è definita positiva/negativa, semidefinita o indefinita a seconda del segno della forma quadratica hᵀAh; si riconosce con gli autovalori o con i minori principali (in 2×2: determinante e primo elemento).Matrice hessiana e formula di Taylor in più variabili →).

Attenzione alla differenza con i punti critici. Per classificare un punto critico basta l'hessiana in quel punto. Per la convessità serve l'hessiana in tutti i punti del dominio.

Esempi svolti

Esempio 1. $f(x,y)=x^2+xy+y^2$ su $\mathbb{R}^2$. $H=\begin{pmatrix}2&1\\1&2\end{pmatrix}$ è costante, con $a=2>0$ e $\det=4-1=3>0$: definita positiva ovunque, $f$ è strettamente convessa. L'unico punto critico è $(0,0)$ ($\nabla f=(2x+y,\,x+2y)=0$), quindi è l'unico minimo globale, $f(0,0)=0$.

Esempio 2: l'hessiana dipende dal punto. $f(x,y)=e^{x+y}+x^2$. Con $s=x+y$: $f_{xx}=e^s+2$, $f_{xy}=e^s$, $f_{yy}=e^s$, quindi $H=\begin{pmatrix}e^s+2&e^s\\e^s&e^s\end{pmatrix}$ e $$\det H=(e^s+2)e^s-e^{2s}=2e^s>0,\qquad f_{xx}=e^s+2>0\quad\text{per ogni }(x,y).$$ Definita positiva ovunque: $f$ è strettamente convessa su $\mathbb{R}^2$. Non ha però punti critici ($f_y=e^{x+y}>0$): una funzione convessa può non avere minimo.

Esempio 3: convessa solo su una parte del piano. $f(x,y)=x^3+y^2$: $H=\begin{pmatrix}6x&0\\0&2\end{pmatrix}$, $\det H=12x$. È semidefinita positiva se e solo se $x\ge0$: $f$ è convessa sul semipiano chiuso $\{x\ge0\}$ (che è convesso) e non su tutto $\mathbb{R}^2$.

Esempio 4: semidefinita ma non definita. $f(x,y)=(x-y)^2$: $H=\begin{pmatrix}2&-2\\-2&2\end{pmatrix}$, $\det=0$, $a=2>0$: semidefinita positiva. $f$ è convessa ma non strettamente (è costante lungo le rette $x-y=\text{cost}$), e i punti critici sono tutti i punti della retta $x=y$, tutti minimi globali ($f=0$).

Esempio 5: minimo globale senza convessità. $f(x,y)=x^4+y^4-xy$ ha $\det H=144x^2y^2-1$, che in $(0,0)$ vale $-1$: l'hessiana è indefinita lì, $f$ non è convessa su $\mathbb{R}^2$. Eppure ha minimo globale $-\frac18$ (si vede dalla coercività, Massimi e minimi assoluti su insiemi compattiTeorema di Weierstrass: una funzione continua su un compatto (chiuso e limitato) di Rn ha massimo e minimo assoluti. Si trovano confrontando i valori nei punti critici interni, nei punti critici delle restrizioni ai pezzi della frontiera (parametrizzati) e nei vertici. Su un insieme chiuso illimitato, se f → +∞ all'infinito il minimo esiste e il massimo no.Massimi e minimi assoluti su insiemi compatti →). Nei punti $\pm\left(\frac12,\frac12\right)$ l'hessiana è definita positiva, ma questo basta solo per dire che sono minimi locali: per la convessità servirebbe ovunque.

Errori comuni

• Verificare l'hessiana in un punto solo e concludere che $f$ è convessa.
• Confondere semidefinita e definita: $\det H=0$ non esclude la convessità (esempio 4), ma non dà la stretta convessità.
• Pensare che definita positiva sia necessaria per la stretta convessità ($x^4$).
• Dimenticare l'insieme: la convessità si dichiara su un insieme convesso (esempio 3).
• Dedurre "ha un minimo" dalla convessità: garantisce solo che un punto critico, se esiste, è un minimo globale.