Formas Cuadráticas

Definición

Dada una matriz $A\in {\mathbb{R}}^{n\times n}$ simétrica, una forma cuadrática en ${\mathbb{R}}^n$ es una función $Q:{\mathbb{R}}^n\to \mathbb{R}$ tal que $Q(x)=x^{T}Ax$

Las formas cuadráticas se clasifican en positivas, negativas, semidefinidas positivas, semidefinidas negativas, o indefinidas, según como se clasifican las matrices simétricas que las definen.

Si $Q:{\mathbb{R}}^2\to \mathbb{R}$, se le llama curva de nivel $k$ al conjunto $C_k=\{x\in {\mathbb{R}}^2:Q(x)=k\}$

Si $Q:{\mathbb{R}}^3\to \mathbb{R}$, se le llama superficie de nivel $k$ al conjunto $C_k=\{x\in {\mathbb{R}}^3:Q(x)=k\}$

Cambio de Variables

Como $A$ es una matriz simétrica, sabemos que es diagonalizable ortogonalmente: $A=PD{P}^T$, con $D$ una matriz diagonal.

Entonces podremos escribir la forma cuadrática de la siguiente forma

$$Q(x)=(P^{T}x{)}^{T}D(P^{T}x)$$

Aplicando un cambio de variables $y^T,y$. Llegamos a la siguiente expresión

$$Q(y)=y^{T}Dy$$

Una vez que encuentro los $y$ que necesito, puedo aplicar otro cambio de variables para recuperar $x$

$$y=P^{T}x⟺x=Py$$

Teorema de Rayleigh

Este teorema nos permitirá optimizar funciones, encontrando sus máximos y mínimos con restricciones en la norma de $x$.

También podremos encontrar los puntos donde la norma es mínima o máxima, dado un conjunto de nivel de la función.

$${\lambda }_{\text{min}}\cdot \Vert x{\Vert }^2\le Q(x)\le {\lambda }_{\text{max}}\cdot \Vert x{\Vert }^2$$

La igualdad de esta inecuación se cumple en los respectivos subespacios. Es decir, los mínimos y máximos se encuentran en los puntos del auto-espacio asociado a los autovalores mínimos y máximos.

$$\underset{\Vert x{\Vert }^2=a^2}{\max }Q(x)=a^2{\lambda }_{\text{max}}⟹x_{\text{max}}\in S_{{\lambda }_{\text{max}}}\cap \{\Vert x{\Vert }^2=a^2\}$$ $$\underset{\Vert x{\Vert }^2=a^2}{\min }Q(x)=a^2{\lambda }_{\text{min}}⟹x_{\text{min}}\in S_{{\lambda }_{\text{min}}}\cap \{\Vert x{\Vert }^2=a^2\}$$

Además, sabemos que como $P$ es una matriz ortogonal. $\Vert x\Vert =\Vert y\Vert$. Por lo que los valores máximos y mínimos de $Q$ serán los mismos incluso después del cambio de variables.

Restricciones Genéricas

Para optimizar funciones sujetas a una restricción del tipo $R(x)=1$, Debemos plantear ciertos cambios de variable. $z=B^{\ast }x$, Tal que $B^{\ast }{B}^{\ast }=B$

$$\underset{R(x)=1}{\min }Q(x)=\underset{\Vert z\Vert =1}{\min }{z}^T{A}^{\ast }z$$

Siendo $A^{\ast }=B^{\ast -1}A{B}^{\ast -1}$ tal que $B^{\ast }{B}^{\ast }=B$

Sin embargo, para esto debemos diagonalizar tanto $B$ como $A^{\ast }$; Sin embargo, podemos simplificar el cálculo mediante la siguiente equivalencia

Los autovalores de $A^{\ast }$ son los mismos que $B^{-1}A$. Además, se puede demostrar que si $A^{\ast }z=\lambda z$, Entonces $B^{-1}Ax=\lambda x$. Por lo que la solución del problema se encuentra encontrando los autovalores y autovectores de $B^{-1}A$. A partir de una equivalencia, llegamos a:

$$\det (A-\lambda B)=0$$ $$v_i=\text{null}(A-{\lambda }_{1}B)$$

Por último debemos hallar el vector perteneciente al subespacio de la solución adecuado. Para esto planteamos que $x_m=\alpha v_m$. Luego $R(x_m)={\alpha }^{2}R(v_m)=1$

Si resolvemos para $\alpha$, encontramos los vectores que minimizan la forma cuadrática con la restricción.

Note

Si la restricción es indefinida, entonces la solución no está a acotada y el mínimo de la forma cuadrática estará asociado al autovalor máximo.