Descomposición en Valores Singulares

A partir de la descomposición en valores singulares (D.V.S.), podemos encontrar que toda matriz puede ser factorizada de forma que quede de forma explícita los subespacios fundamentales de la matriz.

Primero, recordemos algunas propiedades:

• $A^{\ast }A={\overline{A}}^{T}A⟹$Es una matriz hermítica, semi definida positiva.
• $\text{Nul}(A^{\ast }A)=\text{Nul}(A)=\text{Rg}(A)$
• Para toda matriz hermítica, se cumple que:
  • Todos sus autovalores son reales.
  • Los autovectores son ortogonales.
  • Es siempre diagonalizable.
• Si además es semi definida positiva, no tiene autovalores negativos.
• Sea $\text{Rg}(A^{\ast }A)=k$, los primeros $k$ autovalores son estrictamente positivos, mientras que el resto valen cero. (los autovalores se ordenan de mayor a menor)

Valor Singular

Se dice que $\sigma$ es un valor singular de $A$ si $\sigma =\sqrt{\lambda }$, con $\lambda$ autovalor de $A^{\ast }A$.

Por observaciones anteriores, si $\text{Rg}(A)=k$, los primeros $k$ autovalores (y valores singulares) son estrictamente positivos, mientras que el resto valen cero.

$$\Vert A{v}_i\Vert ={\sqrt{\lambda }}_i={\sigma }_i$$

Los valores singulares de una matriz no dicen cuanto cambia la norma de los autovectores de $A^{\ast }A$ al ser multiplicados por $A$

Note

Los autovectores de $A^{\ast }A$ deben ser ortonormales

Subespacios Fundamentales

Sea $\Lambda$ el conjunto de autovalores asociados a la matriz $A^{\ast }A$, entonces podemos encontrar los subespacios asociados a la matriz $A$.

$$\Lambda =\{\underset{\text{Autovalores Positivos}}{\underbrace{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_k}},\underset{\text{Autovalores Nulos}}{\underbrace{\lambda {}_k+1,\cdots ,{\lambda }_n}}\}$$

Podemos, a partir de este conjunto, definir el subespacio columna, fila, y nulo de $A$. Todos estos conjuntos son ortonormales.

$$\text{Col}(A)=\{\frac{A{v}_1}{{\sigma }_1},\frac{A{v}_2}{{\sigma }_2},\cdots ,\frac{A{v}_k}{{\sigma }_k}\}$$ $$\text{Fil}(A)=\{v_1,v_2,\cdots ,v_k\}$$ $$\text{Nul}(A)=\{v_{k+1},\cdots ,v_n\}$$ $$\text{Nul}(A^T)=\{\frac{A{v}_{k+1}}{{\sigma }_{k+1}},\frac{A{v}_{k+2}}{{\sigma }_{k+2}},\cdots ,\frac{A{v}_n}{{\sigma }_n}\}$$

Descomposición en V.S.

Sea $A$ una matriz ${\mathbb{C}}^{m\times n}$, Puedo factorizarla de la forma

$$A=U\Sigma V^{\ast }$$ $$A=AV{V}^{\ast }⟹AV=U\Sigma$$ $$D_k=\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_k\end{array}\right]$$ $$\Sigma =\left[\begin{array}{cc}{D}_k& 0_{k\times (n-k)}\\ 0_{(m-k)\times k}& 0_{(m-k)\times (m-k)}\end{array}\right]$$

Note

Los valores singulares entre $[k+1:n]$ valen $0$

Siendo $U$, $V$, matrices unitarias e ${\mathbb{C}}^{m\times m}$ y ${\mathbb{C}}^{n\times n}$ respectivamente.

$$\begin{array}{c}U=[|u_1|,|u_2|,\cdots ,|u_k|]\\ u_i=\frac{A{v}_i}{{\sigma }_i}\end{array}$$ $$V=[|v_1|,|v_2|,\cdots ,|v_n|]$$

Si el rango de la matriz es menor a $m$, entonces las columnas restantes de $U$ se deben calcular a mano, teniendo en cuenta que debe ser un conjunto ortonormal.

D.V.S Reducida

Si $A\in {\mathbb{C}}^{m\times n}$ y $\text{Rg(A)}=k$. Podemos escribir la D.V.S. de $A$ como

$$A=\left[\begin{array}{cc}|U_k|& |U_{n-k}|\end{array}\right]\left[\begin{array}{cc}{D}_k& 0_{k\times (n-k)}\\ 0_{(m-k)\times k}& 0_{(m-k)\times (n-k)}\end{array}\right]\left[\begin{array}{c}{V}_k^{\ast }\\ V_{m-k}^{\ast }\end{array}\right]$$

Por lo que su forma reducida, se verá de la siguiente manera:

$$A=U_k{D}_k{V}_k^{\ast }$$

Pseudo-Inversa de Moore-Penrose

Se le llama así a la matriz $A^{†}=V_K{D}_K^{-1}{U}_K^{\ast }$. Se define para toda matriz de $m\times n$.

Si la matriz $A$ es de rango máximo, entonces coincide con la matriz pseudo-inversa definida anteriormente. $A^{†}=A^{\#}⟸\text{Rg}(A)=m$

Algunas propiedades de esta matriz son:

• $A{A}^{†}=P_{\text{Col}(A)}$
• $A^{†}A=P_{\text{Fil}(A)}$

Si quiero resolver el sistema $Ax=b$ por cuadrados mínimos, entonces busco $x^{†}$ tal que $x^{†}=A^{†}b$

Luego puedo sumarle cualquier vector del subespacio nulo a la solución para encontrar todas las soluciones. Además. $x^{†}$ pertenece al subespacio fila de $A$, por lo que podemos asegurar que su norma es mínima. Esto se debe a que $U_k$ está compuesta por $\text{Fil}(A)$, por lo que el vector resultante también pertenece a este.