Ortogonalidad

Descomposición Ortogonal

Sea $w$ un vector de $\mathbb{V}$, siempre se va a poder descomponer en componentes ortogonales como $u=kv+w$, siendo $v\perp w$.

$$k=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}w=u-kv$$

Conjuntos Ortogonales

Se dice que $\{v_1,v_2,\cdots ,v_k\}\in \mathbb{V}$ es un conjunto ortogonal, si $⟨v_i,v_j⟩=0\forall i\ne j$.

Se dice que $\{v_1,v_2,\cdots ,v_k\}\in \mathbb{V}$ es un conjunto ortonormal, si $⟨v_i,v_j⟩=0\forall i\ne j$, y $\Vert v_i{\Vert }^2=1\forall i=1,\cdots ,k$

Si un conjunto ortogonal no contiene el vector nulo, entonces este conjunto es linealmente independiente.

Complemento Ortogonal

Sea $A\subset \mathbb{V},A\ne \varnothing$, se llama complemento ortogonal de $A$, al conjunto $A^{\perp }$ formado por todos los vectores de $\mathbb{V}$ que son ortogonales a cada elemento de $A$.

• $A^{\perp }$ es un subespacio de $\mathbb{V}$
• $\{0_{\mathbb{V}}{\}}^{\perp }=\mathbb{V}$
• ${\mathbb{V}}^{\perp }=\{0_{\mathbb{V}}\}$
• Sea $S,T\subseteq \mathbb{V}$, entonces $S\subseteq T⟹T^{\perp }\subseteq S^{\perp }$
• Sea $S\subseteq \mathbb{V}$, entonces $S\cap S^{\perp }=\{0_{\mathbb{V}}\}$

Proyección Ortogonal

La proyección ortogonal de $v$ en $S$, es igual al punto de $S$ más cercano a $v$, lo llamamos $v^{\prime }$, es una transformación lineal.

$$P_S(v)=v^{\prime }$$ $$v^{\prime }\in S$$

Además, el vector que va de $v$ a $v^{\prime }$ $(v^{\prime }-v)$ es ortogonal a $S$

$$v^{\prime }-v\in S^{\perp }$$

Propiedades

• $v-P_S(v)=P_{S^{\perp }}(v)$
• $v=P_S(v)+P_{S^{\perp }}(v),\forall v\in \mathbb{V}$
• $\mathbb{V}=S\oplus S^{\perp }$
• $Im(P_S)=S,Nu(P_S)=S^{\perp }$

Fórmula

Sea $S\subset \mathbb{V}$, $v\in \mathbb{V}$, y $B_S=\{v_1,v_2,\cdots ,v_k\}$ una base ortogonal de $S$

$$P_S(v)=\frac{⟨v,v_1⟩}{\Vert v_1{\Vert }^2}{v}_1+\frac{⟨v,v_2⟩}{\Vert v_2{\Vert }^2}{v}_2+\cdots +\frac{⟨v,v_k⟩}{\Vert v_k{\Vert }^2}{v}_k$$

Matriz

Recordando que el producto interno canónico en ${\mathbb{C}}^n$es $⟨x,y⟩={\overline{y}}^{T}x$, podemos escribir la fórmula anterior como un producto matricial.

$$P_S(v)=\left[\begin{array}{cccc}\frac{v_1}{\Vert v_1\Vert }& \frac{v_2}{\Vert v_2\Vert }& \cdots & \frac{v_k}{\Vert v_k\Vert }\end{array}\right]\cdot \left(\begin{array}{c}\frac{{\overline{v_1}}^T}{\Vert v_1\Vert }\\ \frac{{\overline{v_2}}^T}{\Vert v_2\Vert }\\ ⋮\\ \frac{{\overline{v_k}}^T}{\Vert v_k\Vert }\end{array}\right)\cdot v$$

Como es una transformación lineal, el subespacio formado por combinación lineal de las columnas de la matriz es la imagen de la función, $Col(P)=S$.

Una matriz $P\in {\mathbb{C}}^{n\times n}$ o $P\in {\mathbb{R}}^{n\times n}$ es una proyección ortogonal si cumple que:

• $P={\overline{P}}^T$ (es una matriz hermética)
• $P^2=P$ (es una matriz idempotente)

Cuadrados Mínimos

Si $X\in \mathbb{V}$ y $S\subseteq \mathbb{V}$, entonces la distancia entre el punto y el conjunto es igual a:

$$dist(X,S)=min\{dist(X,v_S),v_S\in S\}=\Vert X-P_s(X)\Vert =\Vert P_{S^{\perp }}(X)\Vert$$

Para resolver el problema de cuadrados mínimos y encontrar el punto $b$ más cercano de $S$ al punto $x$, podemos resolver las ecuaciones normales:

$${\overline{A}}^{T}A\hat{x}={\overline{A}}^{T}b$$

Este problema tiene solución única siempre y cuando $rg(A)=n$ (rango columna máximo) y podemos despejar la incógnita. Se le llama pseudo inversa de $A$ a la matriz

$$A^{\#}=({\overline{A}}^{T}A{)}^{-1}{\overline{A}}^T$$

Si el problema tiene infinitas soluciones, la solución de menor norma es aquella que pertenezca al subespacio $\text{fil}(A)$

• $A^{\#}A=I_n$
• $A{A}^{\#}=P_{Col(A)}\to$ Matriz de la proyección ortogonal sobre el subespacio columna

Regresión Lineal

Si tenemos un conjunto de datos $(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$. Si suponemos que hay una relación lineal entre las variables $(y=mx+b)$, podemos buscar la ecuación que mejor se ajusta

$$\left[\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ ⋮& ⋮\\ x_n& 1\end{array}\right]\left[\begin{array}{c}m\\ b\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$

En el caso de que el sistema sea incompatible (medidas imprecisas) podemos resolverlo el sistema con el método de cuadrados mínimos.

Si en lugar de proponer una relación lineal proponemos una relación cuadrática, podemos seguir el mismo procedimiento anterior $(y=a{x}^2+bx+c)$

$$\left[\begin{array}{ccc}{x}_1^2& x_1& 1\\ x_2^2& x_2& 1\\ ⋮& ⋮& ⋮\\ x_n^2& x_n& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ c\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$