Transcript
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
1
Décimo segunda clase. Espacios vectoriales de señales En la clase pasada vimos el concepto de espacio vectorial en ℝn, donde los vectores eran arreglos verticales de n números reales (o complejos) y los escalares eran números reales (o complejos), para los cuales definimos la suma entre vectores y el producto de un vector por un escalar. El espacio vectorial lo definimos, entonces, como un subconjunto de ℝn cerrado para las combinaciones lineales de vectores y notamos que podíamos encontrar bases de vectores (conjuntos de n vectores linealmente independientes) que expandían el espacio vectorial. Este concepto es extremadamente valioso en el estudio de la física, por ejemplo, donde los espacios vectoriales resultan ser modelos matemáticos de realidades muy concretas, como el campo gravitacional o los campos electromagnéticos (Figura 1)
Figura 1. El concepto de espacio vectorial en ℝ2 y ℝ3 tiene muchas aplicaciones en física. (a) Campo gravitacional, (b) campo magnético, (c) campo cuántico
Pues bien, este concepto lo podemos llevar a espacios vectoriales abstractos si definimos adecuadamente el campo de escalares, la suma de vectores y la multiplicación por escalares. Sólo falta dar estructuras adecuadas a algunos conjuntos abstractos y a algunas operaciones dentro de ellos. Por ejemplo, así como los espacios vectoriales en ℝn los definimos sobre el "campo escalar de los reales", para espacios vectoriales más abstractos debemos definir una estructura correspondiente para el campo de escalares, por lo cual definiremos las estructuras de Grupo y de Campo, que ni siquiera tienen que ver con números. Así podremos extender el concepto de espacio vectorial a muchas clases de objetos diferentes a los elementos de ℝn.
1. Espacios vectoriales abstractos Un grupo {G,} es un conjunto de elementos, G, y una operación definida entre cualquier par de esos elementos, , que satisfacen los siguientes cuatro axiomas: G es cerrado para . Esto es, a, b G a b G
La operación es asociativa. Esto es, a, b, c G a b c a b c
La operación tiene un elemento identidad en G. Esto es, e G : a G, a e e a a
Cada elemento de G tiene un a G, a 1 G : a a 1 a 1 a e
elemento
inverso
para
en G.
Esto
Un grupo Abeliano es un grupo que también satisface la propiedad de conmutatividad. Esto es:
es,
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
2
a, b G a b b a Dada la notación, es difícil dejar de pensar en el conjunto de números reales y la multiplicación, {ℝ, }. Pero, claramente, los números reales no pueden formar un grupo con respecto a la multiplicación porque el elemento cero no tiene un inverso multiplicativo en ℝ, por lo cual se incumple el cuarto axioma. Debemos sacudirnos de estereotipos y notar que G no tiene que ser un conjunto de números o de arreglos de números (aunque puede serlo) y no tiene que ser la multiplicación entre números (aunque puede serlo). Veamos, por ejemplo, un ejemplo muy ajeno a los conjuntos de números: G = Conjunto de permutaciones de tres objetos = Aplicación sucesiva de dos permutaciones Por ejemplo, si tengo los tres objetos (Sol, Venus, Marte), les puedo aplicar seis permutaciones diferentes: (123)(☼♀♂)=(☼♀♂), (132)(☼♀♂)=(☼♂♀), (213)(☼♀♂)=(♀☼♂) (231)(☼♀♂)=(♀♂☼), (312)(☼♀♂)=(♂☼♀), (321)(☼♀♂)=(♂♀☼) Esto es, G = {(123),(132),(213),(231),(312),(321)}, donde el elemento (ijk) del conjunto G es la permutación que hace que en la posición 1 se ubique el objeto que estaba en la posición i, en la posición 2 se ubique el objeto que estaba en la posición j, y en la posición 3 se ubique el objeto que estaba en la posición k. ¿Es {G,} un grupo? Claramente G es cerrado para porque la aplicación sucesiva de dos permutaciones da otra permutación. Por ejemplo, [(231)(321)](☼♀♂)=(231)(♂♀☼)=(♀☼♂)=(213)(☼♀♂) (231)(321)=(213) La asociatividad es evidente: (z(1) z(2) z(3))[(y(1) y(2) y(3))(x(1) x(2) x(3))] = (z(1) z(2) z(3))[ x(y(1)) x(y(2)) x(y(3))] = [x(y(z(1))) x(y(z(1))) x(y(z(1)))] [(z(1) z(2) z(3))(y(1) y(2) y(3))](x(1) x(2) x(3)) = [ y(z(1)) y(z(2)) y(z(3))](x(1) x(2) x(3)) = [x(y(z(1))) x(y(z(1))) x(y(z(1)))]
de donde (g1g2)g3 = g1(g2g3). El elemento identidad de {G,} es (123) pues (ijk)(123)=(123)(ijk)=(ijk). Por último, el elemento inverso de cada elemento de G es la permutación que retorna al orden original. Es interesante notar que para cuatro elementos de G, g-1 = g. (123)-1 = (123), (132)-1 = (132), (213)-1 = (213), (231)-1 = (312), (312)-1 = (231), (321)-1 = (321) De esta manera se ha verificado que {G,} es un grupo, aunque también es evidente que no se trata de un grupo Abeliano: (231)(321)=(213) (132)=(321)(231). Pero queda claro que los grupos no tienen que ser de números con respecto a operaciones numéricas, aunque pueden serlo:
Los enteros con respecto a la suma, (ℤ, +), forman un grupo Abeliano, así como (ℝ, +), (ℚ, +) y (ℂ, +). En todos ellos, el elemento identidad es 0 y el inverso de x es –x. (ℕ, +) no es un grupo porque el único inverso aditivo en ℕ es 0-1 = 0. Los reales distintos de cero con respecto a la multiplicación, (ℝ\{0}, ), forman un grupo Abeliano, así como (ℚ\{0}, ). El elemento identidad es 1 y el inverso multiplicativo es x-1 = 1/x.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
3
cos( ) sin( ) Las matrices que producen rotaciones en ℝ2, r ( ) , 0 2 , forman sin( ) cos( ) un grupo Abeliano con respecto a la multiplicación de matrices, donde la identidad es r(0) y el inverso de r()-1 = r(-).
Con los grupos se pueden formar campos, que constituirán los escalares de nuestros espacios vectoriales abstractos. Un campo es un conjunto de elementos, F, y un par de operaciones, y +, definidas sobre los elementos de F, que satisfacen los siguientes axiomas: {F,+} es un grupo Abeliano con identidad 0 {F\{0},} es un grupo Abeliano con identidad 1 se distribuye sobre +. Esto es, a,b,c F a(b+c) = ab + ac Por supuesto, la multiplicación y la suma sobre los reales, los racionales y los complejos son los campos más fáciles de identificar, debido a la familiaridad que tenemos con ellos. Pero es posible imaginar muchos más. Por ejemplo, nótese que el conjunto {0, 1} forma un campo finito sobre la operación AND () y la operación XOR (+). Se le llama GF(2) –Campo de Galois de orden 2–, y constituye el fundamento teórico de los sistemas de comunicación digital. Considerando que la operación lógica AND es la multiplicación módulo 2 y la operación lógica XOR es la adición módulo 2, se suele generalizar al campo de Galois de orden p, con p primo, donde los elementos del campo son los enteros {0,1,2,…,p-1} y las operaciones y + son la multiplicación y la suma módulo p, respectivamente. Estos campos GF(p) son fundamentales en el estudio de los métodos de control de error en comunicaciones digitales, donde la información se representa como polinomios sobre campos de Galois. La siguiente figura muestra GF(3) como ejemplo de un campo finito. GF(3)={0,1,2}
00=0, 01=0, 02=0, 10=0, 11=1, 12=2, 20=0, 21=2, 22=1
0+0=0, 0+1=1, 0+2=2, 1+0=1, 1+1=2, 1+2=0, 2+0=2, 2+1=0, 2+2=1
Grupo Abeliano con identidad 1 Grupo Abeliano con identidad 0
0(2+2)=02+ 02=0 0(2+1)=02+ 01=0 0(2+0)=02+ 00=0 0(1+1)=01+ 01=0 0(1+0)=01+ 00=0 0(0+0)=00+ 00=0
1(2+2)=12+ 12=1 1(2+1)=12+ 11=0 1(2+0)=12+ 10=2 1(1+1)=11+ 11=2 1(1+0)=11+ 10=1 1(0+0)=10+ 10=0
2(2+2)=22+ 22=2 2(2+1)=22+ 21=1 2(2+0)=22+ 20=1 2(1+1)=21+ 21=1 2(1+0)=21+ 20=2 2(0+0)=20+ 20=0
se distribuye sobre + Figura 2. Campo finito de Galois de orden 3
Así como los espacios vectoriales en ℝn que vimos en la clase anterior se desarrollaban sobre el campo de los reales (o de los complejos), el concepto abstracto de Espacio Vectorial requiere un campo de escalares y un conjunto abstracto de objetos (vectores). Sea V un conjunto de elementos llamados vectores y F un campo de elementos llamados escalares. Además de las operaciones (,+) definidas para F, introducimos otra operación aditiva «+» entre vectores, que a dos vectores x y y en
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
4
V asocia otro vector x+y en V. También introducimos una operación multiplicativa «» que a cada escalar a en F y cada vector x en V asocia otro vector ax en V. Entonces V forma un Espacio Vectorial sobre el campo F si se satisfacen las siguientes condiciones: V forma un grupo Abeliano para + a F , x V a x V
a, b F , x , y V a ( x y ) a x a y , (a b) x a x b x
a, b F , x V (a b) x a (b x )
1 F , x V 1 x x
Nótese que se debe distinguir muy bien cuándo se trata de multiplicación entre escalares, de multiplicación entre un escalar y un vector, de suma entre escalares y de suma entre vectores. El contexto (la naturaleza de los operandos) permitirá dilucidar cualquier duda.
2. Ejemplos de espacios vectoriales abstractos Por supuesto, los primeros ejemplos de espacios vectoriales son los de algunos subconjuntos de ℝn sobre el campo de los reales, con la suma y la multiplicación ya conocidas: El espacio vectorial expandido por las columnas de una matriz, o el espacio vectorial que constituido por el kernel de una matriz K ( A) x n : Ax 0 , etc. Pero nótese que con nuestra nueva definición abstracta
podemos pensar en otros ejemplos más imaginativos: El conjunto de matrices reales nn forma un espacio vectorial sobre el campo de los reales. El conjunto de polinomios P en una variable real t con coeficientes complejos forma un espacio vectorial sobre el campo de los complejos, etc. Consideremos, por ejemplo, este último caso: el espacio vectorial de los polinomios de grado menor o igual a N se define como V P :
N tales que P(t ) nt n , N , n , t . Es un espacio n 0
vectorial sobre el campo escalar de los complejos porque forma un grupo Abeliano para la suma de polinomios: P, Q V P Q (t ) P(t ) Q(t ) V ; es cerrado para la multiplicación por escalar: N
P nt n V , n 0
N
P (t ) P(t ) n t n V ; el producto por escalar se distribuye
sobre la suma de polinomios:
n 0
P, Q V ,
( P Q) (t ) P(t ) Q(t ) ; el producto por
vector se distribuye sobre la suma de escalares: P V , , ( ) P (t ) P(t ) Q(t ) ; el producto entre vectores y escalares es asociativo: a, b , P V (a b) P (t ) a (b P)(t ) ; la identidad del producto escalar no cambia el producto entre escalar y vector: (1P)(t)=P(t). Si los elementos de un espacio vectorial pueden ser tan abstractos como los polinomios de grado dado, lejos de los vectores en ℝn de la clase anterior, podemos imaginar muchos otros espacios vectoriales con elementos aún más abstractos. Antes de pasar a los espacios vectoriales de señales, veremos un ejemplo adicional de gran utilidad en el mundo de las comunicaciones digitales: Los códigos lineales de bloques. Un código q-ario de control de errores por bloques es un conjunto de M palabras clave C={c0, c1, …, cM-1}, cada una consistente en n coordenadas ci=[di0, di1, …, din], donde los dij toman valores en
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
5
GF(q), el campo de Galois de orden q. El proceso de codificación consiste en dividir un flujo de datos en bloques y asociar cada uno de estos bloques biunívocamente con una de las palabras claves en C. La colección de todas las n-tuplas sobre GF(q) forma un espacio vectorial sobre GF(q) con qn vectores, por lo que hay (qn-M) n-tuplas que no son palabras clave válidas. Si M=qk, se trata de un código (n,k). C forma un código q-ario lineal si constituye un subespacio vectorial sobre GF(q). Una matriz G, cuyas filas sean los vectores de una base del subespacio, es una matriz generadora para el código C. Para codificar un bloque de datos, simplemente se multiplica el vector fila del flujo de datos por la matriz generadora G. El complemento ortogonal de C, Co, es un subespacio vectorial de dimensión n-k. Una matriz H cuyas columnas sean los vectores de una base del espacio Co es una matriz "verificadora de paridad" para el código C. En efecto, una secuencia c de n símbolos de GF(q) será un código válido sólo si cHT=0. Un ejemplo sencillo es el código Hamming(7,4) en GF(2), en el que a cuatro bits de datos se añaden tres bits de paridad para formar 16 palabras clave de 7 bits. Las matrices generadora y verificadora de paridad son 1 1 1 G 0 0 0 0
1 0 1 0 1 1 0 0 0 1 1 1 , 1 0 0 0 1 0 0 0 1
1 0 1 0 1 0 1 H 0 1 1 0 0 1 1 0 0 0 1 1 1 1
Si el transmisor desea enviar 4 bits de datos, d = [d1 d2 d3 d4], construye y envía la palabra clave c = dGT., la cual tiene los bits de datos en las posiciones 3, 5, 6 y 7 y tiene bits de paridad en las posiciones 1, 2 y 4. Durante la transmisión, algunos bits pueden sufrir errores, de manera que al receptor llega una palabra y = c + e, donde e es una patrón de errores (recuerde que la suma en GF(2) es la función lógica XOR). El receptor calcula el síndrome s = yHT = eHT, el cual indica la posición del bit equivocado si hay sólo un bit equivocado (de manera que se puede corregir) o da una secuencia distinta de 000 si hay dos bits equivocados (de manera que se pueden detectar). Esto es posible precisamente porque las filas de G y H expanden espacios vectoriales C y Co que son complementos ortogonales entre ellos. En adelante, pues, hablaremos de espacios vectoriales abstractos y, más tarde, nos concentraremos en los espacios vectoriales de señales.
3. Espacios Vectoriales Normados Sea V un espacio vectorial sobre algún campo F. Una función |||| : V ℝ es una norma en V si satisface las siguientes propiedades:
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
6
(1) x V , x 0 con igualdad si y sólo si x 0; (2) F , x V , x x ; (3) x , y V , x y x y Ya
hemos
x x1
visto
ampliamente
xn V x T
x2
el n
x i 1
Vℝn
caso i
2
y
la
norma
Euclidiana,
donde
, pero podemos definir normas en cada uno de los
espacios vectoriales abstractos que hemos revisado. Por ejemplo, en un espacio C de códigos binarios sobre el campo GF(2), una norma ampliamente utilizada para medir la capacidad de detección y corrección de errores es el número de unos en el vector (o código), conocida como el peso del código:
c c1 c2
n
cn C 0,1 c ci T
n
i 1
por ejemplo, 0011011001 5 . Como ejemplo adicional, consideremos el espacio vectorial de las funciones continuas en un intervalo dado, sobre el campo de los reales: V f : a, b
tal que f es continua . La suma
entre vectores y el producto con escalares se definen de manera obvia: f , g V f g (t ) f (t ) g (t ) V
f (t ) f (t ) V
f V ,
Tenemos muchas posibilidades para dotar a este espacio vectorial con una norma. Tres de las más usadas son las siguientes, b
(1)
f
(2)
f
(3)
f
f (t ) dt
1
a
2
b
2
f (t ) dt
a
max f (t ) t a ,b
Las tres son casos particulares de la norma-p
f
p
b
a
p
f (t ) dt
1 p
, p 1
Un ejemplo semejante corresponde al espacio vectorial de las secuencias finitas, que podemos representar también como funciones en tiempo discreto: V x : 0,1,..., n 1 , donde la suma de vectores y el producto por escalar son semejantes al ejemplo anterior: x, y V x y [n] x[n] y[n] V x V ,
x [n] x[n] V
Nótese que este espacio vectorial, donde los vectores son series de tiempo con n muestras en el tiempo discreto, es fundamentalmente idéntico al espacio ℝn. Es sólo que la interpretación no es la de vectores físicos en un espacio Euclidiano n-dimensional, sino la de series de tiempo con un número finito de muestras. Ahora tenemos también muchas opciones para dotarlo de una norma:
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
7
n 1
x 1 x[i ]
(1)
i 0
n 1
x[i]
x2
(2) (3)
x
2
i 0
max
i0,1,..., n 1
x[i ]
donde las tres normas son casos particulares de la norma-p generalizada, 1
x
p
n 1 p p x[i ] , p 1 i 0
Cuando el número de muestras en la secuencia es 2, podemos graficar en el plano las normas definidas anteriormente: x1
x1 1
1
x0 -1
x0
1
-1
1
-1
x
2
-1
: x 1 1
x
2
: x 2 1
x1 1
x0 -1
1 -1
x
2
: x
1
Figura 3. Normas en el espacio vectorial V = {x:{0,1}ℝ}
Pero si podemos considerar secuencias finitas, ¿porqué no secuencias infinitas? El siguiente es el espacio vectorial de las secuencias de longitud infinita, que podríamos interpretar como un espacio Euclidiano -dimensional: V x : , con la misma definición de suma y producto que en el ejemplo anterior y con las mismas normas:
x1
(1)
x2
(2) (3)
x
x[n]
n
x[n]
2
n
max x[n] n
que son formas particulares de la norma-p
x
p
1 p
p x[n] , p 1 n
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
8
Sin embargo, en este ejemplo surge el problema de la convergencia: No tendría sentido definir este espacio vectorial si para algunas secuencias de V la norma no converge. En este caso, para evitar problemas, definimos espacios vectoriales de secuencias infinitas con características precisas de convergencia. Por ejemplo, definamos los siguientes tres espacios vectoriales: l1 ( ) x :
tales que
n
l 2 ( ) x :
l ( ) x :
x[n] sobre el campo , con norma x 1 x[n] n
tales que
n
2 x[n] sobre el campo , con norma x 2
tales que max x[n] sobre el campo , con norma x n
x[n]
2
n
max x[n] n
O, en general, 1
p p p l ( ) x : tales que x[n] sobre el campo , con norma x p x[n] , p 1 n n Todos ellos son espacios vectoriales válidos sobre el campo de los reales, donde la suma entre vectores y el producto entre un escalar y un vector se definen como antes: p
x, y l p ( ) x y [n] x[n] y[n] l p ( ) x l p ( ),
x [n] x[n] l p ( )
Pero, si lo miramos bien, acabamos de definir espacios vectoriales de señales en tiempo discreto. En particular, l2(ℤ) es el espacio vectorial de las señales de energía en tiempo discreto.
4. Espacios vectoriales de señales A continuación definimos algunos espacios vectoriales de señales sobre el campo escalar de los complejos (otros espacios semejantes se pueden definir sobre el campo escalar de los reales y conservan los mismos nombres): (1)
Espacio de señales complejas absolutamente sumables en tiempo continuo
L1 ( ) x :
tales que
x(t ) dt sobre el campo
(2)
Espacio de señales complejas absolutamente sumables en tiempo discreto
(3)
l1 ( ) x : tales que x[n] sobre el campo n Espacio de señales complejas de energía en tiempo continuo
L2 ( ) x :
tales que
x(t ) dt sobre el campo 2
(4)
Espacio de señales complejas de energía en tiempo discreto
(5)
2 l 2 ( ) x : tales que x[n] sobre el campo n Espacio de señales complejas acotadas en tiempo continuo
L ( ) x :
tales que max x(t ) sobre el campo t
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
(6)
9
Espacio de señales complejas acotadas en tiempo discreto
l ( ) x : (7)
tales que max x[n] sobre el campo n
(8)
Espacio de señales complejas de potencia en tiempo continuo 1 T 2 P 2 ( ) x : tales que lim x(t ) dt sobre el campo T 2T T Espacio de señales complejas de potencia en tiempo discreto
(9)
N 1 2 p 2 ( ) x : tales que lim x[n] sobre el campo N 2 N 1 n N Espacio de señales complejas periódicas de potencia en tiempo continuo
1 T 2 PT2 ( ) x : tales que x(t T ) x(t )t y x(t ) dt sobre el campo 0 T (10) Espacio de señales complejas periódicas de potencia en tiempo discreto 1 N 1 2 pN2 ( ) x : tales que x[n N ] x[n]n y x[n] sobre el campo N n 0 (11) Espacio de señales complejas de energía con simetría hermitiana en tiempo continuo
L2par ( ) x :
tales que
x(t ) dt y x(t ) x(t )* t 2
sobre el campo
(en el campo ℝ, con la señal definida en los reales, el operador * (complejo conjugado) se omite y la señal hermitiana toma el nombre se señal par) (12) Espacio de señales complejas de potencia con simetría anti-hermitiana en tiempo discreto 2 Pimpar ( ) x :
tales que lim
T
1 2T
T
T
2 x(t ) dt y x(t ) x(t )* t sobre el campo
(en el campo ℝ, con la señal definida en los reales, el operador * (complejo conjugado) se omite y la señal anti-hermitiana toma el nombre se señal impar) (13) etc. Es fácil verificar que todos ellos forman espacios vectoriales. Sólo como ejemplo, consideremos las
señales reales acotadas en tiempo continuo, L ( ) x :
tales que max x(t ) sobre t
Sean x, y L ( ), y a, b El producto escalar se define así: a x : tal que (a x)(t ) a x(t ) t y la suma vectorial se define así: ( x y ) : tal que ( x y )(t ) x(t ) y (t ) t de manera que a ( x y) a x a y, ( a b) x a x b x ( a b) x a ( b x ) más aún, z a x b y L ( ). En efecto, z
max z (t ) max a x(t ) b y (t ) a max x(t ) b max y (t ) a x t
t
t
t
b y
.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
10
5. Producto interno en espacios vectoriales de señales. Correlación. En el contexto abstracto en el que estamos trabajando, si V es un espacio vectorial definido sobre un campo F (por ejemplo, ℝ ó ℂ), un producto interno es una función que va del producto cartesiano VV al campo escalar F, <,>:VV F, que satisface tres axiomas: x,y,z V y a,b F, (1)
= * (2) = a + b (3) 0, con igualdad sólo si x=0 De estos axiomas surgen propiedades interesantes como, por ejemplo, la familiar expansión del binomio cuadrado: = + + + que en ℝ toma la forma = + 2 + y en ℂ toma la forma = + 2Re() + . Considerando que es la norma al cuadrado del vector x, = ||x||2. ||x+y||2 = ||x||2 + ||y||2 + 2Re(). Lo más interesante (pues es aquí donde se aprovecha la visión geométrica de las señales desde la perspectiva de los espacios vectoriales) es que para cualquier producto interno que satisfaga los tres axiomas de la definición, la intuición geométrica del mismo como la proyección perpendicular de un vector sobre el otro sigue siendo válida. En efecto, de las propiedades descritas surge la desigualdad de Cauchy-Schwarz, ||2 , con igualdad si los vectores son linealmente dependientes, lo cual es fácil de demostrar: Si y es igual a 0, la relación se cumple trivialmente con igualdad. Y si y es diferente de 0, podemos construir el vector z = x – [/] y para encontrar que = – [ / ] = – = 0, indicando que z y y son ortogonales. En consecuencia, al expresar x = z + [ / ] y estamos refiriéndonos a una relación pitagórica, por lo que ||x||2 = ||z||2 + |/|2 ||y||2 = ||z||2 + ||2 / ||y||2 ||2 / ||y||2. Multiplicando por ||y||2 a ambos lados de la desigualdad obtenemos ||2 ||x||2||y||2, que es la desigualdad de Cauchy-Schwarz. Claro, si se cumple la desigualdad de Cauchy-Schwarz en un entorno tan abstracto, también se cumple la desigualdad del triángulo: ||x + y||2 = = + 2Re() + = ||x||2 + 2Re() + ||y||2 de donde ||x + y||2 ||x||2 + 2|| + ||y||2 ||x||2 + 2||x|| ||y|| + ||y||2 = (||x|| + ||y||)2
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
11
y, tomando raíces cuadradas, se obtiene la desigualdad del triángulo: ||x + y|| ||x|| + ||y|| Gracias a estas desigualdades, toda la intuición geométrica que podemos obtener de los espacios vectoriales en ℝ3, tan familiares para nosotros, es directamente aplicable a los espacios abstractos de señales. Por ejemplo, la noción del "ángulo" entre dos señales se puede extender mediante la relación conocida de los espacios Euclidianos, cos( )
x, y x y
A esta cantidad se le conoce como "coeficiente de correlación", 0 1. Aunque existen muchas maneras de definir productos internos en diferentes espacios vectoriales, conviene que recordemos cómo definíamos el producto interno en ℝn en la sección 5 de la clase anterior: n
x , y y T x xi yi i 1
En ℂ la transposición incluía también conjugación: n
n
x , y y H x xi yi* i 1
En estos dos casos, la desigualdad de Cauchy-Schwarz toma la siguiente forma: 2
n n n 2 2 * x y x i i i yi i 1 i 1 i 1
Recordamos esta expresión porque, como extensión de la definición del producto interno en ℝn, en los espacios de señales de energía el producto interno se define así: l2
:
x[n] y [n]
x, y
*
n
L2
:
x, y x(t ) y* (t )dt
Si la definición incluye un desplazamiento de tiempo en la segunda señal, tendríamos la definición de la función de correlación entre dos señales: * Rx , y k x[n] y [n k ], k n
R
x, y
x(t ) y* (t )dt ,
Esto es, en espacios vectoriales de señales de energía, = Rx,y(0). En L2(ℝ), la desigualdad de Cauchy-Schwarz toma la siguiente forma:
2
x(t ) y* (t )dt
2
x(t ) dt
2
y (t ) dt
y la desigualdad del triángulo es
x(t ) y(t ) dt 2
x(t ) dt 2
2
y(t ) dt
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
12
En l2(ℤ), la desigualdad de Cauchy-Schwarz toma la siguiente forma:
x[n] y [n] *
n
2
2 2 x[n] y[n] n n
y la desigualdad del triángulo es
n
x[n] y[n] 2
x[n]
n
2
y[n]
2
n
6. Espacio de Hilbert Entre los muchos posibles espacios vectoriales abstractos, los más adecuados para el análisis de señales son los que extienden los espacios Euclidianos a un número infinito de dimensiones, ya sea un número contable (espacios de señales en tiempo discreto) o un número incontable de dimensiones (espacios de señales en tiempo continuo). Estos espacios se conocen, en general, como Espacios de Hilbert. Los espacios Euclidianos mismos forman los ejemplos más clásicos de espacios de Hilbert. Por ser sencillamente extensiones de dimensión infinita de los espacios Euclidianos, la intuición geométrica juega un papel mucho más preponderante, por la validez del teorema de Pitágoras o la ley del paralelogramo, por ejemplo. En efecto, en los espacios de Hilbert resulta muy claro hacer construcciones geométricas como la proyección perpendicular de un vector en un plano, por ejemplo, lo cual resulta en toda una teoría de optimización basada en el error cuadrado promedio. Es en estos espacios, por ejemplo, en donde los impulsos unitarios desplazados forman una base canónica de infinitas dimensiones, idéntica a la base canónica {(1,0,0), (0,1,0), (0,0,1)} de ℝ3. Al considerar infinitas dimensiones surgen cuestiones sobre la existencia de límites dentro del espacio vectorial, los cuales permitirían utilizar técnicas de análisis como el cálculo diferencial e integral. Por eso los espacios de Hilbert se enmarcan dentro de los espacios métricos de Banach. Un espacio métrico es un espacio vectorial V dotado con una medida para la distancia entre dos vectores, d(x, y) (métrica), la cual satisface tres propiedades elementales: (1) d(x,y)0 con igualdad sólo si x=y, (2) d(x,y) = d(y,x) y (3) para todo z V, d(x,y) d(x,z) + d(z,y). Un espacio de Banach es un espacio normado en el que la métrica es la norma del vector diferencia, d(x,y) = ||x – y|| y satisface un criterio adicional: Debe ser un espacio "completo". Un espacio vectorial V es completo si para cualquier secuencia de vectores {x1, x2, x3, …} en V, tal que la métrica d(xn, xn-1) converge a cero a medida que n tiende a infinito, todos los vectores de la secuencia, incluido el vector xn en el límite n, pertenecen al espacio V. Esta simple propiedad nos permite utilizar los conceptos del cálculo diferencial e integral en el análisis de los espacios. Para hacer de un espacio de Banach un espacio de Hilbert, sólo necesitamos que la norma esté dada por la raíz cuadrada del producto interno, ||x||2=. La siguiente figura repasa los conceptos vistos en esta clase, hasta llegar al espacio de Hilbert.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
13
Espacio vectorial Espacio normado
Espacio de Banach
Espacio de Hilbert
Espacio con Producto interno
Figura 4. Resumen de los conceptos de espacios vectoriales abstractos, hasta los espacios de Hilbert
7. Ejemplos Considere las siguientes tres señales en tiempo discreto: {k[n] = u[n-k] - u[n-k-2], nℤ}k{0,1,2}, mostradas en la siguiente figura. {0, 1, 2} son linealmente independientes porque la única forma de combinarlas linealmente para obtener el vector 0 (la señal en tiempo discreto que es idénticamente igual a cero para cualquier nℤ) es haciendo que los coeficientes de la combinación lineal sean todos cero. En efecto, el espacio de señales expandido por { 0, 1, 2} es V = {x:ℤℝ tales que x = a0 + b1 + c2, con a, b, c ℝ}, que es el espacio vectorial de las señales x:ℤℝ tales que x[n]=0 nℤ, excepto x[0] = a, x[1] = a+b, x[2] = b+c, x[3] = c. La siguiente figura muestra las señales base {0, 1, 2} y tres de las señales del espacio V expandido por {0, 1, 2}.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
0[n]
14
[2, 1, -1] : 2* 0[n] + 1[n] - 2[n]
3 2 1 0 -1
3 2 1 0 -1 -2
0
2
4
6
-2
1[n]
0
2
4
6
[-1, 2, 1] : - 0[n] + 2* 1[n] + 2[n]
3 2 1 0 -1
3 2 1 0 -1 -2
0
2
4
6
-2
2[n]
0
2
4
6
[1, 1, 1] : 0[n] + 1[n] + 2[n]
3 2 1 0 -1
3 2 1 0 -1 -2
0
2
4
6
-2
0
2
4
6
Figura 5. Una base vectorial de señales y algunos vectores del respectivo espacio de señales expandido
Sin embargo, los vectores {0, 1, 2} no forman una base ortogonal para el espacio V porque 0 , 0 1 , 1 2 , 2
[n] [n] [0] [0] [1] [1] 2
n
0
0
0
0
0
0
1[n]1[n] 1[1]1[1] 1[2]1[2] 2
1 , 2 2 , 1
n
[n] [n] [2] [2] [3] [3] 2
n
2
2
2
2
2
2
0 , 1 1 , 0
[n] [n] [1] [1] 1 0
n
1
0
1
[n] [n] [2] [2] 1
n
0 , 2 2 , 0
1
2
1
2
[n] [n] 0
n
0
2
Pero podemos construir una base ortogonal para el mismo espacio si restamos a cada vector base las proyecciones sobre los otros vectores. Este proceso se conoce como la ortogonalización de Gramm-Schmidt. 0 0 1 1 2 2
1 , 0 1 0 1 0 0, 0 2
El primer vector base, 0 , se escoge igual al anterior, 0 . El segundo vector base, 1 , se escoge eliminando de 1 su proyección sobre 0
El tercer vector base, 2 , se escoge eliminando 2 , 0 , 2 2 1 0 , 0 0 1 , 1 1 2 3 1 de 2 sus proyecciones sobre 0 y sobre 1
Las señales resultantes se muestran en la siguiente figura, así como las nuevas coordenadas de las señales mostradas en la figura anterior:
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
0[n]
15
[5/2, 1/3, -1] : 5*0[n]/2 + 1[n]/3 - 2[n]
2
3 2 1 0 -1
1 0 -1
-2
0
2
4
6
-2
1[n]
0
2
4
6
[0, 8/3, 1] : 0*0[n] + 8*1[n]/3 + 2[n]
2
3 2 1 0 -1
1 0 -1
-2
0
2
4
6
-2
2[n]
0
2
4
6
[3/2, 5/3, 1] : 3*0[n]/2 + 5*1[n]/3 + 2[n]
2
3 2 1 0 -1
1 0 -1
-2
0
2
4
6
-2
0
2
4
6
Figura 6. Otra base (esta vez ortogonal) para el mismo espacio vectorial de señales
Una representación gráfica para el proceso que acabamos de hacer con la ortogonalización de Gramm-Schmidt se muestra en la siguiente figura: Escogimos a 0 idéntica a 0 y luego, para asegurarnos que 0 y 1 sean perpendiculares, hicimos que 1 fuera el resultado de quitarle a 1 cualquier componente en la dirección de 0. Por último, hicimos que 2 fuera el resultado de quitarle a 2 cualquier componente en las direcciones de 0 y 1; en este caso, como 2 ya era ortogonal a 0, bastó con eliminar el componentes de 2 en la dirección de 1 para obtener 2. 1 2
1 1 0
1
0 0
1 , 0 1 0, 0 0 2 0 Proyección ortogonal de 1 sobre 0
(1) 1 2
1 1 0
1 0 2
1 , 0 1 0, 0 0 2 0
0 y 1 son dos vectores ortogonales que expanden el mismo espacio vectorial que 0 y 1
(2)
0 0
(3)
1 1 1 0 2
1
2 , 1 2 1, 1 1 3 1 Proyección ortogonal de 2 sobre 1
0 0
1
1 2
1 1 0
1
1
2 , 1 2 1, 1 1 3 1
2
2 2 ya es ortogonal a 0
0, 1 y 2 son tres vectores ortogonales que expanden el mismo espacio vectorial que 0, 1 y 2
2 3
2 2 1 2 1 3
(4)
2
0 0
0 0
(5)
0 0 2 3
2 2 1
(6)
Figura 7. Proceso de Ortogonalización de Gramm-Schmidt
La ortogonalidad de {0, 1, 2} es fácil de verificar: 0, 0 1, 1 2, 2
n
0
[n] 0 [n] 2
[n] [n] 3 / 2
n
1
n
2
1
[n] 2 [n] 4 / 3
0 , 1 1, 0
n
0, 2 0, 2 1, 2 1, 2
0
[ n] 1[ n] 0
[n]
n
0
[n]
n
1
2
2
[ n] 0
[ n] 0
Por ejemplo, fijándonos en la señal del extremo inferior derecho de la Figura 5 y la Figura 6, hemos encontrado 2 expresiones para representarla, cada una en una base diferente: x[n] = 0[n] + 1[n] + 2[n]
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
16
x[n] = 30[n]/2 + 51[n]/3 + 2[n] Otra representación posible, como ya vimos en la novena clase es x[n] = 0[n] + 21[n] + 22[n] + 3[n] donde {k[n]=[n-k], nℤ}k{0,1,2,3} es otro conjunto de señales ortogonales constituido por algunos desplazamientos del impulso unitario. Sin embargo, el espacio vectorial V expandido por estas cuatro señales es mucho mayor, pues incluye a todas las señales en tiempo discreto que toman el valor cero para instantes menores que cero y para instantes superiores a tres. Claramente, V V . Si queremos expresar una señal que está dada como combinación lineal de { 0, 1, 2}, por ejemplo {x[n] = a0[n] + b1[n] + c2[n], nℤ}, como combinación lineal de {0, 1, 2, 3}, por ejemplo {x[n] = p0[n] + q1[n] + r2[n] + s3[n], nℤ}, usamos la siguiente matriz de cambio de base: 1 1 0 0
0 1 1 0
0 p a a 0 q a b b 1 r b c c 1 s c
puesto que {a0[n] + b1[n] + c2[n], nℤ} = {a0[n] + (a+b)1[n] + (b+c)2[n] + c3[n], nℤ}. Para hacer el cambio inverso de base (siempre que la señal esté efectivamente en V) tenemos diferentes alternativas como, por ejemplo, p 1 0 0 0 a p 1 1 0 0 q b q p , r 0 0 0 1 s c s
p 0 1 1 1 a q r s 1 1 0 0 q b q p , etc. r 1 1 1 0 s c p q r
En efecto, si el vector [p, q, r, s] pertenece a V, debe ser de la forma [p=a, q=a+b, r=b+c, s=c], en cuyo caso las transformaciones anteriores (que son sólo un cambio de base) conducen al vector [a,b,c]: {x[n] = p0[n] + q1[n] + r2[n] + s3[n], nℤ} = {a0[n] + b1[n] + c2[n], nℤ}. Pero ¿qué pasa si la señal original xV no está en V y queremos aproximarla como una combinación lineal de {0, 1, 2}, xˆ V? Por supuesto, no importa qué señal de V escojamos, siempre cometeremos un error. Por esta razón, lo que deberíamos buscar es la aproximación que minimice el "error cuadrado promedio" (MSE por sus siglas en inglés, Mean Square Error) o, equivalentemente, la aproximación que minimice la energía del error. El problema es fácil de plantear como un problema de optimización: 1 3 2 [a* , b* , c* ] arg min x[n] xˆ[n] 4 n 0 a ,b ,c La función objetivo, el MSE, no es más que cuatro veces la energía total de la señal de error e[n] x[n] xˆ[n], n . Por eso el criterio estadístico de minimizar el error cuadrado promedio se conoce en teoría de señales como la minimización de la energía del error. Aunque podríamos aplicar directamente técnicas de programación matemática para resolver el anterior problema de optimización, es mucho más interesante recurrir a nuestra visión geométrica de las señales y aplicar el principio de ortogonalidad. Para visualizar el principio de ortogonalidad, representemos a V como ℝ3 y a V como ℝ2, lo cual indica el hecho de que V V . Esta representación se muestra en la siguiente figura.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
17
e x xˆ
Espacio de aproximación, V Figura 8. La proyección perpendicular sobre el espacio de aproximación minimiza el MSE
Claramente, para obtener la mejor aproximación de x en V, debemos escoger la proyección perpendicular de x sobre V. De esta manera, se minimiza la magnitud del error, y por consiguiente el MSE (pues la magnitud es la raíz cuadrada de la energía). Esto es, el error e x xˆ debe ser perpendicular a cualquier otro vector de V, lo que permite expresar el principio de ortogonalidad así: x xˆ, z 0 z V . Si expresamos xˆ a*0 b*1 c*2 y z a0 b1 c2 , el principio de ortogonalidad toma la siguiente forma: a x, 0 b x, 1 c x, 2 a a* 0 , 0 b* 1 , 0 c* 2 , 0 b a* 0 , 1 b* 1 , 1 c* 2 , 1 c a* 0 , 2 b* 1 , 2 c* 2 , 2
a, b, c
Lo cual exige que 0 , 0 0 , 1 0 , 2
1 , 0 1 , 1 1 , 2
2 , 0 2 , 1 2 , 2
a* x, 0 * b x, 1 c* x, 2
Este es el sistema de ecuaciones normales, que está dado en términos de las correlaciones entre los vectores base (matriz de coeficientes) y las correlaciones entre la señal a aproximar y los vectores base (vector independiente). Con {x[n] = p0[n] + q1[n] + r2[n] + s3[n], nℤ}, las ecuaciones normales conducen a la siguiente aproximación óptima en el sentido MSE: * 2 1 0 a p q 1 2 1 b* q r 0 1 2 c* r s
¿Qué hubiera pasado si expresamos V en la base {0, 1, 2}? Que la matriz de coeficientes resulta diagonal y su inversión es inmediata. Por ejemplo, para aproximar {x[n] = p0[n] + q1[n] + r2[n] + s3[n], nℤ} como {u0[n] + v1[n] + w2[n], nℤ} debemos escoger [u*,v*,w*] para satisfacer las siguientes ecuaciones normales 2 0 0
0 3 2 0
0 * pq u * p q 0 v r * 2 2 w 4 p q r s 3 3 3 3
Por supuesto, {u*0[n] + v*1[n] + w*2[n], nℤ} = {a*0[n] + b*1[n] + c*2[n], nℤ}.
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
18
Para terminar esta larga clase, vamos a extender el ejemplo anterior usando unos espacios vectoriales más interesantes: El espacio de las señales periódicas de potencia en tiempo discreto, con período N. 1 N 1 2 pN2 ( ) x : tales que x[n N ] x[n]n y x[n] sobre el campo N n 0 La representación de una señal x p2N(ℤ) en la base canónica de los impulsos desplazados es inmediata:
N 1
x[n], n x[k ] [n k ], n x[k ] [n k mN ], n
m Ya que sólo hay N coeficientes en la combinación lineal, sería interesante buscar una aproximación en algún espacio vectorial expandido por sólo N señales. Como acabamos de ver, si escogemos un conjunto de señales linealmente independientes k [n], n k 0,1,..., N 1 , queremos encontrar la mejor k
k 0
N 1 aproximación en el sentido MSE que tome la forma xˆ[n] akk [n], n . Si aseguramos que
k 0
cada uno de los vectores base sea periódico con período N, garantizaríamos la periodicidad de xˆ . Suponiendo que ese es el caso, la correlación como medida de energía sería infinita, por lo que conviene definir la correlación en términos de la potencia acumulada en un período: N 1
k , j k [n] *j [n], n 0
N 1
x, j x[n] *j [n] n 0
El operador de conjugación aparece aquí porque estamos usando el campo escalar de los números complejos, y así se definió la correlación en ℂ para que la correlación de un vector consigo mismo de en términos de la suma de los cuadrados de la magnitud de sus componentes. Entonces, de acuerdo con el principio de ortogonalidad, el error cuadrado promedio entre la señal y su aproximación se minimiza si satisfacemos las ecuaciones normales, 0 , 0 1 , 0 2 , 0 N 1 , 0 a0 x, 0 1 , 1 2 , 1 N 1 , 1 a1 x, 1 0 , 1 0 , 2 1 , 2 2 , 2 N 1 , 2 a2 x, 2 , 0 N 1
1 , N 1
2 , N 1
N 1 , N 1
a N 1
x, N 1
Pero si notamos que estamos buscando N variables a partir de N ecuaciones, la condición de independencia lineal es suficiente para asegurar que no se trata de ninguna aproximación, sino que hemos logrado una representación de la misma señal periódica en otra base del mismo espacio vectorial. Además, si conseguimos que los vectores base sean también ortogonales, las ecuaciones normales se podrían resolver inmediatamente, pues la matriz de coeficientes sería una matriz diagonal: x, k ak , k 0,1, 2,..., N 1 k , k Todas estas propiedades (independencia lineal, periodicidad y ortogonalidad) son satisfechas por las familias de exponenciales complejas armónicamente relacionadas, k [n] e j 2 kn / N , n , k 0,1,..., N 1
vistas en la novena clase, para las cuales
Universidad Distrital Francisco José de Caldas - Análisis de Señales y Sistemas - Marco A. Alzate
k , k N ,
19
k 0,1, 2,..., N 1
N 1
x, k x[n]e j 2 kn / N , k 0,1, 2,..., N 1 n 0
de manera que los coeficientes que determinan el cambio de base son 1 N 1 ak x[n]e j 2 kn / N , k 0,1, 2,..., N 1 N n 0 De esta manera hemos encontrado dos formas de expresar cualquier señal x p2N(ℤ) : N 1
k 0
m
N 1
k 0
x[n], n x[k ] [n k mN ], n ak e j 2 kn/ N , n
a
k
N 1 x[n]e j 2 kn / N , k 0,1,..., N 1 n 0
La primera expresión es la expansión del espacio vectorial p2N(ℤ) en la base de los impulsos unitarios repetidos cada N muestras y la segunda expresión es la expansión del mismo espacio vectorial en la base de las exponenciales complejas armónicamente relacionadas. Así pues, el par de transformaciones N 1
x[n], n ak e j 2 kn/ N , n k 0
,
N 1 j 2 kn / N , k 0,1,..., N 1 ak x[n]e n 0
conocidas como fórmulas de síntesis y análisis de la serie de Fourier en tiempo discreto, son solamente distintas expresiones para la misma señal en bases ortogonales diferentes. Este cambio de bases se estudiará profundamente más adelante.