Análisis Estocástico en Procesamiento de Señales

__________________________________________________

Instituto Politécnico Nacional

Unidad Profesional Interdisciplinaria en Ingeniería y Tecnologías Avanzadas

Reporte Técnico Propuesta de estudio CGPI no. 20061372

Análisis Estocástico en Procesamiento de Señales

Autor:

M. en C. Fernando Téllez A. Laboratorio de Telecomunicaciones, UPIITA Academia de Telemática

Participante: Alejandro Morales Medina Estudiante PIFI.

Enero de 2007

_______________________________________________________________

1

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

Agradecimientos La idea de desarrollar este trabajo surgió con la sugerencia de algunos compañeros de la UPIITA de preparar material relativo a las aplicaciones de la Teoría de la Probabilidad en el área de las Comunicaciones, haciendo énfasis en el tópico de Procesos Estocásticos, debido al gran puente que se ha dado entre la teoría impartida en los cursos clásicos de Probabilidad y la práctica requerida en los alumnos en los cursos de Comunicaciones, específicamente en la parte del Análisis de Señales y Filtraje, tópicos de suma dificultad para el alumno promedio. Por lo anterior me decidí a preparar éstas notas como material auxiliar, ya sea para profesores de Matemáticas que imparten Probabilidad y Procesos Estocásticos a alumnos del área de las Comunicaciones, para alumnos que ya cursaron ésta asignatura pero que quieren profundizar con mayor formalidad en las aplicaciones en Teoría de Señales o para profesores de Teoría de las Comunicaciones como material adicional en sus cursos. Agradezco sobremanera a quienes me motivaron para ello, al profesor Saúl Puga y al profesor Prisciliano. También debo extender mi agradecimiento a la profesora Iliana C. Carrillo por sus ideas en algunos desarrollos incluidos en las notas y por la revisión de parte del material incluido, así como al alumno PIFI Alejandro Morales M. por generar parte del código Matlab incluido. Este reporte técnico refleja la preparación de unas notas cuya intención es la de servir de auxiliar a profesores y alumnos en el tratamiento de los tópicos que incluye, y se desarrollaron bajo una propuesta de estudio registrada en CGPI.

Fernando Téllez A. Enero de 2007

_______________________________________________________________

2

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

Justificación Actualmente existe una brecha práctica en la impartición de la asignatura de Matemáticas V (Probabilidad y Procesos Estocásticos) dirigida a alumnos de tronco común de Ingeniería, específicamente aquellas ingenierías que involucran el uso de las Comunicaciones, que es un área que hace uso intensivo y extensivo de la Teoría de la Probabilidad. Esto ocurre debido a que en el curso de Probabilidad no se tiene contemplado el cubrir aspectos de aplicación dirigidos a éstas carreras con la profundidad que sería deseable. Por lo anterior, el disponer de material relativo a los fundamentos teóricos en Probabilidad y Procesos Estocásticos es ya una necesidad imperiosa dentro de la carrera de Ingeniería Telemática en la UPIITA. Esta propuesta de estudio tiene como objetivo el generar una serie de notas acerca de los principales conceptos del Análisis Estocástico necesarios para un mejor entendimiento y manejo de las nociones básicas del Procesamiento de Señales, tanto en el dominio analógico como en el digital (procesos aleatorios continuos y discretos, respectivamente); dirigidas a docentes y alumnos de la UPIITA y, en general, a todos aquellos que deseen estudiar los tópicos básicos del procesamiento de señales de manera formal. Una de las grandes necesidades que ha existido la UPIITA, tanto en los estudiantes del tronco común como en los docentes de Matemáticas V (de Ciencias Básicas) y Comunicaciones I y II (ésta última exclusiva de Ingeniería Telemática), desde sus comienzos con el plan de estudios vigente, ha sido el lograr una mayor integración interdisciplinaria entre los fundamentos de la Teoría de Probabilidades y sus múltiples aplicaciones a la Ingeniería en general, y a la Ingeniería Telemática en particular; de manera que ilustre extensivamente con ejemplos prácticos los conceptos matemáticos involucrados, con un compromiso entre la formalidad matemática requerida en Matemáticas y el sentido práctico que se demanda en ingeniería. Ello requerirá de elaborar un conjunto de prácticas dirigidas al estudiante de manera que se familiarice con experimentos en ingeniería con el uso de la herramienta matemática adecuada desde los primeros semestres del tronco común.

_______________________________________________________________

3

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

Introducción El procesamiento de señales es, actualmente, un área de la ingeniería que esta presente en nuestra vida diaria debido no solo al rápido incremento de los sistemas de comunicación, sino también a su incorporación en otras áreas muy diversas, todas ellas con altas tasas de crecimiento. Hay dos tipos de procesamiento de señales: el analógico y el digital. El procesamiento digital de señales se ha desarrollado rápidamente durante los últimos 30 años. Este rápido desarrollo es resultado de los avances tecnológicos tanto en el área de las computadoras como en la fabricación de circuitos integrados, que cada vez se encuentran disponibles a mayores velocidades, con mayor capacidad de cómputo y de mayor versatilidad a ser incorporados en sistemas embebidos. Estos circuitos digitales, que son cada vez mas baratos, han permitido construir sistemas digitales muy sofisticados, los cuales son capaces de realizar funciones y tareas que normalmente eran demasiado costosas y difíciles de implementar en circuitos analógicos. Lo anterior no se quiere decir que el procesamiento digital es la solución para todos los problemas, ya que en la actualidad, aún considerando las ventajas de los procesadores digitales de señales, hay procesos que tienen que ser tratados de forma analógica, como el procesamiento de señales moduladas en alta frecuencia, aunque se está trabajando para lograr que la circuitería digital logre niveles intermedios de frecuencia con tecnologías como software radio. El procesamiento de señales se procura hacer en el dominio digital por diferentes razones: • Una señal digital es más fácil de procesar que una analógica. • Las señales son convertidas a formato discreto (digital) para facilitar su transmisión o almacenamiento. • Es posible realizar mediante procesamiento digital acciones imposibles de obtener mediante el procesamiento analógico (por ejemplo, filtros con respuesta de frecuencia arbitraria). • Los circuitos son más pequeños en tamaño, más eficientes en uso de energía, más confiables y de mantenimiento más barato. A pesar de las ventajas que el procesamiento digital tiene, existen algunos inconvenientes tales como la perdida de información a causa de la digitalización de las señales analógicas, aunque el nivel de distorsión introducido es controlable y ajustable, a costa de aumentar el número de bits asignados a la representación digital, lo que conlleva con un mayor ancho de banda requerido o equivalentemente una mayor cantidad de memoria requerida para su almacenamiento. Una de las aplicaciones más notables son los filtros digitales ya que, como ya se mencionó, son más fáciles de implementar en el dominio digital que en el analógico. El papel que desempeña el análisis probabilístico en el procesamiento de señales es cada vez más relevante, dado que la naturaleza intrínseca de las señales de información es aleatoria, por ello las nociones fundamentales del análisis se tratan a mayor profundidad en el texto, como lo es el concepto de la variable aleatoria y sus múltiples aplicaciones. Tal vez uno de los mayores problemas en el procesamiento digital de señales sea el de optimización, ya que muchas de las necesidades en el diseño de un esquema de procesamiento es el de optimizar dado un criterio de desempeño (como lo es el de menor distorsión, el del error cuadrático medio mínimo –o alguna otra métrica de desempeño–, el de mayor velocidad de convergencia, etc.) y para resolver algunos de estos problemas se requiere de herramientas que están fuera del alcance de éstas notas, principalmente debido a que el grado de complejidad queda

_______________________________________________________________

4

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

fuera del alcance de los programas de enseñanza de nivel superior (como los problemas de optimización no lineal, optimización multiobjetivo, análisis para obtener estadísticas mínimas suficientes, filtraje óptimo y filtraje Kalman, entre otros).

La estructura de las notas Dado que las notas generadas están dirigidas en general a estudiantes que requieren de la teoría de probabilidades en sus problemas en el área de procesamiento de señales (muy comunes en Ingeniería), en el desarrollo se hace énfasis en los conceptos básicos de las herramientas de probabilidad, principalmente el de la variable aleatoria y su caracterización, se asume que el lector ya ha tomado un curso clásico de Probabilidad y otro de nociones introductorias de Teoría se Señales, y además es deseable que haya llevado las nociones básicas de Procesos Estocásticos, aunque ello no es estrictamente necesario. En la primera parte se incluyen una serie de ejemplos con solución detallada, de manera que el lector pueda seguir claramente todos los desarrollos algebraicos sin ningún problema, adicionalmente dichos ejercicios se encuentran documentados gráficamente y en muchos se incluye código en algún lenguaje de programación, ello permite que, si se dispone de una PC con el compilador adecuado, se pueda experimentar y cambiar algunos de los parámetros del problema para generar nuevos escenarios de simulación para lograr un mejor entendimiento del problema. En la parte de generación de números aleatorios y de herramientas para su análisis se incluye código en lenguaje Java (por la popularidad que ha ido ganando) y en Matlab (por el poder que ha desarrollado y facilitado para simulación de sistemas complejos); se verá como con el avance del texto, Matlab facilita más el manejo de problemas de mayor grado de complejidad, sobre todo cuando se considera que incluye herramientas donde ya se dispone de muchas soluciones de nivel profesional. Se puede desarrollar código en lenguaje C/C++ a partir del código Java de manera sencilla, pero se requiere que la persona tenga conocimientos sobre algunos puntos cruciales de C/C++ que podrían complicar la traducción (como lo es el manejo de memoria dinámica), sobre todo si la velocidad de ejecución es un problema que deba tomarse en cuenta, afortunadamente aún el código en Matlab permite obtener resultados en tiempos razonables. En la segunda parte del documento se encuentran la parte de caracterización de las señales como procesos estocásticos, tanto en el dominio del tiempo como en el dominio de la frecuencia, material que generalmente está incluido en la parte final de un curso de Procesos Estocásticos para estudiantes de Ingeniería, por lo que igualmente es de utilidad a profesores de Matemáticas en cursos de Ingeniería para consultar ejemplos de aplicación. Finalmente se establece el problema del filtraje de señales, aunque sólo se presenta el análisis básico considerando ruido blanco como señal, ya que generalmente es el escenario más común en procesamiento de señales aleatorias. Se recomienda ampliamente al lector que si desea revisar algún punto con mayor rigor al considerado recurra a las referencias incluidas al final del documento, se trata de libros clásicos en el análisis probabilístico, aunque no todos se especialicen el procesamiento de señales. En la siguiente tabla se muestra la estuctura de capítulos de las notas generadas y en las siguientes secciones se proporciona una descripción breve del contenido de las notas. Estas se encuentran disponibles por separado como uno de los productos generados en la presente propuesta de estudio.

_______________________________________________________________

5

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

CONTENIDO DE LAS NOTAS GENERADAS I.

II.

III.

IV. V.

LA VARIABLE ALEATORIA I.1 Interpretación de una variable aleatoria I.2 Generadores de números aleatorios uniformes I.3 La simulación como herramienta I.4 La fdp y la fda de una variable I.5 Grado de ajuste I.6 Transformaciones de variables aleatorias Cuantificación de una variable continua El ADC Compresores y expansores I.7 Generadores de números aleatorios no uniformes I.8 Variables aleatorias independientes y decorreladas I.9 Variables aleatorias correladas Correlación y covarianza entre dos variables gaussianas La superficie generada por la fdp gaussiana conjunta El problema de diagonalización El problema inverso: El generador de números aleatorios correlados I.10 Estimación El estimador lineal óptimo Predicción lineal LA SEÑAL ESTOCÁSTICA II.1 La definición de señal II.2 La Transformada de Fourier (TdF) en Comunicaciones II.3 La información como una señal analógica y su modelamiento II.4 Clasificación de los procesos estocásticos II.5 Caracterización La media estadística y la media temporal Momentos estadísticos: La función de correlación cruzada (CCF) y la función de covarianza cruzada II.6 Estacionaridad II.7 Ergodicidad II.8 Cicloestacionaridad II.9 Momentos en la frecuencia: Análisis espectral La densidad espectral de potencia (DEP) Propiedades de la densidad espectral de potencia El ancho de banda FILTRAJE III.1 Diagrama general de un sistema de comunicaciones analógico III.2 Filtraje de procesos estocásticos Filtros Filtraje de señales determinísticas Filtraje de señales estocásticas Ancho de banda equivalente de ruido CONCLUSIONES REFERENCIAS

_______________________________________________________________

6

Análisis Estocástico en Procesamiento de Señales

Capítulo:

__________________________________________________

I, La variable aleatoria

Tópico: I.1, Interpretación de una variable aleatoria Descripción Éste punto es la sección introductoria del capítulo, en éste se menciona la importancia y relevancia del concepto de la variable aleatoria y sus implicaciones en el área del Procesamiento de Señales. Se ejemplifica la necesidad de su comprensión usando un ejemplo común de un circuito a los que se enfrenta un alumno en los semestres intermedios de su carrera, en éste se menciona el papel que juega la variable aleatoria y los problemas que se plantean para su solución usando herramientas de la Teoría de Probabilidades.

Tópico: I.2, Generalidades de los números aleatorios uniformes Descripción En esta sección se describen las ideas fundamentales y la necesidad de disponer de un generador de números aleatorios con distribución de probabilidades uniforme. Se destaca la importancia que juega este generador en sistemas de números aleatorios más complejos y con generadores de números aleatorios no uniformes. Se proporciona código fuente en lenguaje Java y Matlab para implementar un generador de números aleatorios uniformes.

Tópico: I.3, La simulación como herramienta Descripción En ésta sección se destaca el papel que la simulación de un problema por computadora puede llegar a ser una herramienta sumamente útil en la obtención de resultados de forma rápida, así como un método de validación de modelos matemáticos. Se menciona la importancia que tiene el Análisis Probabilístico, usando momentos estadísticos de bajo orden, para la obtención de modelos de simulación adecuados para un problema determinado en Procesamiento de Señales.

Tópico: I.4, La fdp y la fda de una variable Descripción En esta sección se proporciona un método para aproximar la función de densidad de probabilidad, fdp, y la función de densidad acumulativa, fda, de una variable aleatoria a partir de un conjunto de valores muestreados en realizaciones de la variable aleatoria, se incluyen varios ejemplos, con su código fuente en lenguaje Java y en Matlab, para ilustrar el procedimiento y se incluyen los resultados obtenidos de manera gráfica.

Tópico: I.5, Grado de ajuste Descripción En esta sección se describe un método para medir el grado de ajuste que se logra a una fdp a partir de la aproximación del método de la sección anterior, utilizando varias medidas para ello, se ilustra el método con un ejemplo y se muestran los resultados obtenidos de manera gráfica.

Tópico: I.6, Transformaciones de variables aleatorias Descripción Esta sección incluye mucho material de aplicaciones al Procesamiento de Señales. Se detalla el proceso realizado en un Convertidor Analógico a Digital y el papel que juega la variable aleatoria en el modelamiento y resolución del problema de cuantificación de una señal, se menciona

_______________________________________________________________

7

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

también el método alternativo utilizado en el procesamiento de señales de voz (específicamente en su codificación), se incluye un ejemplo resuelto a detalle.

Tópico: I.7, Generadores de números aleatorios no uniformes. Descripción Esta sección es equivalente a la sección para generadores de números aleatorios uniformes, con la diferencia de que ahora se usan los números uniformes para obtener números con distribución no uniforme, destacando la importancia que tienen éstos en la simulación en procesamiento digital de señales. Se hace énfasis en los números con distribución exponencial positiva y gaussiana (estándar y no estándar).

Tópico: I.8, Variables aleatorias independientes y decorreladas. Descripción En esta sección se describen los conceptos de independencia estadística y correlación estadística y se ejemplifican con un ejemplo de un vector aleatorio bidimensional. Se introduce el cálculo del momento de segundo orden (correlación y covarianza) para vectores aleatorios multidimensionales, así como su caracterización, se calculan algunos estimados para un conjunto de realizaciones del vector.

Tópico: I.9, Variables aleatorias correladas Descripción Se hace el cálculo explícito de la correlación y covarianza para un vector gaussiano bidimensional, así como la ejemplificación de varios casos de vectores bidimensionales de manera gráfica. Se exponen con detalle los problemas numéricos de correlar variables decorreladas y el de decorrelar variables correladas, así como su importancia en procesamiento de señales.

Tópico: I.10, Estimación Descripción En esta sección se introduce de manera básica el concepto de estimación estadística y su importancia en procesamiento de señales, ya que éste se considera como un tópico de complejidad avanzada en el Análisis Probabilístico. Se incluyen dos sub-tópicos: el estimador lineal óptimo y sus aplicaciones, así como la predicción lineal.

Capítulo:

II, La señal estocástica

Tópico: II.1, La definición de señal Descripción En la sección se proporciona la definición del concepto de señal y se dan múltiples ejemplos de varios tipos de señales que son de utilidad.

Tópico: II.2, La Transformada de Fourier (TdF) en Comunicaciones Descripción Esta sección es un repaso de la interpretación que se le da a la TdF en el área del procesamiento de señales, auxiliado de un ejemplo con un circuito sencillo y obteniendo sus

_______________________________________________________________

8

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

expresiones en el dominio de la frecuencia, así como su resultado final, que es el de las señales que intervienen en el circuito, en función de sus parámetros.

Tópico: II.3, La información como una señal analógica y su modelamiento Descripción En esta sección se introduce la analogía de una señal de información con un proceso estocástico, su justificación y sus ventajas.

Tópico: II.4, Clasificación de los Procesos Estocásticos. Descripción En esta sección se incluye la caracterización clásica para procesos estocáticos, mencionando algunos ejemplos de señales que caen dentro de cada uno de los diferentes tipos de procesos.

Tópico: II.5, Caracterización. Descripción En esta sección se proporciona la definición de los principales parámetros de un proceso estocástico, sus momentos estadísticos y temporales.

Tópico: II.6, Estacionalidad Descripción Se define una de las principales propiedades de un proceso estocástico y su relevancia para el análisis de señales estocásticas. Se incluyen algunos ejemplos de señales estacionarias y no estacionarias.

Tópico: II.7, Ergodicidad Descripción Se proporciona la definición de ergodicidad, así como sus implicaciones prácticas para señales ergódicas, como el de la validez de resultados en intervalos de tiempo no analizados simplemente por los resultados arrojados del análisis de varias muestras estadísticas.

Tópico: II.8, Cicloestacionaridad Descripción Se proporciona la definición del concepto de cicloestacionaridad y se menciona el ejemplo de la señal PAM y varios de los tipos de la señal PAM como casos particulares de señales cicloestacionarias.

Tópico: II.9, Momentos en la frecuencia: Análisis espectral Descripción Se culmina el capítulo con el tópico clásico en análisis de señales, ahora expuesto usando herramientas del Análisis Probabilístico: la caracterización de la señal estocástica usando momentos en el dominio de la frecuencia, especialmente la descripción y propiedades de la Densidad Espectral de Potencia, se menciona la importancia y relevancia que tiene éste parámetro en la Teoría de Señales, así como una de sus principales características, que es el ancho de banda de una señal estacionaria. Se dan ejemplos detallados y se muestran gráficamente los resultados obtenidos.

_______________________________________________________________

9

Análisis Estocástico en Procesamiento de Señales

Capítulo:

__________________________________________________

III, Filtraje

Tópico: III.1, Diagrama general de un sistema de comunicaciones analógico Descripción Se muestra el diagrama básico de un sistema de comunicaciones analógico, donde se muestra la relevancia del filtraje.

Tópico: III.2, Filtraje de procesos estocásticos. Descripción Se proporciona la definición clásica equivalente en matemáticas y la definición usada en Teoría de Señales para un filtro. Posteriormente se muestra el desarrollo para la obtención de las expresiones en los dominios del tiempo y la frecuencia, que caracterizan a un filtro; tanto para el caso en que se filtran señales deterministas como señales estocásticas, aunque se hace énfasis en el ruido blanco. Se incluyen varios ejemplos

Finalmente se concluye con algunas reflexiones acerca del contenido expuesto en las notas y se dan algunas recomendaciones para quellos lectores que deseen profundizar en alguno de los tópicos incluidos, para lo cuál se incluyen una breve lista de referencias bibliográficas que se pueden consultar para tales fines.

Resultados El principal objetivo buscado era el de lograr unas notas del tópico que pudieran servir como un apoyo didáctico, para profesores tanto del área de Probabilidad y Procesos Estocásticos y del área de Análisis de Señales, como para alumnos que se desempeñan en alguna de éstas asignaturas, o que están llevando algún curso de aplicaciones en Ingeniería. Finalmente varios profesores de la Academia de Ciencias Básicas que imparten la asignatura de Probabilidad y Procesos Estocásticos revisaron el material y planean adoptar algunos contenidos para enriquecer su material didáctico. Para ello fue necesario proponer varios experimentos de procesamiento de señales, desarrollarlos y codificarlos de manera que se pudieran obtener resultados en formato amigable, por ello mucho del material se desarrolló en Matlab, debido a la interfase tan amigable que presenta y a su facilidad de uso, así como de las herramientas de que dispone para realizar análisis de sistemas complejos. Adicionalmente se logró presentar algunos de éstos resultados en un taller incluido en el 1er Congreso Internacional de la Didáctica de las Matemáticas en la Ingeniería, realizado en ESIME UPC.

Impacto Como se ha mencionado anteriormente, las notas se desarrollaron para enriquecer los cursos de Probabilidad y Procesos Estocásticos, específicamente con aplicaciones al Procesamiento de Señales (postulado a partir de los resultados logrados por varias generaciones de alumnos en la

_______________________________________________________________

10

Análisis Estocástico en Procesamiento de Señales

__________________________________________________

asignatura de Comunicaciones I, o Teoría de las Comunicaciones, así como de la poca vinculación de la asignatura de matemáticas con ésta). Por lo anterior, es de esperarse que el principal impacto se vea en los contenidos impartidos en dichas asignaturas, en beneficio del alumnado. Las notas ya se encuentran en un formato que facilita mucho su inclusión en los contenidos de la asignatura de Matemáticas V (Probabilidad y Procesos Estocásticos), aunque se convertiría en un curso muy ambicioso. Por tanto hay trabajo adicional por parte del profesorado de dicha asignatura para adaptar el contenido de manera que se alcance a cubrir con experimentos para ser desarrollado en una PC como tarea en casa, ello permitiría mayores alcances en la asignatura y sobre todo una transición más suave con asignaturas de la carrera ubicadas en semestres superiores.

_______________________________________________________________

11