Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z z

2.1 22 2.2 2.3 2.4 25 2.5

Captura de vídeo analógico. Digitalización. Di it li ió Codificación. Tipos de vídeo (según su calidad). Parámetros específicos de red red.

‰3. Compresión de vídeo.

Bibliografía [FLU95] Understanding networked multimedia [GIB98] Digital Compression for Multimedia [TSU99] Introduction to video coding standards for multimedia communication [H.264] Overview of the H.264 / AVC Video Coding Standard [MPEG4] MPEG-4 Overview [HiJa94] Compressing still and moving images with wavelets

z 3.1 Redundancia temporal. z 3.2 Estimación de movimiento. z 3.3 Estándares: MPEG y H.261.

‰4 Conclusiones. ‰4. Conclusiones Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

1. Introducción ‰ Una secuencia de vídeo es una sucesión de imágenes que producen sensación de movimiento. ‰ El proceso completo de transmisión de vídeo con compresión consiste en: z Adquisición del vídeo a transmitir. transmitir „ Captura analógica de la secuencia de imágenes. „ Digitalización del vídeo.

z (Re)codificación (R ) difi ió y subsampling b li de d las l muestras. t „ Típicamente se pasa de RGB a YCbCr „ Subsampling de la crominancia (de 4:4:4 a 4:2:0 ó 4:2:2)

z Compresión del vídeo. z Transmisión progresiva del vídeo comprimido (a ser posible usando protocolos con soporte multimedia)

2

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z z

2.1 2.2 2.3 24 2.4 2.5

Captura de vídeo í analógico. ó Digitalización. Codificación (de RGB a YCbCr con subsampling). Tipos de vídeo (según su calidad) calidad). Parámetros específicos de red.

‰3. Compresión de vídeo. z 3 3.1 1 Redundancia temporal. temporal z 3.2 Estimación de movimiento: algoritmos. z 3.3 Estándares: MPEG y H.261.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.1 Captura de vídeo analógico I ‰ Las imágenes (dos dimensiones) son convertidas en una señal g analógica. z Se capturan las imágenes a intervalos regulares. z Cada imagen (cuadro o frame) es barrida calculando la intensidad de cada p punto (B&W). ( )

‰ Para reproducir la imagen se realiza el proceso inverso.

Líneas de barrido 1 3 5 7 9

Placa de barrido a

Lentes

t

483 4

Líneas de barrido mostradas

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.1 Captura de vídeo analógico II ‰ La captura (y reproducción) de imágenes en color es muy similar a la de blanco y negro. z En E este t caso se utilizan tili tres t h haces de d barrido b id (RGB). (RGB) z Conversión RGB a YUV (compatibilidad con señales B&W).

Filtros R

Lentes

Placa de barrido

Y: Luminancia (intensidad). U y V: Diferencias de color. El ojo humano es más sensible a la intensidad (brillo) que a la información de color (subsampling).

a

G

a

B

a

t t

Divisor

TV Color

t Y+C Y R G Cámara B

R G B

CRT

U V

C

Codificador Modulador

5

Demod. Conv.

TV B&W Y+C

Filtro

Y

CRT

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.1 Captura de vídeo analógico III ‰ Parámetros de barrido: z Relación e ac ó de aspecto (a (ancho:alto): c o a to) 4:3 3 z Existen distintos estándares: „ NTSC (Usa y Japón): 525 líneas, 30 frames/s „ PAL/SECAM (Resto): 625 líneas, líneas 25 frames/s. frames/s

z Algunas líneas (superiores e inferiores) no son visibles. z Durante el retorno vertical, se puede insertar información adicional (teletexto).

‰ Barrido entrelazado y progresivo. progresivo z Entrelazado. „ Cada cuadro se representa con dos campos sucesivos (uno con las lí líneas impares y otro con llas pares)) (60 c/s / ó 50 0 c/s). / )

6

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.1 Captura de vídeo analógico IV ‰ Parpadeo de imagen (flicker) z Efecto ecto que apa aparece ece cua cuando do la a imagen age no o es refrescada e escada co con suficiente rapidez. z La retina mantiene una imagen durante un tiempo antes de que desaparezca. desaparezca z Valor mínimo: 50 imágenes/segundo ‰ Continuidad de movimiento. z Viene determinada por el número de cuadros diferentes por segundo. segundo z No se recomienda utilizar menos de 25 cuadros/s. ‰ Ancho de banda de una señal de vídeo analógico: 6 MHz.

7

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z 2.1 Captura de vídeo í analógico. ó z z z z

2.2 Digitalización. 2.3 Codificación (de RGB a YCbCr con subsampling). 2 4 Tipos de vídeo (según su calidad) 2.4 calidad). 2.5 Parámetros específicos de red.

‰3. Compresión de vídeo. z 3 3.1 1 Redundancia R d d i temporal. t l z 3.2 Estimación de movimiento: algoritmos. z 3.3 Estándares: MPEG y H.261.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.2 Digitalización I ‰ ITU-R (CCIR-601): Estándar para la digitalización de señales de TV. z Define los parámetros de muestreo muestreo, cuantificación cuantificación, barrido y resolución de imagen que se deben tomar para digitalizar una señal de TV analógica. ‰ Parámetros de barrido: z Dos os formatos o atos (NTSC ( SC y PAL/SECAM) /S C ) „ 525 líneas y 858 muestras/línea - 30 frames/seg. „ 625 líneas y 864 muestras/línea - 25 frames/seg.

z Las muestras corresponden a la luminancia (Y): Intensidad de luz de cada pixel (cantidad de blanco). z Las diferencias de color Cr (U) y Cb (V) se muestrean a la mitad (429/lí (429/línea, 432/línea): 432/lí ) Sub-sampling S b li 4:2:2. 422

9

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.2 Digitalización II z Cada línea tiene una zona visible (línea activa). Este estándar define una línea activa de 720 pixels. z Se define un número ú de líneas í visibles por cuadro: „ 480 (NTSC), 576 (PAL/SECAM).

‰ Barrido entrelazado: z Un cuadro (frame) está formado por dos campos: „ El primero con las líneas impares y el segundo con las pares. Línea completa

Tiempo

Línea activa 720 muestreos

‰ Frecuencia de muestreo única. z 525x858x30* = 625x864x25 = 13,5 MHz.

1 0

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.2 Digitalización III ‰ Codificación y recodificación. z Cada muestra RGB se codifica con 24 bits/color. z La conversión de RGB a YCbCr (YUV) se realiza mediante una matriz de conversión (aproximada): „ Y = 0.3R + 0.6G + 0.1B „ U = B - Y (Diferencia de color azul) (equiv (equiv. Cb Cb=U/2+128) U/2+128) „ V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)

z Cada uno de los componentes se codifica con 8 bits. „ Y (8 bits): bit ) rango 16-235 16 235 „ Cb (8 bits) y Cr (8 bits): rango 16-240

720

360

720 480 o 576

R

G

480 o 576

B

480 o 576

Y

Cb

Cr

Subsampling 4:2:2 1 1

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z 2.1 Captura de vídeo í analógico. ó z 2.2 Digitalización. z 2.3 Codificación (de RGB a YCbCr z 2.4 2 4 Tipos de vídeo (según su calidad) calidad). z 2.5 Parámetros específicos de red.

con subsampling).

‰3. Compresión de vídeo. z 3 3.1 1 Redundancia R d d i temporal. t l z 3.2 Estimación de movimiento: algoritmos. z 3.3 Estándares: MPEG y H.261.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

1 3

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: RGB

1 4

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: YCbCr

1 5

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: Y Subsampling (I)

1 6

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: Y Subsampling x2 (II)

1 7

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: Y Subsampling x4 (III)

1 8

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: Y Subsampling x8 (IV)

1 9

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: CbCr Subsampling (V)

2 0

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: CbCr Subsampling x2 (VI)

2 1

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: CbCr Subsampling x4 (VII)

2 2

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.3 Codificación: CbCr Subsampling x8 (VIII)

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z 2.1 Captura de vídeo analógico. z 2.2 Digitalización. z 2.3 Codificación (de RGB a YCbCr con subsampling). z 2.4 Tipos de vídeo (según su z 2.5 Parámetros específicos de red.

calidad).

‰3 Compresión de vídeo. ‰3. vídeo z 3.1 Redundancia temporal. z 3.2 Estimación de movimiento: algoritmos. z 3.3 3 3 Estándares: MPEG y H H.261. 261

‰4. Conclusiones.

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.4 Tipos de vídeo (según su calidad) I ‰ La percepción de calidad de una señal de vídeo se basa en tres parámetros: z La L resolución l ió de d las l imágenes. i á z La frecuencia de reproducción (cuadros/s.). z El tipo de barrido (progresivo o entrelazado) ‰ Televisión de alta definición (HDTV). z Existen diferentes variantes acerca HDTV. „ 1920x1080/60, 1920x1080/30-24, 1280x720/30-24

z Relación de aspecto 16:9

‰ Vídeo digital profesional (studio-quality). z Estándar ITU-R (CCIR-601) de vídeo digital.

2 4

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.4 Tipos de vídeo (según su calidad) II ‰ Vídeo de difusión (TV broadcast). z Difusión de señales de televisión analógicas. z Estándares NTSC y PAL/SECAM. ‰ Reproductor de Vídeo (VCR-quality VCR quality). ) z Grabación de vídeo analógico (en VHS) g (la ( mitad de PAL/SECAM). / ) z Menor resolución de imagen ‰ Videoconferencia (Low-speed). z Tasas T de d bits bit pequeñas ñ (alrededor ( l d d de d 128 Kbps) Kb ) z Resolución de imagen 4 veces inferior al vídeo digital. „ ITU-TS H.261: Common Intermediate Format ((CIF)) 352x288

z La secuencia de cuadros/s se reduce entre 5 y 10.

2 5

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z

2.1 2.2 2.3 24 2.4

z 2.5

Captura de vídeo í analógico. ó Digitalización. Codificación (de RGB a YCbCr con subsampling). Tipos de vídeo (según su calidad) calidad).

Parámetros específicos de red.

‰3. Compresión de vídeo. z 3 3.1 1 Redundancia R d d i temporal. t l z 3.2 Estimación de movimiento: algoritmos. z 3.3 Estándares: MPEG y H.261.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.5 Parámetros específicos de red I ‰ Lo que debe suministrar una red para el envío en tiempo real de una secuencia de vídeo. ‰ Tasa de bits.

Calidad

Estándar

Sin comprimir Mbps

Comprimido Mbps

HDTV 1920x1080/60

2000

Sin comprimir Comprimido

MPEG-2

25 a 34

ITU R di ITU-R digital it l TV Sin comprimir

166

Comprimido

MPEG-2

3a6

TV broadcast

MPEG-2

2a4

VCR

MPEG-1

1,2

H.261

0.1

Videoconferencia

2 7

ITU-R 601

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 2 8

2.5 Parámetros específicos de red II ‰ Retardo y varianza del retardo. z Normalmente se envían una secuencia de vídeo sincronizada con el audio correspondiente. correspondiente „ La sincronización es muy importante y necesaria desde HDTV hasta VCR. „ En Videoconferencia no es tan importante ya que la imagen no es continua (pocos cuadros/s).

z En estos casos, los requerimientos para estos parámetros los impone el audio (más sensible). z Valores indicativos para la varianza del retardo: „ HDTV: 50 ms. „ Vídeo difusión: 100 ms. ms „ Videconferencia: 400 ms.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

2.5 Parámetros específicos de red III ‰ Tasa de error. z El vídeo comprimido es más sensible a los errores. z La degradación de la calidad de vídeo percibida depende: „ BER de la red „ Del tipo de error (simple, ráfaga, bloque, etc.) „ Donde se produce ese error. error „ El índice de compresión de vídeo.

z Mecanismos de recuperación ante errores: „ Técnicas Té i de d protección t ió de d la l señal. ñ l – FEC (Forward Correction Codes). – Marcas de resincronización. – Reversible VLC. – Técnicas de paquetización.

„ Ocultación de errores (error concealment) – Cuando se pierden bloques o llegan demasiado tarde. – Técnicas de extrapolación e interpolación de cuadros.

2 9

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z z

‰3.

2.1 2.2 2.3 24 2.4 2.5

Captura de vídeo í analógico. ó Digitalización. Codificación (de RGB a YCbCr con subsampling). Tipos de vídeo (según su calidad) calidad). Parámetros específicos de red.

Compresión p de vídeo.

z 3.1 Redundancia temporal. z 3.2 Estimación de movimiento: algoritmos. z 3.3 Estándares: MPEG y H.261.

‰4. Conclusiones.

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 3 1

3.1 Redundancia temporal. ‰ Se basa en la similitud de cuadros sucesivos en una secuencia de vídeo. z Ej.: Secuencias de plano estático. ‰ Se utilizan técnicas de codificación diferencial o transformada 3D z Sólo Sól se codificarán difi á llas diferencias dif i entre t cuadros d sucesivos i (DPCM). (DPCM) ‰ La reconstrucción de un cuadro puede estar basado en otro(s) anterior(es). ( ) ‰ Un algoritmo típico de eliminación de redundancia temporal (motion compensation) es el que emplea MPEG.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Redundancia temporal (MPEG-1) ‰ Cuadros de referencia y cuadros auto-contenidos z Si F1 lo usamos para construir F2, F2 se dice que F1 es un cuadro de referencia (reference frame). z Si un cuadro no se construye a partir de ningún otro, se dice que es auto-contenido t t id (intracoded i t d d frame f ) „ Normalmente estos sirven de referencia para otros.

‰ Macrobloques q (macroblocks) z 16x16 pixels (6 bloques de 8x8: 4Y,1U y 1V).

F1

3 2

F2

F3

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Redundancia temporal (MPEG-1) ‰ Vectores de movimiento (motion vector) z Identifican el desplazamiento de un determinado macrobloque en el cuadro actual respecto a la posición que tenía en el cuadro de referencia. z Los vectores de movimiento se aplican p cuando se identifica un macrobloque existente en el cuadro de referencia (matching blocks) Vector de movimiento ∆x = -20, ∆y = 0

Cuadro de referencia

Macrobloques idénticos

F1

3 3

F2

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Redundancia temporal (MPEG-1) ‰ Búsqueda de macrobloques. z Se buscan los macrobloques del cuadro a codificar en el cuadro de referencia. z Si se encuentra el mismo macrobloque, q , sólo se codifica el vector de movimiento correspondiente. z Si no se encuentra exactamente el mismo se elige el más parecido (macrobloque INTER). INTER) „ Se codifica el vector de movimiento. „ Se calcula el macrobloque error (las diferencias) aplicándole codificación estilo JPEG (DCT (DCT, quant, quant RLE+VLC en zigzag). zigzag)

z Si no se encuentra ningún bloque similar (mb. INTRA) „ Se codifica dicho macrobloque con codificación estilo JPEG.

3 4

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 3 5

Redundancia temporal (MPEG-1) ‰ Tipos de cuadros z I (Intracoded frames)): Cuadro codificado usando JPEG (autocontenido). z P (Predictive frames): Cuadro basado en las diferencias respecto a un cuadro de referencia anterior (tipo I) I). z B (Bidirectional frames): Cuadros basados en la interpolación de un cuadro anterior y otro posterior en la secuencia (tipo I o P). P)

Cuadro de tipo I autocontenido

Cuadro de tipo B basado en F1 y F3

F1

F2

Macrobloque encontrado!!

Cuadro de tipo P basado en F1

Macrobloque encontrado!!

F3

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Redundancia temporal (MPEG-1) ‰ Secuencias de cuadros (Group Of Pictures) z Los cuadros de tipo I son los menos comprimidos, a continuación l de los d tipo ti P y por último últi los l que más á compresión ió obtiene bti son los l de tipo B. z Secuencias típicas: ¾ IBBBPBBBI ¾ IBBPBBPBBI (PAL) ¾ IBBPBBPBBPBBI (NTSC)

I

3 6

B

B

P

B

B

P

B

B

I

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Redundancia temporal (MPEG-1) ‰ La importancia de los cuadros de tipo I. z En u un sistema s ste a de vídeo deo es habitual ab tua e el usa usar los os co controles t o es de a avance, a ce, retroceso, pausa, etc. „ Si queremos detener la secuencia de vídeo, necesitamos encontrar el último cuadro I para reconstruir el cuadro donde se ha detenido la imagen.

z Sirven como puntos de sincronización. z Se estima que deben aparecer al menos un cuadro I cada 300-400 300 400 ms. z Si se está difundiendo una secuencia de vídeo comprimida (TV b d t videoconferencia, broadcast, id f i etc) t ) „ Permite “engancharse” rápidamente y recuperarse ante la recepción de algún cuadro dañado.

3 7

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z z

2.1 2.2 2.3 24 2.4 2.5

Captura de vídeo í analógico. ó Digitalización. Codificación (de RGB a YCbCr con subsampling). Tipos de vídeo (según su calidad) calidad). Parámetros específicos de red.

‰3. Compresión de vídeo. z 3.1 3 1 Redundancia temporal. temporal z 3.2 Estimación de movimiento: z 3.3 Estándares: MPEG y H.261.

algoritmos.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 3 9

3.2 Estimación de movimiento: Algoritmos. ‰ La parte más costosa de la estimación de movimiento corresponde a los algoritmos de búsqueda de macrobloques en el cuadro(s) de referencia. f i ‰ Provoca codificación asimétrica ‰ Los algoritmos más conocidos son los siguientes: z Búsqueda completa (Full-Search). z TTS (Three-Step Search) z Búsqueda logarítmica. z Búsqueda en cruz (Cross-Search) z OTS (One-at-a-Time Search) z Vecinos más próximos (Nearest Neighbours Search) z Búsqueda jerárquica.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estimación de movimiento. ‰ Se define una función de coste que calcula el error entre dos macrobloques, por ejemplo, SAE (Sum of Absolute Errors)* : N −1 M −1

SAE (i, j ) = ∑ ∑ C (i, j ) − R(i, j ) i =0

j =0

z (i,j) está definido dentro del área de búsqueda z (NxM) determina las dimensiones del macrobloque. z C(i,j) y R(i,j) definen los pixels del macrobloque actual y referencia respectivamente.

‰ Las coordenadas (i,j) que menor SAE exhiban determinarán el vector de movimiento del macrobloque actual.

4 0

(*) Más conocido como SAD (Sum of Absolute Differences)

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: Full Search. ‰ Examina todos los puntos del área de búsqueda (+/- p) ‰ Complejidad computacional por macrobloque: z Número Nú ttotal t ld de posiciones: i i (2 (2p + 1)2 z Cada posición (i,j), MxN pixels. z Cada pixel requiere: 1 resta, 1 suma y 1 valor absoluto.

O(MB ) = (2 p + 1) 3MN 2

‰ Complejidad (secuencia IxJ pixels @ F fps)

IJF O(FS ) = O(MB ) MN

‰ Ejemplo: z Broadcast TV (I=720, J=480, F=30, N=M=16) z Coste de este algoritmo: 29.89 GOPS (p=15) ó 6.99 GOPS (p=7)

4 1

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: Three-Step Search. (-7,-7)

(0,-7)

(7,-7)

MV: (7 (7,-3) 3) 1

1

1

1

2

3 3 3 2 3 2 3 3 3 3 2 1

2

2

2 1

1

1

2

1. 2. 3 3. 4.

1

5. (0,7)

((-7,7) , )

‰ Coste:

(7,7) 6.

(⎡

⎤)

z Examina 8 log 2 p + 1 puntos z 1.02 GOPS (p=15) ó 770 MOPS (p=7). 4 2

Busca en la posición (0,0) S=2N-1 (step size) B Busca 8 posiciones i i a +/-S +/ S píxeles alrededor de (0,0) De las nueva posiciones elige g aquella q con el SAD menor. S=S/2 y el nuevo origen de búsqueda el punto obtenido en 4. 4 Repetir pasos 3-5 hasta que S=1.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: Búsqueda logarítmica. (-7,-7)

(0,-7)

(7,-7)

MV: (5,-3)

1

4 5 5 5 2 5 3 5 4 5 5 5 1 2

1

2

3

1 1

1. 2. 3.

4. ((-7,7) , )

(0,7)

‰ Coste: z Examina 20 puntos z 616 MOPS (p=7 y N=2). 4 3

(7,7)

5. 6 6.

Busca en la posición (0,0) y establece S=N (step size) Selecciona 4 posiciones a S píxeles d l origen del i en los l ejes j X e Y. Y Calcula la posición que ofrece el menor SAD, fijándola como el nuevo origen g de la búsqueda q Si esta posición es la central de las 5 seleccionadas S=S/2 Si S=1 ir al paso 6, sino ir al paso 2. S l i Selecciona ell origen i actual t l y las l 8 posiciones de alrededor, y calcula aquella que minimiza el SAD

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: Búsqueda en cruz (Cross Search) (-7,-7)

(0,-7)

2

MV: (-3,-5)

2 4

1 4

1

1.

3

3 2

(7,-7)

2 3

2.

3 1

3. 1

1

4 4. 5.

(0 7) (0,7)

( 7 7) (-7,7)

‰ Coste:

(⎡

z Examina 4 log 2 z 523 MOPS (p=7). 4 4

(7 7) (7,7)

p ⎤) + 5 puntos

Establece el origen en la posición N 1 (step (0 0) S (0,0). S=2 2N-1 ( t size) i ) Selecciona 4 posiciones a +/-S píxeles del origen formando una cruz ((X)) y el propio p p origen. g Calcula la posición que ofrece el menor SAE, fijándola como el nuevo origen de la búsqueda Si (S>1) entonces t S S=S/2 S/2 y va all punto 2. Sino ir al punto 5. Si la mejor posición está en el punto superior p izquierda q o inferior derecha de la X, evaluar 4 puntos más en forma de X a una distancia de +/-1 pixel. Sino hacer lo mismo pero con l 4 puntos los t distribuidos di t ib id en “+”. “+”

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: OTS (One-at-a-Time Search) (-7,-7)

(0,-7)

5

9 8 7 6 4 3 6

(7,-7)

MV: ((-4,-3) , )

1. 2. 2 1

1 1

3 3.

4.

5. (0 7) (0,7)

(-7,7)

‰ Coste: z Examina 12 puntos z 369 MOP. 4 5

(7 7) (7,7)

Establece el origen en (0,0). Selecciona el origen y las dos posiciones vecinas en el eje X C l l la Calcula l posición i ió que menor SAD exhiba. Si es el origen ir al paso 5. Establece el nuevo origen g en la posición que ha ofrecido el menor SAD. Ir al paso 2. Repetir los pasos 2 al 4 seleccionando l i d las l posiciones i i en el sentido vertical (eje Y).

Puede dar lugar a mínimos locales !

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Algoritmos: Vecino más próximo. (-7,-7)

(0,-7) 3 2 3 2 1 1 1 1

2 1

MV: (-3,-4)

1. 2. 0

3 3. 4.

(0 7) (0,7)

(-7,7)

‰ Coste: z Examina 12 puntos z 369 MOP. 4 6

(7,-7)

(7 7) (7,7)

Calcula el SAD del (0,0). Establece el origen de búsqueda a la posición del vector supuesto (predicted vector) Selecciona 4 posiciones alrededor del origen en forma de “+”. Si el origen de búsqueda (o la posición 0,0 en la primera iteración) ofrece el menor SAD entonces “fin de búsqueda”. Sino establece el nuevo origen de búsqueda en la posición que menor SAD ha ofrecido.

Propuesto para H.263 y MPEG-4.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estimación de movimiento: Otras consideraciones. ‰ Estimación de movimiento con fracciones de pixel z Se basa en realizar la estimación de movimiento con mayor precisión, ya que a veces el movimiento real no se ajusta a desplazamientos de píxel enteros. z Half-Pixel motion estimation „S Se obtiene bi un imagen i de d mayor resolución l ió interpolando i l d un punto de d la l imagen entre cada dos píxeles. A

b

A

b

A

¾ c

d

c

d

c

A

b

A

b

A

c

d

c

d

c

A

b

A

b

A

¾

A: Píxeles reales ((Enteros)) b,c,d: Píxeles interpolados. Las flechas indican la dirección de interpolación. 4 7

Se incrementan notablemente las prestaciones del algoritmo de estimación de movimiento a expensas de un mayor coste computacional. H.263 utiliza está técnica, incluso se propone utilizar ¼ y 1/8 de píxel para el estándar H.264

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estimación de movimiento: Mejoras propuestas. ‰ Vectores de movimiento fuera del cuadro de referencia. z Para estimar correctamente el movimiento que se produce en los b d del bordes d l cuadro. d

‰ Tamaño de bloque variable. z Para realizar estimación de movimiento más precisa. z Se utiliza en H.263 (Anexo F) y H.264. „ Tamaños: 16x16;8x8;4x4;8x16;16x8....

‰ OBMC ((Overlapped pp Block Motion Compensation) p ) z Objetivo: Suavizar los efectos de “blocking” que aparecen en los bordes de los macrobloques. z Incremento significativo g del coste computacional. p „ H.263 recomiendo utilizar filtros de salida (deblocking filters) que realizan esta operación a un coste computacional muy inferior.

‰ Modelos de estimación más complejos: z Region-based, Picture Warping, Mesh-based, Object-based...

4 8

Tema 6: Codificación y compresión de vídeo. ‰1. Introducción. ‰2. Características del vídeo. z z z z z

2.1 2.2 2.3 24 2.4 2.5

Captura de vídeo í analógico. ó Digitalización. Codificación (de RGB a YCbCr con subsampling). Tipos de vídeo (según su calidad) calidad). Parámetros específicos de red.

‰3. Compresión de vídeo. z 3 3.1 1 Redundancia temporal. temporal z 3.2 Estimación de movimiento: algoritmos. z 3.3

Estándares: MPEG y H.26x.

‰4 Conclusiones. ‰4. Conclusiones

Transmisión de Datos Multimedia –

http://www.grc.upv.es/docencia/tdm

– Master IC 2007/2008

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

3.3 Estándar MPEG. ‰ Conjunto de estándares ISO para la grabación y transmisión digital de audio y vídeo. ‰ En su evolución se han desarrollado varias versiones del estándar MPEG: z MPEG-1 (ISO 11172) (‘91): „ CD-ROM CD ROM vídeo íd (1,5 (1 5 Mbps). Mb )

z MPEG-2 (ISO 13818) (‘93): „ TV Broadcast (4-6 Mbps). „ HDTV (25-34 (2 3 Mbps). b )

z MPEG-4 (ISO 14496) (‘99): „ Originalmente: Videoconferencia (4,8 a 64 Kbps). „ Enfoque universal de tratamiento de elementos multimedia.

z MPEG-7 (00-?): Descripción de contenido multimedia (videodatabases) z MPEG-21 (01-?): Uso transparente de contenido multimedia entre redes y usuarios heterogéneos.

5 0

5 1

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Relación entre los estándares MPEG.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

MPEG-1. ‰ MPEG-1 (ISO 11172) (‘91) z MPEG-Vídeo (IS 11172-2) z MPEG-Audio (IS 11172-3) z MPEG-System (IS 11172-1): „ Multiplexado y sincronización.

z MPEG-Conformance Testing (IS 11172-4) „ Patrones de prueba, medida de calidad, etc

z MPEG-Software MPEG S ft C Coding di (IS 11172-5) 11172 5) „ Directrices para la codificación de los algoritmos.

‰ Propósito de MPEG-1 z Almacenamiento en CD-ROM de audio (calidad CD) y vídeo (calidad VCR) sincronizado (1,5 (1 5 Mbps). Mbps)

5 2

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

MPEG-1 ‰ Características de MPEG-1: z Resolución de imagen: 352x(288 ó 240) (PAL/NTSC). z Reducción de color (sub-sampling): 4:2:0. z Barrido progresivo (no entrelazado). z Tasa de cuadros: 25/30 (PAL/NTSC). (PAL/NTSC) z Incluye cuadros de tipo D (DC-coded): „ Operaciones de avance rápido (Fast Forward).

z Codificador/decodificador asimétrico.

‹ Tasa T

de d compresión: ió 27:1. 27 1 ‹ Los codificadores de audio y vídeo íd trabajan t b j por separado. d ¾

5 3

Utilizan un reloj común para establecer el tiempo de cada una de sus capturas (system).

A di Audio encoder Salida MPEG-1 Reloj

Vídeo encoder

System Mux.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 5 4

MPEG-2 ‰ Conjunto de estándares ISO 13818 (‘93). ‰ Propósito: z Mejorar la calidad de imagen respecto al anterior sin incrementar excesivamente la tasa de bits requerida z Calidad de vídeo profesional (studio (studio-quality) quality) y HDTV ‰ Aplicación: z Difusión de señales de TV, HDTV, VOD ‰ La codificación/decodificación es muy similar a la de MPEG-1 salvo algunas diferencias: z No se incluyen cuadros de tipo D. z Permite bloques de 16x8 para vídeo entrelazado. z Otras mejoras (permite DC de hasta 10 bits, cuantización no lineal, nuevas tablas t bl VLC, VLC escalabilidad l bilid d SNR y multiresolución) lti l ió )

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

MPEG-2 ‰ Características de MPEG-2. z Soporta barrido entrelazado y progresivo. z Puede trabajar con distintas resoluciones (nivel): „ CIF: 352x288/240 (VCR quality) (Compatibilidad MPEG-1) „ Principal: 720x576/480 (studio (studio-quality) quality) „ High-1440: 1440x1152 (HDTV) „ High: 1920x1080 (HDTV)

z Define D fi varios i perfiles fil de d implementación i l t ió „ Detalles de los algoritmos de compresión y parámetros de imagen, barrido, etc.

z El multiplexado y sincronización es más general y flexible que MPEG1 „ Se pueden multiplexar/sincronizar varias fuentes de audio, vídeo y datos (ej.: subtítulos en varios idiomas).

5 5

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

MPEG-4 ‰ Propósito: z Diseño de aplicaciones multimedia interactivas distribuidas. ‰ Aplicación: z Televisión digital „ Compatibilidad con MPEG-2 (backware compatibility)

z Aplicaciones multimedia interactivas „ El usuario puede interaccionar con los objetos multimedia de la sesión.

z Distribución de información multimedia (tipo WWW) „ A través de una red, se permitirá el acceso y distribución a información multimedia, facilitando su diseño y presentación.

5 6

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 5 7

MPEG-4 ‰ Características: z Accesibilidad de la información de manera universal y robusta. z Alta interactividad con la información multimedia. „ Definición de escenarios virtuales compuestos por objetos independientes (AVOs). „ El usuario puede modificar/configurar el escenario actual.

z Codificación conjunta de datos sintéticos y reales. z Codificación eficiente de la información. información „ Mejoras en la compresión y multiplexación de la información. „ Codificación de objetos con forma irregular.

5 8

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

MPEG-4

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

3.3 Estándar H.261. ‰ Pertenece al conjunto de estándares H.320 del ITU dedicados a videoconferencia sobre RDSI. z H.320: H 320 D Definición fi i ió d de lla familia f ili de d estándares á d z H.221: Multiplexado, sincronización sobre uno o varios canales RDSI y empaquetamiento p q (framming). ( g) z H.242/H.230: Establecimiento y control de sesión. z H.224/H.281: Control remoto de cámaras. z H.233 H 233 y H H.234: 234 Cif Cifrado d y autenticación t ti ió de d los l datos. d t z T.120: Soporte para aplicaciones (transferencia de imágenes, anotaciones compartidas, etc.) z G.711, G.72x ...: Algoritmos de compresión de audio

z H.261: Compresión de vídeo (conocido como px64).

5 9

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estándar H.261. ‰ Características de H.261: z Formato de imagen: YCbCr „ CIF: 352x288 (opcional) „ QCIF: 176x144 (obligatorio)

z Reducción de color: 4:2:0 z Tasa de cuadros/seg: como máximo 30 max.

‰ Mecanismo de compresión ó similar a MPEG-1: z Para la redundancia temporal se emplean mecanismos similares a MPEG,, basados en macrobloques q (16x16). ( ) z H.261 define el concepto de GOB (Group Of Blocks) „ 1 GOB = 3x11 macrobloques (QCIF: 3 GOBs)

6 0

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estándar H.261. ‰ Sólo se definen dos tipos de cuadros: I y P. z No existen secuencias predefinidas de cuadros. z Decisión de codificación I o P para cada cuadro. ‰ Estimación de movimiento (motion estimation): z Se realiza a nivel de macrobloque z Búsqueda restringida en un área de +-15 pixels, usando sólo la información de luminancia (Y). z Resultado de la búsqueda: „ Macrobloque del cuadro de anterior que más se parece al actual q error). ) „ Cálculo de las diferencias ((macrobloque „ Si superan un cierto umbral se codifican (DCT), si no se elimina el macrobloque error, utilizando sólo el vector de movimiento.

‰ Cuantificación lineal (menos costosa). costosa) ‰ Se siguen utilizando run-length y Huffman (VLC).

6 1

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

Estándar H.261.

‹

PSC

Esquema del formato H.261 H 261 TR

GOB Start

Addr

Type

DC

6 2

PType

GOB1

Grp#

Quant

Run, Valor

GOB2

Quant

Vector

...

MB1

CBP

....

GOBm

...

b0

Run, Valor

MBn

b1

EOB

...

b5

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 6 3

Otros estándares H.26x. ‰ H.263: Mejora, amplía y sustituye el H.261 z De propósito general (no sólo para videoconf.) videoconf ) z Incluye compensación de movimiento de “medio-píxel” z Soporta cinco resoluciones (SQCIF, QCIF, CIF, 4CIF y 16CIF) z Permite estimación de movimiento bidireccional y sin restricción en el tamaño de la ventana de búsqueda ‰ H.263+: H 263+: Añade nuevas características a H.263 H 263 z Escalabilidad SNR, espacial y temporal z Predicción de los valores de los coeficientes de la DCT ‰ H.264: Mejora la eficiencia en codificación z DCT con enteros y tam. bloque 4x4, compensación de movimiento con bloques de tamaño variable, etc.

Transm misión de Dato os Multimedia a - Master IC C 2007/2008 6 4

Otros estándares H.26x.

Comparación subjetiva MPEG-4 - H.264

Transm misión de Dato os Multimedia a - Master IC C 2007/2008

4. Conclusiones ‰ Las imágenes son captadas por cámaras de vídeo que proporcionan una señal analógica RGB. ‰ La L digitalización di it li ió está tá basada b d en ell estándar tá d ITU-R ITU R ‰ En función de la calidad de vídeo deseada, existen diversos formatos de imagen, g , barrido,, etc. ‰ Se definen distintos parámetros de red de importancia para el transporte de vídeo ‰ Algoritmos Al it de d compresión ió de d vídeo íd z Fundamentos: Redundancia temporal z Algoritmos g de estimación de movimiento: Alto coste computacional. p z Estándares de compresión: „ Familia MPEG: 1-2-4 – Diseñados para procesar vídeo digital de calidad (Sector consumo).

„ Familia ITU: H.261-3-4 – Diseñados para comunicaciones audiovisuales en distintos tipos de redes (RDSI, IP, telefonía, etc.)

6 5