Eco Controllo SpA | tecnologia

Compressione di immagini in movimento (video)

Se nella presente relazione trattiamo, in primo luogo, dei risultati conseguiti nella compressione di immagini in movimento (video) è per il particolare rilievo delle prestazioni conseguite, per la intrinseca difficoltà ed eccellenza delle correlate attività di ricerca e sviluppo pre-competitivo, per gli effetti che ne derivano in termini di possibili future ricadute di carattere industriale e commerciale.

In genere, tutte le ricerche – per quanto innovative e persino “rivoluzionarie” possano essere – prendono le mosse da precedenti risultati e, se valide, determinano a loro volta importanti sviluppi conseguenti. L’attività sul Codec Video della Eco Controllo SpA non fa eccezione, potendo anche essere letta in rapporto a prossimi imprevedibili scenari. In questo senso occorre, da una parte, tener conto delle prestazioni via via conseguite in termini di compression ratio (rapporto qualità-compressione) e, dall’altra, delle potenzialità espresse dalle linee di innovazione perseguite nel periodo.

Si è operato ponendo in essere i seguenti step e il susseguente risultato conclusivo:

Primo Step: si è creato un ambiente di test (da non confondere con l’ambiente VQM, di cui diremo in seguito, ovvero con ambienti adoperati allo scopo di testare i livelli prestazionali via via conseguiti dal Codec proprietario nelle diverse fasi di sviluppo) che ha consentito di portare avanti significative indagini sui caratteri delle immagini (elementi di ridondanza spaziale, modi in cui i valori della crominanza e della luminanza si combinano tra loro, frequenze statistiche, ecc.) e delle immagini in movimento in particolare (analisi della ridondanza temporale, frequenze statitiche tra frame e frame in sequenza, ovvero tra fotogrammi successivi, ecc.). Tale approccio è risultato particolarmente importante nella strategia adottata nel piano di ricerca, in quanto ha consentito di individuare, in misura sempre più sottile, alcune proprietà delle immagini, particolarmente delle immagini correlate di una sequenza video di n frame, che consentono il trascinamento efficiente delle informazioni (valori di luce e di colore) da un frame all’altro;

Secondo Step: si sono approfondite le analisi rivolte alla individuazione di tecniche innovative di trasporto dell’informazione all’interno di

una sequenza di n frame, allo scopo di poter introdurre metodologie alternative rispetto alle attuali tecniche di motion estimation e di

motion compensation, col superamento delle attuali tecniche d’uso dei macroblocchi (come detto al Rapporto per il SAL di avanzamento e relativo allegato B);

Terzo Step: si sono progettate e poi concretamente create, successive versioni sperimentali del Codec Video proprietario della Eco Controllo SpA, che hanno consentito prestazioni sempre più efficienti in termini di rapporto qualità-compressione;

Quarto Step: per stimare e correggere i risultati via via conseguiti e le metodologie introdotte nel corso delle attività di ricerca, si è proceduto a reiterate sessioni di test. Si è pertanto lavorato pertanto secondo il seguente schema operativo:

• è stato realizzato un piano di fattibilità, con l’indicazione delle modalità di selezione dei video da sottoporre a compressione, delle fonti, delle risoluzioni dei formati (CIF, QCIF, PAL, HDTV), degli standard e dei Codec a cui compararsi (Mpeg2, Mpeg4, Real Video, H263, H264), dell’ambiente e delle metriche di test (VQM, SSIM) in rapporto alle prove a carattere oggettivo e soggettivo, dei criteri di stima e quant’altro;

• si è proceduto a reiterati test rivolti a tarare, di volta in volta, la metodologia e/o a correggere difetti individuati nel Video Codec della Eco Controllo SpA, fino alla progettazione e alla conseguente messa in esecuzione di sessioni rivolte alla stima finale delle prestazioni ottenute in termini di qualità-compressione.

Target finale: si è infine creato e sviluppato un prototipo di Codec Video della Eco Controllo SpA che fornisce prestazioni eccellenti in termini di compression ratio, con una decodifica video in tempo reale anche su dispositivi domestici (PC, ma anche palmari e altro). I risultati dei test condotti hanno quindi evidenziato risultati di grande rilievo che confermano come su tutte le sequenze prese in input, con una unica eccezione verificata², le prestazioni del Codec proprietario della Eco Controllo SpA risultano superiori rispetto a quelle dei migliori standard concorrenti (Mpeg2, Mpeg4, H263, H264).

Sul conseguimento del suddetto target finale, ci sembrano comunque opportune alcune indicazioni e alcune esemplificazioni che rendano tangibile la concreta valenza e il livello prestazionale raggiunto dalla Eco Controllo, in ragione dei lavori di Ricerca e Sviluppo pre-competitivo. La porzione di test, condotta nel corso dell’ultima parte d’attività (successiva al SAL), ha messo infatti in maggiore risalto qualità e caratteristiche del nuovo Codec Video proprietario.

Ambiente di Test e Metriche Oggettive

Le sperimentazioni condotte sul Codec con metriche oggettive, si sono appoggiate all’ambiente di test VQM (Video Quality Metric) che consente di poter “misurare parametri che forniscono indicazioni numeriche sulla qualità dei video digitali, proponendo dunque una misura oggettiva della qualità percepita (…). VQM effettua la valutazione della qualità video a partire da due tipi di sequenze video: il video originale di riferimento e il video da valutare” (così dal Piano di Fattibilità già trasmesso a febbraio c.a. insieme ai chiarimenti alla relazione del I SAL).

Le tecniche di valutazione oggettiva della qualità video, incluse ovviamente quelle adoperate dall’ambiente prescelto, utilizzano uno o più modelli matematici alternativi (cosiddette “metriche”) che simulano il giudizio umano rispetto alla qualità percepita, in conseguenza dei diversi livelli di compressione più o meno spinta.

Il vantaggio, rispetto alle prove di qualità soggettiva – con l’uso di valutatori umani – risiede nella esclusione della componente emotiva e nella minore difficoltà delle procedure di test, che consentono di minimizzare errori e distorsioni che possano essere inavvertitamente introdotte nel corso delle sperimentazioni e nei confronti qualitativi con altri sistemi concorrenti.

VQM³ è un ambiente sviluppato da ITS/NTIA che fornisce un insieme di modelli di qualità che adoperano metriche del tipo Full Reference, cioè metriche basate sul confronto di immagini quando la sorgente (reference) è completamente disponibile per la valutazione.

Per dare tuttavia un’idea completa di come si è proceduto nelle sperimentazioni, occorre chiarire che ogni ambiente (VQM) fornisce una serie di possibili alternative metriche (i cui risultati di stima differiscono, in genere, solo molto marginalmente) che sono selezionate dall’operatore in funzione della affidabilità, del tempo e della complessità delle analisi. In linea di principio le metriche oggettive che richiedono analisi più lunghe e complesse, sono più affidabili in termini di approssimazione alla migliore valutazione di stima (es.: SSIM), mentre le metriche più semplici, sono meno sicure.

Tabella 1: Confronto dei metodi oggettivi di valutazione

Le prove effettuate hanno esaminato le prestazioni dei modelli oggettivi di qualità su differenti formati video (HD, PAL, CIF⁴). L’ambiente di test ritenuto più affidabile è stato VQM, nella metrica SSIM, mentre la metrica PSNR è stata adoperata come parametro sussidiario o per valutazioni rapide nelle fasi di ottimizzazione delle prestazioni.

Stima dei Risultati Conseguiti

Si riportano qui di seguito alcune immagini e alcune grafiche di stima delle prestazioni del Codec Video Proprietario a confronto con Codec che implementano standard concorrenti: Mpeg2, Mpeg4, H264.

I grafici successivamente riportati a titolo esemplificativo, mostrano l’andamento della compressione procedendo da frame a frame (ovvero da fotogramma a fotogramma). In altri termini, consentono di vedere l’evoluzione dei livelli qualitativi della compressione, lungo il periodo di vita del filmato.

Prendendo i dati di stima (metrica SSIM) a partire dal primo fotogramma compresso, nel confronto tra i diversi formati di riferimento (ovvero tutti i maggiori standard, in rapporto al Codec Eco Control-lo), si verifica quanto segue:

1) i valori di stima del rapporto prestazionale qualità-compressione prodotto dal Codec Eco Controllo, lo vedono costantemente in vantaggio sulle diverse risoluzioni d’immagine testate (CIF, PAL, HD);

2) i valori di stima prestazionale del rapporto qualità-compressione prodotto dal Codec Eco Controllo, lo vedono costantemente in vantaggio ai diversi livelli di compressione, sebbene le maggiori differenze si possono verificate sulle condizioni più estreme, ovvero sulle alte compressioni (per valori di bit-rate molto bassi). Nel caso, è frequente che il Codec Eco Controllo continui a misurare prestazioni accettabili anche su livelli di compressione limite, quando i principali standard non sono più in grado di produrre un output leggibile;

3) singolarmente, confrontando le diverse prestazioni, la gestione qualitativa del primo frame (ovvero del primo fotogramma in sequenza) risulta essere assai diversa tra MPEG2 e MPEG4 e gli altri Codec, incluso Eco Controllo (Grafico 1^o; Grafico 2^o, Grafico 3^o, Grafico 4^o).

MPEG 2 e MPEG4 adoperano una compressione meno equilibrata rispetto agli standard più performanti e più progrediti come H264 e lo stesso H263 (precedente evoluzione sfociata nello standard H264). Evidentemente i sistemi più antichi adoperano dei parametri di quantizzazione sul frame di apertura (I-frame) molto severi, che non riescono tuttavia a reggere per il resto della vita del video, già a partire dal secondo fotogramma e così via. Questo fa sì che solo sul primo frame, le prestazioni dei Codec meno evoluti risultano migliori per un breve istante (ovvero per un periodo di vita pari a 1/25 di secondo, per frame-rate 25 fr/sec.), con una subitanea caduta sul resto del filmato.

Grafico n. 1 – Esempio confronto prestazioni Codec Eco Controllo con maggiori Standard (CIF)

Grafico n. 2 – Esempio confronto prestazioni Codec Eco Controllo con maggiori Standard (PAL)

Grafico n. 3 – Esempio confronto prestazioni Codec Eco Controllo con maggiori Standard (HD)

Grafico n. 4 – Esempio, valori medi di stima dei Codec sui diversi bit-rate 1=100% (CIF)

Grafico n. 5 – Esempio, i valori medi di stima dei Codec sui diversi bit-rate 1=100% (PAL)

Grafico n. 6 – Esempio, i valori medi di stima dei Codec sui diversi bit-rate 1=100% (HD)

Nota:le migliori prestazioni, per il Codec Eco Controllo SpA, si registrano sulle compressioni più severe.

Occorre evidenziare come le suddette differenze prestazionali risultano più leggibili alla cosiddetta visione soggettiva, dove si possono registrare differenze percettive assai marcate quando, almeno nei casi limite, il vantaggio prestazionale a favore del nuovo Codec della Eco Controllo SpA, può anche esprimere la distanza che esiste tra un segnale comunque sufficiente (Codec Eco Controllo SpA) e un segnale di output ormai illeggibile (Mpeg).

Il punto è che le metriche oggettive adottano una scala di valori rigida che tende a registrare le differenze, appiattendo tuttavia i punteggi, livellandoli verso l’alto.

Per semplicità espositiva, riportiamo qui di seguito alcuni particolari tratti da frame di sequenze in alta definizione, mettendo a confronto ai livelli massimi di compressione (ovvero ai livelli dove il Codec meno efficiente appare prossimo alla “rottura”), la qualità conseguita dal nuovo Codec della Eco Controllo SpA rispetto al Codec concorrente MPEG4, che è una evoluzione migliorativa dell’attuale standard MPEG adottato dalle televisioni digitali.

Immagine 1 – dettaglio da video in alta definizione compresso a 2 Mb/sec. MPEG4-Eco Controllo

Immagine 2 – dettaglio da video in alta definizione compresso a 2 Mb/sec. MPEG4-Eco Controllo

Immagine 3 – dettaglio di ombrello nella pioggia a 2 Mb/sec. MPEG4-Eco Controllo

Gli esempi prescelti si riferiscono a frammenti tratti da frame video in alta definizione. Nello specifico, si tratta di sequenze a 720p ovvero per risoluzioni 720x1280 pixel, codificate a un bit-frame pari a 50Hz per secondo, ovvero alla frequenza di cinquanta fotogrammi al secondo. Pur, nella limitatezza dei casi presentati, la scelta fornisce una varietà di esempi significativi, ovvero:

• un primo piano in movimento;

• un dettaglio di sfondo (il campanile cogli edifici circostanti);

• il dettaglio di un ombrello nella pioggia.

Nel primo piano in movimento, la compressione estrema mette completamente in crisi lo standard MPEG, anche nella sua versione evoluta, conosciuta con l’acronimo MPEG4. Naturalmente tanto si determina a livelli di compressione molto spinti, considerando che le alte definizioni sono solitamente archiviate e/o trasmesse su bit-rate non inferiori ai 20Mbit/sec. (in H264, si scende sui 12 Mbit/sec. come nelle sperimentazioni prodotte da RAI in occasione delle Olimpiadi invernali di Torino).

Nel dettaglio del campanile, sempre su compressioni limite (su cui MPEG va anche in blocco dopo pochi secondi), ogni particolare è letteralmente mangiato dai macroblocchi che, su quantizzazioni compatibili con compressioni estreme, non sono più idonei al trasporto delle informazioni dall’uno all’altro frame.

Nel particolare dell’ombrello nella pioggia, la difficoltà è duplice. Da un canto, è noto che i movimenti dell’acqua rappresentano una difficoltà non banale per tutti i sistemi di compressione (anche il Codec Eco Controllo), dall’altro, vi è il dettaglio dell’ombrello con la veletta trasparente su uno sfondo indistinto. Tutto questo rende irriconoscibile ogni particolare nella compressione MPEG4, mentre molto migliore appare il risultato determinato dal nostro programma proprietario. Anche in questo caso, un uso massivo delle tecniche di motion basate su macroblocchi, non consente livelli di compressione sotto una determinata soglia che il Codec Eco Controllo mostra di reggere.

A titolo esemplificativo, proponiamo adesso un altro esempio diametralmente opposto ovvero un frame tratto da una sequenza in formato CIF (352x288 pixel), così da poter confrontare l’immagine, compressa fino a 56Kbit/sec., sia col Codec Eco Controllo che nello standard H264 (ovvero nello stardard considerato oggi più efficiente). Il formato CIF occupa circa un quarto della risoluzione televisiva (PAL) e un trantaduesimo dell’alta definizione a 25 Hz, e viene adoperato anche su dispositivi mobili come i palmari, dove sono attualmente trasmessi flussi video per bit-rate intorno ai 200-300 kbit/sec. Essendo tuttavia, compito primario dei sistemi di compressione, quello di abbattere le necessità di memoria e/o di banda, ci è parso interessante un confronto capace di verificare i livelli qualitativi su un bit-rate molto severo, teoricamente idoneo a passare anche sulla banda stretta del modem analogico (56Kbit/sec.).

Immagine 4 – singolo frame tratto da una compressione H264 portata a un bit-rate di 56 Kbit/sec.

Immagine 5 –frame tratto da una compressione Eco Controllo portata a un bit-rate di 56 Kbit/sec.

Torna all’Indice