teoria dell'informazione e della trasmissione
6 crediti, laurea triennale DOCENTI: Nicolò Cesa-Bianchi |
teoria dell'informazione e della trasmissione
6 crediti, laurea triennale DOCENTI: Nicolò Cesa-Bianchi |
Materiale bibliografico:
Thomas Cover e Joy Thomas, "Elements of Information Theory (2nd edition)". Wiley, 2006.Il testo verrà integrato da dispense fornite dal docente.
Obiettivi:
L'obiettivo del corso è fornire un'introduzione alla teoria dell'informazione secondo Shannon e i concetti principali relativi alla codifica di sorgente e di canale. Il corso includerà anche alcuni cenni alla teoria dell'informazione secondo Kolmogorov. La parte finale del corso riguarderà tematiche di complemento scelte dal docente.
Programma preliminare:
Introduzione al corso e nozioni matematiche di base. Entropia, entropia relativa e informazione mutua. La data processing inequality. La disuguaglianza di Fano. Codifica sorgente. Esempi di codice. Disuguaglianza di Kraft. Codici ottimi. La disuguaglianza di McMillan. Codici di Huffman e loro ottimalità. Codici di Shannon-Fano. Primo teorema di Shannon. Codifica di canale. La capacità di canale. Esempi di canale. Canali simmetrici. Secondo teorema di Shannon. Discussione. Cenni alla complessità di Kolmogorov. Applicazioni della teoria dell'informazione alla gestione di portafogli finanziari ed ai problemi di predizione sequenziale.
Modalità d'esame:
L'esame consiste in una prova scritta ed in una prova orale, entrambe obbligatorie. La prova scritta consiste nella soluzione di problemi relativi a: calcolo di quantità legate all'entropia, costruzione di codici sorgente, calcolo di capacità ed di altre quantità legate ai canali di trasmissione. La prova orale consiste nella presentazione di concetti, definizioni e dimostrazione di risultati relativi al programma svolto.
Testi, soluzioni e risultati esami
Consultare la pagina esami.
Note al corso:
Avvisi
Sfogliate le pagine del calendario e cliccate sulle date per trovare l'elenco degli argomenti svolti in ciascuna lezione.