252-0055-00L  Informationstheorie

Semester Frühjahrssemester 2017
Dozierende L. Haug
Periodizität jährlich wiederkehrende Veranstaltung
Lehrsprache Deutsch


Kurzbeschreibung Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes.
Lernziel Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datenkompression und -codierung zu illustrieren.
Inhalt Einführung und Motivation, Grundlagen der Wahrscheinlichkeitstheorie, Entropie und Information, Kraft-Ungleichung, Schranken für die erwartete Länge von Quellcodes, Huffman-Codierung, asympotische Äquipartitionseigenschaft und typische Sequenzen, Shannons Quellcodierungstheorem, Kanalkapazität und Kanalcodierung, Shannons Kanalcodierungstheorem, Beispiele
Literatur T. Cover, J. Thomas: Elements of Information Theory, John Wiley, 1991.

D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2003.


C. Shannon, The Mathematical Theory of Communication, 1948.