Informationstheorie

Quelle: Wikipedia. Seiten: 56. Kapitel: Information, Entropie, Entropiekodierung, Nachricht, Kanal, Hamming-Code, Shannon-Hartley-Gesetz, Wirkung, Informationsgehalt, Bedingte Entropie, Hamming-Abstand, Levenshtein-Distanz, Blockentropie, Informationsqualität, Entropieschätzung, Lineare partielle Information, Technology Acceptance Model, Informationsverkettung, Decodierregel, Kanalkapazität, Redundanz, Negentropie, Algorithmische Informationstheorie, Gibbs-Ungleichung, Transinformation, Rate-Distortion-Theorie, Verallgemeinerte Entropie, Kullback-Leibler-Divergenz, Auffälligkeit, Nit, Äquivokation, Digitales Nervensystem, Statistisches Informationssystem, Hamming-Ähnlichkeit, Rényi-Entropie, IEEE Transactions on Information Theory, Attributraum, Bitstrom, Kommunikation, Binärer Auslöschungskanal, Binary Symmetric Channel, Minimum Description Length, Entropierate, Quellentropie, Algorithmik. Auszug: Information (lat. "bilden", "eine Form, Gestalt, Auskunft geben") ist im engeren Sinne eine geordnete Abfolge von Symbolen, deren Bedeutung der Empfänger entschlüsselt. Der Begriff wird in vielen Lebensbereichen verwendet. Dazu gehören die Naturwissenschaften, die Geisteswissenschaften, die Technik und der Bereich des menschlichen Handelns. Allen gemeinsam ist: Information vermittelt einen Unterschied. Die Information verliert, sobald sie informiert hat, ihre Qualität als Information: "News is what's different." Info-Box auf der Staumauer-Krone der Kölnbreinsperre im österreichischen MaltatalInformation ist ein weitläufig verwendeter und schwer abzugrenzender Begriff. Verschiedene Wissenschaften betrachten die Information als ihr Arbeitsgebiet, namentlich die Informatik, die Informationstheorie und die Informationswissenschaft, die Nachrichtentechnik, die Informationsökonomik und die Semiotik. Erst in jüngster Zeit gibt es Bestrebungen, die einzelnen Ansätze zu verbinden und zu einem allgemeingültigen Informationsbegriff zu kommen. Entsprechende Literatur findet sich derzeit meist unter dem Stichwort Philosophie (etwa im Bereich Erkenntnistheorie). Von einer vereinheitlichten, allgemein akzeptierten Theorie der Information kann vorläufig noch nicht gesprochen werden. Im allgemeinen Sprachgebrauch sowie in einigen Wissenschaften (Semiotik, Informationswissenschaften) wird "Information" mit "Bedeutung" oder "übertragenem Wissen" gleichgesetzt. Eine andere Sichtweise des Begriffes, die heute beispielsweise in der Computertechnik von großer praktischer Bedeutung ist, stammt aus der Nachrichtentechnik. Die wegweisende Theorie dort ist diejenige von Claude Shannon. Er betrachtet die statistischen Aspekte der Zeichen in einem Code, der Information repräsentiert. Die Bedeutung der Information geht bei Shannon nur implizit in den Wahrscheinlichkeiten der verwendeten Zeichen ein, die letztlich nur unter Zuhilfenahme eines Menschen bestimmt werden könne, da nur der Mensch in d