Språkentropi

Ett språks entropi är en statistisk funktion av en text på ett visst språk eller själva språket, som bestämmer mängden information per textenhet.

Ur en matematisk synvinkel definieras ett språks entropi som

r = H \vänster( M \höger) / N

var är meddelandet, är dess entropi , är meddelandets längd. $M$ $H \left( M \right)$ $N$

Enligt Claude Shannon och Thomas Cover ( engl. Thomas Cover ) är detta värde för engelska mellan 1,3 och 2,3 bitar per bokstav.

Litteratur

Schneier B. Kapitel 11. Matematiska grunder. Språkets entropi. // Tillämpad kryptografi. Protokoll, algoritmer, källkod i C-språk = Applied Cryptography. Protocols, Algoritms and Source Code in C. - M . : Triumf, 2002. - P. 269. - 816 sid. - 3000 exemplar. - ISBN 5-89392-055-4 .
CE Shannon . Förutsägelse och entropi av tryckt engelska (engelska) // Bell Systems Technical Journal. - 1951. - Vol. 30 . - S. 50-64 . Arkiverad från originalet den 5 februari 2007.
Cover, T. , King, R. En konvergent speluppskattning av entropin i engelska // Information Theory, IEEE Transactions on. - 1978. - T. 24 , nr. 4 . - S. 413 - 421 . — ISSN 0018-9448 .