Absolut entropi av ett språk

Den absoluta entropin för ett språk är ett värde lika med den maximala information som kan överföras av en enhet för ett givet språk . Inom informationsteorin förstås en språkenhet vanligtvis som en symbol (bokstav) i motsvarande alfabet, och den absoluta entropin beräknas under förutsättning att alla sekvenser av symboler är lika sannolika.

Om alfabetet för ett språk använder olika bokstäver, kan den absoluta entropin för språket ( bitar per bokstav) beräknas som: $L$

R=\log _{{2}}{L}

Detta värde tar inte hänsyn till det möjliga opåtalet för de mottagna "orden".

För engelska är detta värde cirka 4,7 bitar per bokstav. Detta värde är mycket större än den faktiska entropin för språket , eftersom det engelska språket, liksom alla naturliga språk, har redundans .

Litteratur

Schneier B. Kapitel 11. Matematiska grunder. Språkets entropi. // Tillämpad kryptografi. Protokoll, algoritmer, källkod i C-språk = Applied Cryptography. Protocols, Algoritms and Source Code in C. - M . : Triumf, 2002. - P. 269. - 816 sid. - 3000 exemplar. - ISBN 5-89392-055-4 .