Informationsmängd

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 8 oktober 2016; kontroller kräver 3 redigeringar .

Mängden information i informationsteorin är mängden information i ett slumpmässigt objekt i förhållande till ett annat.

Låta och vara slumpvariabler definierade på motsvarande uppsättningar och . Då är mängden information relativt till skillnaden mellan a priori och a posteriori entropier: $x$ $y$ $X$ $Y$ $x$ $y$

I(x,y)=H(x)-H(x|y)

var

H(x)=-\summa _{x\in X}p(x)\log _{2}p(x)

är entropin och

H(x|y)=-\summa _{y\in Y}p(y)\summa _{x\in X}p(x|y)\log _{2}p(x|y )

- villkorlig entropi, i teorin om informationsöverföring, den karakteriserar bruset i kanalen.

Entropiegenskaper

Entropi har följande egenskaper:

0\leqslant H(x)\leqslant \ln(m)

var är antalet element i uppsättningen . $m$ $X$

$H(x)=0$ , om ett av elementen i mängden realiseras med sannolikhet 1, och resten, respektive 0, på grund av det faktum att och . $1\ln 1=0$ $0\ln 0=0$