Differentialentropi

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 27 oktober 2016; kontroller kräver 70 redigeringar .

Differentialentropi är en funktion som definieras på en uppsättning absolut kontinuerliga sannolikhetsfördelningar , en formell analog till Shannons koncept av informationsentropi för fallet med en kontinuerlig slumpvariabel . I informationsteorin introducerades det funktionella heuristiskt av K. Shannon [1] , men han är inte författaren till termen "differentiell entropi". Termen i sig introducerades av A. N. Kolmogorov tillsammans med I. M. Gelfand och A. M. Yaglom och understryker att detta begrepp har en annan betydelse än entropin av diskreta distributioner. De erhöll också en rigorös härledning av differentialentropin som den första termen av entropins asymptotiska expansion , där beroendet av fördelningen av en slumpmässig variabel manifesteras [2] [3] [4] . För en kontinuerlig slumpvariabel fördelad på ( ), definieras differentialentropin som $\xi$ ${\displaystyle X\subseteq R^{n))$ $n<\infty$

H(\xi )=-\int _{X}{f\left(x\right)\log f\left(x\right)\,}dx

där är distributionstätheten för en slumpvariabel (eller en signal från en kontinuerlig källa som en slumpvariabel). Valet av basen för logaritmen i denna formel (den måste vara större än 1) bestämmer måttenheten för motsvarande mängd information. Så i informationsteori används ofta den binära logaritmen , vilket motsvarar enheten för mängden informationsbit , och den funktionella tolkas som den genomsnittliga informationen för en kontinuerlig källa. I matematisk statistik , i definitionen av differentiell entropi, används av bekvämlighetsskäl vanligtvis den naturliga logaritmen (motsvarande enhet nat ), den funktionella tolkas som ett mått på osäkerheten i en kontinuerlig fördelning. $f\vänster(x\höger)$

Differentialentropin är icke-invariant med avseende på transformationer av koordinaterna för en slumpvariabel och har ingen oberoende betydelse (den har ett icke-tolkbart numeriskt värde). Dessutom, om den slumpmässiga variabeln har en dimension, kommer den funktionella differentialentropin att vara felaktig ur dimensionssynpunkt, eftersom den dimensionella kvantiteten visas under logaritmens tecken. Skillnaden mellan differentialentropierna för två slumpvariabler fördelade på samma mängd är dock korrekt, dessutom en dimensionslös kvantitet och sammanfaller med skillnaden mellan deras entropier. Eftersom entropin för varje kontinuerlig slumpvariabel är oändlig, när man tar skillnaden mellan entropier, är det nödvändigt att avslöja osäkerheten med hjälp av den asymptotiska expansionen [3] [4] [5] .

Således är förmågan att uttrycka differentiell entropi i bitar (eller andra enheter) ganska godtycklig: situationen här liknar att mäta temperatur i grader Celsius , som, även om de sammanfaller i storlek med kelvin , inte är en absolut temperaturskala , men har viss förskjutning i förhållande till den (enligt Av denna anledning kan differentialentropin, som temperaturen på Celsiusskalan , vara negativ). Skillnaden är att i fallet med differentiell entropi är denna förskjutning oändlig med avseende på den absoluta skalan som definieras av entropivärdena . De där. en absolut skala för entropin för kontinuerliga distributioner kan inte väljas, men differentialentropin kan användas för att jämföra entropierna för olika distributioner.

I vissa källor [5] tolkas den differentiella entropin för en fördelning som dess entropi med avseende på entropin för en enhetlig fördelning på ett intervall av längdenhet, eftersom den senare har noll differentiell entropi. Det bör noteras att detta tillvägagångssätt inte är helt korrekt, eftersom entropin i det kontinuerliga fallet beror på hur diskretiseringssteget tenderar att bli noll när intervallet är uppdelat. Endast i det fall när samma intervall beaktas kan det antas att vid beräkning av entropin används samma diskretisering för var och en av fördelningarna, då tenderar entropidifferensen till en ändlig gräns. I det allmänna fallet (för godtycklig diskretisering) tenderar skillnaden mellan entropierna för kontinuerliga slumpvariabler inte att vara någon gräns.

Villkorlig differentialentropi

Den villkorliga differentialentropin för en kvantitet vid en given kvantitet ges av följande formel: $X$ $Y$

H\left({X|Y=y}\right)=-\int \limits _{-\infty }^{+\infty }{f_{X|Y}\left(x\right)\ log f_{X|Y}\left(x\right)\,dx}

De ovillkorliga och villkorliga differentialentropierna kan vara antingen positiva eller negativa, och kan också vara lika med oändlighet . Denna omständighet indikerar också att differentiell entropi (villkorlig och ovillkorlig) har en något annan betydelse än entropi , som alltid är icke-negativ.

För differentiell entropi är likheter giltiga, liknande entropin för en diskret källa :

H\left( X \right) \ge H\left( {X|Y} \right)

(för oberoende källor - jämställdhet)

H\left( {X,Y} \right) = H\left( X \right) + H\left( {Y|X} \right) = H\left( Y \right) + H\left( {X |Y}\right)

Exempel

I exemplen nedan använder definitionen av differentiell entropi den naturliga logaritmen, fördelningens varians. $\sigma ^{2}$

Det kan visas att differentialentropin för distributioner med begränsad varians är maximal i fallet med en Gaussisk sannolikhetsfördelning och är lika med

H={\frac {1}{2}}\ln \left({2\pi \sigma ^{2}e}\right)

Bland fördelningarna som ges på ett begränsat intervall nås maximivärdet för differentialentropin för en enhetlig fördelning och är lika med

H=\ln \left({2{\sqrt {3}}\sigma }\right)

För Laplace-distributionen

H=\ln \left({{\sqrt {2}}\sigma e}\right)

Exempel med specifika måttenheter

Låt oss ta bitar för bestämdhet . Så basen för logaritmen är 2.

För enhetlig distribution från till : $0$ $ett$

f(x)=1

H(f)=-\int _{0}^{1}dx1\log _{2}1=0\;{\rm {bit))

För enhetlig distribution från till : $0$ $2$

f(x)={\frac {1}{2))

H(f)=-\int _{0}^{2}dx{\frac {1}{2}}\log _{2}{\frac {1}{2}}=1\; {\rm {bit}}

För enhetlig distribution från till : $0$ $fyra$

f(x)={\frac {1}{4}}

H(f)=-\int _{0}^{4}dx{\frac {1}{4}}\log _{2}{\frac {1}{4}}=2\; {\rm {bit}}

Anteckningar

↑ Shannon, 1963 , sid. 296-300.
↑ Gelfand, 1958 , sid. 300-320.
↑ 1 2 Kolmogorov, 1987 , sid. 39-41.
↑ 1 2 Glushkov, 1974 , sid. 583-585.
↑ 1 2 Tarasenko, 1963 , sid. 74-77.

Litteratur

Werner M. 8.1 Differentialentropi // Grunderna för kodning = Information und Codierung / transl. D.K. Zigangirova . - CJSC "RIC" Technosphere "", 2004. - S. 109-114. — (World of programmering). - 3000 exemplar. — ISBN 5-94836-019-9 .
Kolmogorov A. N. Teori om information och teori om algoritmer. - M. : Nauka, 1987. - 304 sid.
Tarasenko F. P. Introduktion till kursen för informationsteori. - Tomsk: Publishing House of Tomsk University, 1963. - 240 sid.
Shannon K. Arbetar med informationsteori och cybernetik. - M . : Förlag för utländsk litteratur, 1963. - 830 sid.
Gel'fand I. M., Kolmogorov A. N., Yaglom A. M. Informationsmängd och entropi för kontinuerliga distributioner. I boken: Tr. III All-Union Mathematical Congress, vol. 3. - M . : AN SSSR, 1958.
Glushkov V.M., Amosov N.M., Artemenko I.A. Encyclopedia of Cybernetics. Volym 2. - Kiev, 1974.

Länkar

Entropi av en kontinuerlig stokastisk variabel och dess egenskaper