Renyi entropi

I informationsteorin är Rényi-entropin , en generalisering av Shannon -entropin , en familj av funktionaler som används som ett mått på den kvantitativa mångfalden, osäkerheten eller slumpmässigheten hos något system. Uppkallad efter Alfred Renyi .

Om något system har en diskret uppsättning tillgängliga tillstånd , som motsvarar sannolikhetsfördelningen för (det vill säga sannolikheten för att systemet är i tillstånd ), så definieras Rényi-entropin med parametern (at och ) för systemet som $X=\{x_{1},...,x_{n}\}$ $pi}$ $i=1,...,n$ $pi}$ $x_{i}$ $\alfa$ $\alpha \geq 0$ $\alpha \neq 1$

H_{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={ \frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }

där vinkelparenteser anger den matematiska förväntan genom distribution ( är sannolikheten för att systemet är i ett visst tillstånd som en slumpvariabel ), tas logaritmen i bas 2 (för att räkna i bitar) eller i en annan lämplig bas (den måste vara större än 1). Basen för logaritmen bestämmer enheten för entropin. Så i matematisk statistik används vanligtvis den naturliga logaritmen . $pi}$ $sid$

Om alla sannolikheter är , då är Rényi entropin för alla . Annars minskar -entropin som en funktion av . Dessutom ger högre värden (som går till oändligheten) Renyi-entropivärdena som till stor del endast bestäms av de högsta sannolikheterna för händelser (det vill säga bidraget från tillstånd med låg sannolikhet till entropin minskar). Mellanfallet i gränsen ger Shannon-entropin, som har speciella egenskaper. Lägre värden (som går till noll) ger ett Rényi-entropivärde som väger möjliga händelser mer jämnt, mindre beroende av deras sannolikheter. Och när vi får den maximala möjliga -entropin lika oavsett fördelningen (om bara ). $p_{i}=1/n$ $\alfa$ $H_{\alpha }(X)=\log n$ $\alfa$ $\alfa$ $\alfa$ $\alpha =1$ $\alfa$ $\alpha =0$ $\alfa$ $\log n$ $p_{i}\neq 0$

Innebörden av parametern kan beskrivas, talat informellt, som känsligheten hos den funktionella för avvikelsen av systemets tillstånd från jämviktstillståndet: ju större , desto snabbare minskar entropin när systemet avviker från jämviktstillståndet. Innebörden av begränsningen är att ge en ökning av entropin när systemet närmar sig ett jämviktstillstånd (mer troligt). Detta krav är naturligt för begreppet entropi . Det bör noteras att för Tsallis-entropin , som är ekvivalent med Renyi-entropin upp till en monoton transformation oberoende av , utelämnas ofta motsvarande begränsning, medan för negativa värden på parametern, istället för att maximera entropin, dess minimering är använd. $\alfa$ $\alfa$ $\alpha \geq 0$ $X$

Rényi-entropin spelar en viktig roll i ekologi och statistik, och definierar de så kallade mångfaldsindexen . Rényi-entropin är också viktig i kvantinformation och kan användas som ett mått på komplexitet . I Heisenberg-kedjan beräknades Rényi-entropin i termer av modulära funktioner beroende på . De leder också till ett spektrum av fraktala dimensionsexponenter . $XY$ $\alfa$

H α för vissa specifika värden av α

Vissa specialfall

För , Rényi-entropin beror inte på tillståndssannolikheterna (det degenererade fallet) och är lika med logaritmen för antalet tillstånd (logaritmen för mängdens potens ): $\alfa=0$ $X$

H_{0}(X)=\log n=\log |X|

Denna entropi kallas ibland för Hartley-entropin . Det används till exempel i formuleringen av Boltzmann-principen .

I gränsen vid , kan det visas, med hjälp av L'Hopitals regel , att det konvergerar till Shannon-entropin . Således kan Rényi-entropifamiljen utökas med den funktionella $\alpha \to 1$ ${\displaystyle H_{\alpha ))$

H_{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}H_{\alpha }(X)=H(X )=-\summa _{i=1}^{n}p_{i}\log p_{i}

Den kvadratiska entropin, ibland kallad kollisionsentropin, är Rényi-entropin med parametern : $\alpha =2$

H_{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operatörsnamn {Prob} \{x=y\}

där och är oberoende slumpvariabler jämnt fördelade på mängden med sannolikheter ( ). Kvadratisk entropi används inom fysik , signalbehandling , ekonomi . $x$ $y$ $X$ $pi}$ $i=1,...,n$

Det finns en gräns

H_{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }H_{\alpha }(X)=- \log \sup _{i}p_{i}

som kallas min-entropi eftersom det är det minsta värdet av . Denna entropi är också ett degenererat fall, eftersom dess värde endast bestäms av det mest sannolika tillståndet. ${\displaystyle H_{\alpha ))$

Ojämlikheter för olika värden av α

De två sista fallen är relaterade av . Å andra sidan kan Shannon-entropin vara godtyckligt hög för en distribution X med en fast min-entropi. ${\displaystyle H_{\infty }<H_{2}<2H_{\infty ))$ $H_{1}(X)$

{\displaystyle H_{2}<2H_{\infty ))

eftersom .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\ log \sup _{i}p_{i}

{\displaystyle H_{\infty }<H_{2))

, eftersom .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}

H_{1}\geq H_{2}

enligt Jensens ojämlikhet .

\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{ i}^{2}}

Avvikelser (avvikelser) av Renyi

Förutom entropifamiljen definierade Rényi också en rad divergensmått (divergenser) som generaliserade Kullback–Leibler-divergensen . Formlerna i detta avsnitt är skrivna i en allmän form - genom en logaritm i en godtycklig bas. Därför måste du förstå att varje given formel är en familj av ekvivalenta funktionaler definierade upp till en konstant (positiv) faktor.

Rényi-divergensen med parameter , där och , fördelning i förhållande till distribution (eller "avstånd från till ") definieras som $\alfa$ $\alfa >0$ $\alpha \neq 1$ $F$ $P$ $P$ $F$

D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{ \big\rangle}

eller (formellt, utan att ta hänsyn till normaliseringen av sannolikheter)

D_{\alpha }(P\|Q)=-H_{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}

{\displaystyle H_{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1))

Liksom Kullback–Leibler-divergensen av , är Rényi-divergensen icke-negativ för . $\alfa >0$

Vissa specialfall

För , Renyi-divergensen är inte definierad, men familjen av divergenser kan utökas med elementet $\alfa=0$

D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\| Q)=-\log \sum _{i=1}^{n}q_{i}\operatörsnamn {sgn} p_{i}

: minus logaritmen av summan av sannolikheter så att motsvarande .

q

p>0

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i))))$ : Bhattacharya-avstånd (minus logaritmen för Bhattacharya-koefficienten , bortse från en obetydlig faktor ). Denna diskrepans, upp till en monoton transformation , är ekvivalent med Hellinger-avståndet och det sfäriska Bhattacharya-Rao-avståndet , men till skillnad från dem, tillfredsställer det inte triangelolikheten och är därför inte ett mått i distributionsutrymmet. $2$

$D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\| Q)=D_{KL}(P\|Q)=\summa _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={ \Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }$ : Kullback-Leibler-divergens (lika med medelvärdet av fördelningen av logaritmen för sannolikhetskvoten ). $P$ $p/q$

$D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\ log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }$ : logaritm av det förväntade värdet över fördelningen av sannolikhetskvoten . Denna avvikelse, upp till en monoton transformation , är ekvivalent med chi-kvadratavståndet . $P$ $p/q$ $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2} }{q_{i}}}$

$D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;))\lim _{\alpha \to \infty }D_{\alpha }(P \|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : logaritm för det maximala förhållandet mellan sannolikheter . $p/q$

Finansiell (spel) tolkning

Överväg ett spel (lotteri) genom att gissa någon slumpmässig variabel. De officiella vinstsatserna är kända och publiceras som en sannolikhetsfördelning . Under tiden kanske den sanna sannolikhetsfördelningen inte sammanfaller med . Att känna till den sanna fördelningen gör att spelaren kan tjäna. Den förväntade kapitaltillväxten är exponentiell. Med tanke på att fördelningen är korrekt kan spelaren beräkna (hans) matematiska förväntningar på kapitalets exponentiella tillväxttakt (per spelomgång) [Soklakov2020 ]: $m$ $m$ $b$

Förväntad tillväxt

={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\ |m)\,,

där anger det relativa måttet på Arrow-Pratt riskaversion. $R$

Betecknar den sanna fördelningen (inte nödvändigtvis sammanfaller med spelarens åsikt ), den faktiska tillväxten som erhålls kan beräknas i gränsen för ett spel med flera spel [Soklakov2020 ]: $sid$ $b$

Faktisk höjd

={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\ frac {R-1}{R}}\,D_{1/R}(b\|m)\,.

Varför är fallet α = 1 speciell

Värdet på , som motsvarar Shannon-entropin och Kullback-Leibler-divergensen , är speciellt eftersom endast i detta fall kan man extrahera variablerna A och X från den gemensamma sannolikhetsfördelningen så att $\alpha=1$

{\displaystyle H(A,X)=H(A)+\mathbb {E} _{p(a)}\{H(X|a)\))

för entropi och

D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))

—

för divergens.

Det senare innebär att om vi letar efter en fördelning som minimerar avvikelserna för vissa underliggande mått , och vi får ny information som bara påverkar fördelningen , så kommer fördelningen inte att påverkas av ändringar av . $p(x,a)$ $m(x,a)$ $a$ $p(x|a)$ $m(x|a)$

I det allmänna fallet uppfyller Rényi divergenser med godtyckliga värden villkoren för icke-negativitet, kontinuitet och invarians under transformation av koordinater för slumpvariabler. En viktig egenskap hos varje Rényi-entropi och divergens är additivitet: när och är oberoende, följer det att $\alfa$ $A$ $X$ $p(A,X)=p(A)p(X)$

H_{\alpha }(A,X)=H_{\alpha }(A)+H_{\alpha }(X)

och

D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\ alfa }(P(X)\|Q(X))

De starkaste fallegenskaperna , som involverar definitionen av villkorad information och ömsesidig information från kommunikationsteori, kan vara mycket viktiga i andra applikationer, eller inte alls viktiga, beroende på kraven för dessa applikationer. $\alpha=1$

Renyi-korsentropi

Korsentropin för två fördelningar med sannolikheter och ( ) i det allmänna fallet kan definieras på olika sätt (beroende på tillämpningen), men måste uppfylla villkoret . En av definitionerna ( Shannon-korsettropin har en liknande egenskap ): $H_{\alpha }(P,Q)$ $pi}$ $q_{i}$ $i=1,...,n$ $H_{\alpha }(P,P)=H_{\alpha }(P)$

H_{\alpha }(P,Q)=H_{\alpha }(P)+D_{\alpha }(P,Q)

En annan definition som föreslås av A. Renyi kan erhållas från följande överväganden. Vi definierar det effektiva antalet systemtillstånd som det geometriska vägda medelvärdet av värden med vikter : ${\displaystyle 1/q_{i))$ $pi}$

{\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}

Detta innebär uttrycket för Shannons korsentropi

H(P,Q)=\log {\overline {n}}=-\summa _{i=1}^{n}p_{i}\log q_{i}

Genom att argumentera på ett liknande sätt definierar vi det effektiva antalet systemtillstånd som ett viktat effektlagsmedelvärde av värden med vikter och parameter : ${\displaystyle 1/q_{i))$ $pi}$ $1-\alfa$

{\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{ \frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha}}

Således har Renyi-korsentropin formen

H_{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n }p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{ \big\rangle}

Det är lätt att se att om sannolikhetsfördelningarna sammanfaller, så sammanfaller kors-Renyi-entropin med Rényi-entropin. $sid$ $q$
Också vid , konvergerar Renyi korsentropin till Shannon korsentropin . $\alpha \to 1$
Egenskapen , som är giltig för Shannon-korsentropin, gäller inte i det allmänna fallet. Kors-Renyi-entropin kan antingen vara större eller mindre än Renyi-entropin. $H(P,Q)=H(P)+D_{KL}(P\|Q)\geq H(P)$

Kontinuerlig skiftläge

För en formell generalisering av Shannon-entropin till fallet med en kontinuerlig fördelning används begreppet differentiell entropi . Rényi differentialentropin definieras på exakt samma sätt:

H_{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx

Rényi-divergensen i det kontinuerliga fallet är också en generalisering av Kullback–Leibler-divergensen och har formen

D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x) f^{1-\alpha }(x)}dx

Definitionen av korsentropi, föreslagen av A. Renyi, i det kontinuerliga fallet har formen

H_{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx

I formlerna ovan , och är några sannolikhetstäthetsfunktioner , definierade på intervallet , och det antas att , . $f(x)$ $g(x)$ $X\subseteq R$ $\alfa >0$ $\alpha \neq 1$

Litteratur

A. Renyi (1961). "Om mått på information och entropi" (PDF) . Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960 . pp. 547-561.
A. O. Hero, O. Michael och J. Gorman. Alfa-divergenser för klassificering, indexering och hämtning (engelska) : tidskrift. – 2002.
F. Nielsen och S. Boltz. Burbea-Rao och Bhattacharyya centroider (neopr.) . — 2010.
OA Rosso EEG-analys med wavelet-baserade informationsverktyg. Journal of Neuroscience Methods 153 (2006) 163–182
Rényi-entropi som ett mått på intrassling i kvantspinnkedja: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]

Soklakov, A.N. (2020). "Economics of Disagree-Financial Intuition for the Rényi Divergence" . Entropi . 22 (8) : 860. arXiv : 1811.08308 . DOI : 10.3390/e22080860 .