Avstånd Kullback-Leibler

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 3 december 2021; kontroller kräver 2 redigeringar .

Avstånd (divergens, divergens) Kullback-Leibler ( engelska Kullback-Leibler divergens ), RKL , informationsdiskrepans , särskiljande information , informationsvinst , relativ entropi ( engelska relativ entropi ) [1] - icke-negativ funktionell , som är ett asymmetriskt mått på avstånd från varandra vän av två sannolikhetsfördelningar [2] definierade på det gemensamma utrymmet för elementära händelser . Används ofta i informationsteori och matematisk statistik .

Definition och tolkningar

Kullback-Leibler-divergensen för en fördelning med avseende på (eller, relativt sett, "avståndet från till ") betecknas med . Det första argumentet för den funktionella ( distribution ) tolkas vanligtvis som en sann eller a priori postulerad distribution , det andra ( distribution ) som en antagen (verifierbar) sådan. Fördelningen fungerar ofta som en approximation av en fördelning . Värdet av funktionen kan förstås som mängden ignorerad distributionsinformation om den användes för att approximera . Detta mått på avstånd i informationsteori tolkas också som mängden informationsförlust när man ersätter den sanna fördelningen med distributionen . $F$ $P$ $P$ $F$ $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $F$ $F$ $P$ $P$ $F$ $P$ $P$ $F$

I det allmänna fallet, om det finns något mått för vilket det finns funktioner som är absolut kontinuerliga med avseende på och , då definieras Kullback-Leibler-divergensen av fördelningen med avseende på som $\mu$ $X$ $\mu$ $p={\frac {{\rm {d}}P}{{\rm {d}}\mu }}$ $q={\frac {{\rm {d}}Q}({\rm {d}}\mu }}$ $F$ $P$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}p\,\log {\frac {p}{q))\,{\rm {d))\mu

Basen för logaritmen i denna formel spelar ingen signifikant roll. Dess val tillåter fixering av en specifik typ av funktionell från en familj av likvärdiga funktionaler och är liktydigt med att välja måttenheten för Kullback-Leibler-avvikelsen (liknande situationen med att beräkna entropi ), så det är möjligt att använda en logaritm med valfri bas större än en. Med andra ord, det funktionella definieras upp till en positiv konstant faktor. De vanligaste är den naturliga logaritmen (av bekvämlighetsskäl), samt den binära logaritmen - för att mäta avvikelsen i bitar (används vanligtvis inom informationsteori ). Kullback-Leibler-divergensen är en dimensionslös storhet , oavsett dimensionen på de ursprungliga slumpvariablerna.

Även om Kullback-Leibler-avståndet (RKL) ofta betraktas som ett sätt att mäta avståndet mellan sannolikhetsfördelningar, är denna funktion inte ett mått i distributionsutrymmet, eftersom det inte uppfyller triangelolikheten och inte uppfyller axiomet för symmetri: . Emellertid ger dess oändliga form, särskilt dess hessiska , en metrisk tensor , som är känd som Fisher informationsmåttet . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-avståndet är ett specialfall av en mer allmän klass av avvikelser som kallas f - avvikelser , såväl som ett specialfall av klassen Bregman av avvikelser . RKL är den enda avvikelsen av sannolikheter som tillhör båda klasserna.

RKL introducerades ursprungligen av Solomon Kullback och Richard Leibler 1951 som en riktningsdivergens mellan två distributioner. Detta diskuteras i Kullbacks text Information Theory and Statistics. [ett]

Avståndet Kullback-Leibler tolkas ibland också som den informationsvinst som uppnås när den används istället för . Ibland används förvirrande namn för RKL relativ entropi relativ (betecknad ) eller korsentropi . $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $F$ $P$ $F$ $H(P\mid Q)$

Det finns olika konventioner om hur man läser notationen . Benämns ofta helt enkelt som diskrepansen eller avståndet mellan och , men detta förmedlar inte den grundläggande asymmetrin i förhållandet. Ibland säger de "avvikelse från (relativ till) " eller, relativt sett, "avstånd från till " (vanligtvis i samband med relativ entropi eller informationsvinst). I det här fallet tolkas fördelningen som sann. $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $F$ $P$ $F$ $F$ $P$ $F$

Särskilda definitioner och definitioner i termer av Radon–Nikodim-derivatet

För diskreta sannolikhetsfördelningar och med ett antal elementära händelser definieras Kullback-Leibler-divergensen för en fördelning med avseende på fördelningen (eller "avstånd från till ") [3] som: $P$ $F$ $n$ $F$ $P$ $P$ $F$

D_{KL}(P\parallel Q)=\sum \limits _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}

Det är med andra ord medelvärdet av den logaritmiska skillnaden mellan sannolikheterna och , där medelvärdet är hämtat från fördelningen . RKL definieras endast om , för alla ( absolut kontinuitet ). Närhelst bidraget från den -e termen tolkas som noll eftersom . $sid$ $q$ $P$ $q_{i}=0\Rightarrow p_{i}=0$ $i=1,...,n$ $p_{i}=0$ $i$ $\lim _{x\to 0}x\log(x)=0$

För -dimensionella absolut kontinuerliga fördelningar och Kullback-Leibler-avståndet ges av uttrycket [4] $k$ $P$ $F$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\,p(x)\log {\frac {p(x)}{q(x)))\, {\rm {d}}x

var och är fördelningen densitet funktioner och , respektive, definieras på intervallet . $p(x)$ $q(x)$ $P$ $F$ ${\displaystyle X\subseteq R^{k))$

Mer generellt, om och är sannolikhetsmått på uppsättningen , och är absolut kontinuerliga med avseende på , så definieras RKL från till som: $P$ $F$ $X$ $P$ $F$ $P$ $F$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log {\frac ({\rm {d))P}({\rm {d))Q)) \,{\rm {d}}P

var är Radon-Nikodym-derivatet med avseende på , och förutsatt att uttrycket till höger finns. På motsvarande sätt kan detta skrivas som ${\frac {{\rm {d}}P}{{\rm {d}}Q}}$ $P$ $F$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log \!\left({\frac ({\rm {d))P}({\rm {d }}Q}}\right){\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q

Det bör noteras att användningen av Radon-Nikodim-derivatet fungerar som ett formellt sätt att skriva dessa uttryck, men avslöjar inte deras meningsfulla betydelse.

Kullback-Leibler divergensfunktion är dimensionslös, men dess värden kan ha olika enheter. Så, om logaritmerna i dessa formler tas i bas 2, så mäts divergensen (det är också information ur informationsteorinsynpunkt) i bitar ; om baserat på e (med en naturlig bas), så mäts divergensen (informationen) i nats . De flesta formler som innehåller RKL behåller sin betydelse oavsett logaritmens bas.

Karakterisering

Arthur Hobson bevisade att Kullback-Leibler-avståndet är det enda måttet på skillnaden mellan sannolikhetsfördelningar som tillfredsställer några önskvärda egenskaper som är kanoniska förlängningar till de som förekommer i vanliga karakteriseringar av entropi . [5] Därför är ömsesidig information det enda måttet på ömsesidigt beroende som är föremål för vissa relaterade villkor, eftersom det kan definieras i termer av RCL .

Det finns också en Bayesiansk karaktärisering av avståndet Kullback-Leibler. [6]

Motivation

Inom informationsteorin säger Kraft-McMillan-satsen att varje direkt avkodningsbart kodningsschema för att koda ett meddelande för att identifiera ett enda värde kan ses som representerande en implicit sannolikhetsfördelning över , där är kodlängden för , i bitar. Därför kan RCL tolkas som den förväntade extra meddelandelängden från nollmärket som ska sändas om en kod som är optimal för en given (felaktig) distribution av Q används, jämfört med att använda en kod baserad på den sanna fördelningen av P . $x_{i}\subset X$ $q(x_{i})=2^{-I_{i))$ $X$ $I_i$ $x_{i}$

${\textstyle {\begin{matrix}D_{\mathrm {KL} }(P\parallel Q)=-\summa _{x}p(x)\log q(x)+\summa _{x}p( x)\log p(x)=H(P,Q)-H(P)\,\!\end{matris}}}$ , där är korsentropin för P och Q, är entropin för P. $H(P,Q)$ $H(P)$

Observera också att det finns ett samband mellan RKL och "hastighetsfunktionen" i teorin om stora avvikelser . [7] [8]

Egenskaper

Kullback-Leibler-avståndet är alltid icke-negativt, ett resultat som är känt som Gibbs ojämlikhet , nästan överallt . Entropin H(P) specificerar alltså minimivärdet för korsentropin H(P,Q), det förväntade antalet extra bitar som krävs när en kod baserad på Q istället för P används. måste skickas för att bestämma värdet på , om en kod används som matchar sannolikhetsfördelningen Q snarare än den "sanna" fördelningen P. $D_{\mathrm {KL} }(P\parallel Q)\geq 0,$ $D_{KL}(P\parallel Q)=0\iff P=Q$ $x\subset X$
Avståndet Kullback-Leibler är inte symmetriskt: . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-avståndet förblir strikt definierat för kontinuerliga distributioner och är dessutom invariant vid förändring av variabler. Till exempel, om variabeln x ersätts med variabeln y(x), då, sedan och , kan RKL skrivas om: $P(x)dx=P(y)dy$ $Q(x)dx=Q(y)$

${\textstil D_{\mathrm {KL} }(P\parallel Q)=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x) )}{Q(x)}}\right)\,dx=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)dy /dx}{Q(y)dy/dx}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P (y)}{Q(y)}}\right)\,dy}$ ,

var och . Trots antagandet att omvandlingen var kontinuerlig är detta inte nödvändigt i detta fall. Detta visar också att RKL anger ett värde som överensstämmer med dimensionen , eftersom om x är en dimensionsvariabel, så har P(x) och Q(x) också en dimension, eftersom det är en dimensionslös storhet. Uttrycket under logaritmen förblir dock dimensionslöst, som det borde. Därför kan Kullback-Leibler-avståndet på sätt och vis betraktas som en mer fundamental storhet än vissa andra egenskaper inom informationsteorin [9] (som självinformation eller Shannon-entropi ), som kan bli odefinierad eller negativ för icke- diskreta sannolikheter. $y_{a}=y(x_{a})$ $y_{b}=y(x_{b})$ $P(x)dx$

RKL är additiv för oberoende distributioner på ungefär samma sätt som Shannon-entropin. If är oberoende distributioner med gemensam distribution och på liknande sätt , då $P_{1},P_{2}$ $P(x,y)=P_{1}(x)P_{2}(y)$ $Q(x,y)=Q_{1}(x)Q_{2}(y)$ $D_{\mathrm {KL} }(P\parallel Q)=D_{\mathrm {KL} }(P_{1}\parallel Q_{1})+D_{\mathrm {KL} }(P_{ 2}\parallell Q_{2}).$

Kullback-Leibler-avståndet för den multivariata normalfördelningen

Låt oss säga att vi har två multivariata normalfördelningar , med medelvärde och med (reversibla) kovariansmatriser . Om två distributioner har samma dimension k, är RCL mellan fördelningarna som följer [10] : ${\displaystyle \mu _{0},\mu _{1))$ $\Sigma _{0},\Sigma _{1}$

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left(\mathrm { tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top } \Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\ln \left({\det \Sigma _{1} \over \det \Sigma _{ 0}}\right)\right).$

Logaritmen i den sista termen måste tas till basen e, eftersom alla utom den sista termen är naturliga logaritmer av uttryck som antingen är någon av faktorerna i densitetsfunktionen eller på annat sätt förekommer naturligt. Därför ger ekvationen ett resultat mätt i nats . Om vi delar detta uttryck helt med log e 2 får vi fördelningen i bitar.

Relation till mätvärden

Man skulle kunna kalla RCL för ett " mått " i utrymmet för sannolikhetsfördelningar, men detta skulle vara felaktigt, eftersom det inte är symmetriskt och inte uppfyller triangelolikheten . Ändå, eftersom det är ett preliminärt mått , genererar det en topologi inom utrymmet för sannolikhetsfördelningar . Mer specifikt, om är en sekvens av distributioner sådan att , då säger vi att . Av Pinskers ojämlikhet följer att — , där det senare behövs för konvergens i variation . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ ${\displaystyle \{P_{1},P_{2},\cdots \))$ $\lim _{n\rightarrow \infty }D_{\mathrm {KL} }(P_{n}\parallel Q)=0$ $P_{n}{\xrightarrow {D}}Q$ $P_{n}{\xrightarrow {\mathrm {D} }}P\Rightarrow P_{n}{\xrightarrow {\mathrm {TV} }}P$

Enligt Alfred Renyi (1970, 1961). [11] [12]

Fishers informationsmått

Emellertid är avståndet Kullback-Leibler direkt relaterat till måttet, nämligen Fisher informationsmåttet . Anta att vi har sannolikhetsfördelningar P och Q, som båda parametriseras av samma (eventuellt multivariata) parameter . Betrakta nu två nära värden för och , så att parametern endast skiljer sig med ett litet antal från parametern . När vi expanderar i en Taylor-serie upp till första ordningen har vi (med Einstein-konventionen ) $\theta$ $P=P(\theta )$ $Q=P(\theta _{0})$ $\theta$ $\theta _{0}$

$P(\theta )=P(\theta _{0})+\Delta \theta ^{j}P_{j}(\theta _{0})+\cdots$ ,

där är en liten förändring i den j:te riktningen, och är motsvarande förändringshastighet i sannolikhetsfördelningen. Eftersom RCL har ett absolut minimum lika med 0 vid P=Q, det vill säga, RCL har den andra ordningen av litenhet vad gäller parametrarna . Mer formellt, som för vilket minimum som helst, försvinner den första derivatan av divergensen ${\displaystyle \Delta \theta ^{j}=(\theta -\theta _{0})^{j))$ $\theta$ $P_{j}(\theta _{0})={\frac {\partial P}{\partial \theta ^{j))}(\theta _{0})$ $\theta =\theta _{0}$ ${\displaystyle \Delta \theta ^{j))$ $\left.{\frac {\partial }{\partial \theta ^{j}}}\right|_{\theta =\theta _{0}}D_{KL}(P(\theta)\ parallell P(\theta _{0}))=0,$

och Taylor-expansionen börjar från den andra ordningen av litenhet

$D_{\mathrm {KL} }(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2))\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\cdots$ ,

där hessian måste vara icke-negativ. Om det tillåts variera (och utelämna underindexet 0), definierar hessian ett (eventuellt degenererat) Riemann-mått i parameterutrymmet , kallat Fisher-informationsmåttet. $g_{jk}(\theta )$ $\theta _{0}$ $g_{jk}(\theta )$ $\theta$

Relation till andra dimensioner av informationsteori

Många andra informationsteoretiska kvantiteter kan tolkas som att man tillämpar Kullback-Leibler-avståndet på särskilda fall.

Egenvärdet är RCL för sannolikhetsfördelningen från Kronecker-symbolen , som representerar säkerheten att - det vill säga antalet extra bitar som måste sändas för att bestämma , om bara sannolikhetsfördelningen är tillgänglig för mottagaren, inte det faktum att . $D_{\mathrm {KL} }(\delta _{im}\parallel \{p_{i}\})$ $P(i)$ $i=m$ $i$ $P(i)$ $i=m$

Ömsesidig information -

${\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\parallel P(X)P(Y))\\&=\operatörsnamn { E} _{X}\{D_{\mathrm {KL} }(P(Y\midt X)\parallell P(Y))\}\\&=\operatörsnamn {E} _{Y}\{D_{ \mathrm {KL} }(P(X\mid Y)\parallell P(X))\}\end{aligned}}$

är RCL av produkten av två marginella sannolikhetsfördelningar från den gemensamma sannolikhetsfördelningen - det vill säga det förväntade antalet extra bitar som måste skickas för att bestämma och om kodas med endast deras marginella distribution istället för den gemensamma fördelningen. På motsvarande sätt, om den gemensamma sannolikheten är känd, är det det förväntade antalet extra bitar som ska skickas i genomsnitt för att avgöra om värdet inte redan är känt för mottagaren. $P(X)P(Y)$ $P(X,Y)$ $X$ $Y$ $P(X,Y)$ $Y$ $X$

Entropy of Shannon -

${\begin{aligned}\mathrm {H} (X)&=\operatörsnamn {E} [\operatörsnamn {I} _{X}(x)]\\&=\log(N)-D_{ \text{KL}}(P(X)\parallell P_{U}(X))\end{aligned}}$

är antalet bitar som måste sändas för att identifiera från lika sannolika utfall, detta är mindre än den enhetliga fördelningen RCL från den sanna fördelningen - det vill säga mindre än det förväntade antalet lagrade bitar som måste skickas om värdet är kodat enligt till den enhetliga fördelningen och inte den sanna fördelningen . $X$ $N$ $P_{U}(X)$ $P(X)$ $X$ $P_{U}(X)$ $P(X)$

Villkorlig entropi -

${\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL))(P(X,Y)\parallell P_{U}( X)P(Y))\\&=\log(N)-D_{\text{KL}}(P(X,Y)\parallell P(X)P(Y))-D_{\text{KL }}(P(X)\parallell P_{U}(X))\\&=\mathrm {H} (X)-\operatörsnamn {I} (X;Y)\\&=\log(N)- \operatörsnamn {E} _{Y}{\bigl [}D_{\text{KL}}(P(X\mid Y)\parallel P_{U}(X)){\bigr ]}\end{aligned} }$

är antalet bitar som måste skickas för att identifiera från lika sannolika utfall, detta är mindre än RCL för produkten av distributionerna från den sanna gemensamma distributionen - det vill säga mindre än det förväntade antalet lagrade bitar som måste skickas om värdet är kodat enligt den enhetliga fördelningen och inte med villkorad datadistribution och . $X$ $N$ $P_{U}(X)$ $P(X,Y)$ $X$ $P_{U}(X)$ $P(X\mid Y)$ $X$ $Y$

Korsentropin mellan två sannolikhetsfördelningar mäter det genomsnittliga antalet bitar som behövs för att identifiera en händelse från en uppsättning möjliga händelser om ett kodningsschema baserat på en given sannolikhetsfördelning används snarare än den "sanna" fördelningen . Korsentropin för två distributioner och över samma sannolikhetsutrymme definieras enligt följande: $F$ $P$ $P$ $F$ $H(p,q)=\operatörsnamn {E} _{p}[-\log q]=H(p)+D_{\mathrm {KL} }(p\parallell q).$

Kullback-Leibler avstånd och Bayesiansk modifiering

I Bayesiansk statistik kan Kullback-Leibler-avståndet användas som ett mått på informationsvinsten när man går från en före till en posteriori sannolikhetsfördelning. Om något nytt faktum upptäcks kan det användas för att modifiera (a priori) sannolikhetsfördelningen till en ny (posterior) sannolikhetsfördelning med hjälp av Bayes sats : $Y=y$ $p(x\mid I)$ $X$ $p(x\midt y,I)$

p(x\midt y,I)={\frac {p(y\midt x,I)p(x\midt I)}{p(y\midt I)))

Denna fördelning har en ny entropi

H{\big (}p(\cdot \mid y,I){\big )}=-\summa _{x}p(x\mid y,I)\log p(x\mid y, jag),

som kan vara mindre eller mer än den ursprungliga entropin . Men i termer av den nya sannolikhetsfördelningen kan det uppskattas att användning av den ursprungliga koden baserad på istället för den nya koden baserad på skulle lägga till det förväntade antalet bitar till meddelandets längd. Detta är alltså mängden användbar information, eller informationsvinst, om , som erhölls genom att hitta att . ${\displaystyle H{\big (}p(\cdot \mid I){\big )))$ $p(x\mid I)$ $p(x\midt y,I)$ $D_{\mathrm {KL} }{\big (}p(\cdot \mid y,I)\mid p(\cdot \mid I){\big )}=\summa _{x}p( x\miden y,I)\log {\frac {p(x\mitten y,I)}{p(x\mitten I)))$ $X$ $Y=y$

Om ytterligare en databit senare kommer, , kan sannolikhetsfördelningen för x uppdateras ytterligare för att ge en ny bästa gissning , . Om vi omprövar informationsvinsten att använda , och inte , visar det sig att den kan vara mer eller mindre än man tidigare trott: , kan vara eller , än , och därför uppfyller den totala informationsvinsten inte triangelolikheten: $Y_{2}=y_{2}$ $p(x\midt y_{1},y_{2},I)$ $p(x\midt y_{1},I)$ $p(x\mid I)$ $\sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)} {p(x\mid I)}}$ $\leq$ $>$ $\displaystyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I) }}$

${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid I){\big )))$ , kan vara större än, mindre än eller lika med $D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid y_{1},I){ \big )}+D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},I)\parallel p(x\mid I){\big )}.$

Allt som kan sägas är att i genomsnitt, om man tar genomsnittet med , kommer båda sidor att ge genomsnittet. $p(y_{2}\mid y_{1},x,I)$

Bayes experimentella modell

Ett vanligt mål i en experimentell Bayesiansk modell är att maximera den förväntade RCL mellan föregående och posteriora distributioner. [13] När baksidan approximeras till en Gaussisk fördelning kallas modellen som maximerar den förväntade RCL för Bayesian d-optimal .

Särskiljande information

Kullback-Leibler-avståndet kan också tolkas som den förväntade särskiljande informationen för över : medelinformation per prov för skillnaden till förmån för hypotesen , mot hypotesen när hypotesen är sann [14] . Ett annat namn för denna kvantitet, givet av Irving John Good , är den förväntade bevismassan för över förväntad från varje prov. $D_{\mathrm {KL} }(p(x\mid H_{1})\parallell p(x\midt H_{0}))$ $H_{1}$ $H_{0}$ $H_{1}$ $H_{0}$ $H_{1}$ $H_{1}$ $H_{0}$

Den förväntade bevisvikten för över är inte densamma som den förväntade informationsvinsten, till exempel för sannolikhetsfördelningen p(H) för hypotesen, . $H_{1}$ $H_{0}$ $D_{\mathrm {KL} }(p(x\mid H_{1})\parallell p(x\mid H_{0}))\neq IG=D_{\mathrm {KL} }(p( H\mid x)\parallell p(H\mid I)).$

Endera av de två kvantiteterna kan användas som en hjälpfunktion i den Bayesianska experimentformen för att välja den optimala nästa fråga för undersökning, men i allmänhet kommer de snarare att leda till olika experimentella strategier.

På entropiskalan för informationsförstärkning är det mycket liten skillnad mellan nästan säkerhet och full säkerhet - nästan säkerhetkodning kommer sannolikt inte att kräva fler bitar än fullsäkerhetskodning. Å andra sidan antyds vikten av bevis i logitskalan , och skillnaden mellan de två är enorm, nästan oändlig. Detta kan återspegla skillnaden mellan att vara nästan säker (på en probabilistisk nivå), säg att Riemannhypotesen är sann, och att vara helt säker på att den är sann eftersom det finns ett matematiskt bevis. Två olika förlustfunktionsskalor för osäkerhet är båda användbara, beroende på hur väl var och en speglar de särskilda omständigheterna för det problem som övervägs i problemet.

Principen om minsta möjliga särskiljande information

Idén om RKL som diskriminerande information ledde till att Kullback föreslog principen om minsta diskrimineringsinformation (MDI ) : givet nya fakta, bör en ny distribution väljas från de som är svåra att skilja från den ursprungliga distributionen ; eftersom ny data genererar så lite informationsvinst som möjligt. $f$ ${\displaystyle f_{0))$ $D_{KL}(f\parallel f_{0})$

Till exempel, om vi har en tidigare fördelning över och , och sedan studera den sanna fördelningen av och . RCL mellan den nya gemensamma distributionen för och , , och den gamla tidigare distributionen skulle vara: $p(x,a)$ $x$ $a$ $a$ $u(a)$ $x$ $a$ $q(x\mid a)u(a)$ $D_{\mathrm {KL} }(q(x\mid a)u(a)\parallel p(x,a))=\operatörsnamn {E} _{u(a)}\{D_{\ mathrm {KL} }(q(x\mid a)\parallell p(x\mid a))\}+D_{\mathrm {KL} }(u(a)\parallell p(a)),$

det vill säga summan av RKL för den tidigare fördelningen för från den uppdaterade fördelningen plus förväntat värde (den använda sannolikhetsfördelningen ) av RKL för den tidigare villkorliga fördelningen från den nya fördelningen . (Observera att det ofta senare förväntade värdet kallas villkorlig RKL (eller villkorlig relativ entropi) och betecknas [15] . Detta minimerar om över det totala innehållet . Och vi märker att detta resultat förenar Bayes teorem om den nya fördelningen faktiskt är en funktion som med säkerhet representerar , som har ett särskilt värde. $p(a)$ $a$ $u(a)$ $u(a)$ $p(x\mid a)$ $p(x\mid a)$ $D_{KL}(q(x\mid a)\parallel p(x\mid a))$ $q(x\mid a)=p(x\mid a)$ $u(a)$ $u(a)$ $a$

Minimal särskiljande information kan ses som en förlängning av Laplaces likgiltighetsprincip (även känd som principen om otillräckligt skäl) och Jaynes princip om maximal entropi . I synnerhet är det en naturlig förlängning av principen om maximal entropi från en diskret till en kontinuerlig fördelning, för vilken Shannon-entropin inte blir särskilt bekväm (se differentiell entropi ), men RCL fortsätter att vara lika relevant.

I ingenjörslitteraturen hänvisas ibland till MDI som minimi -korsentropiprincipen . Att minimera RCL från med avseende på är likvärdigt med att minimera korsentropin och , vilket är lämpligt om man försöker välja ett exakt ungefärligt värde upp till . $m$ $sid$ $m$ $sid$ $m$ $H(p,m)=H(p)+D_{\mathrm {KL} }(p\parallell m),$ $sid$

Användningsexempel

Låt, baserat på ett urval från fördelningen av någon slumpvariabel, det krävs för att återställa densiteten av dess fördelning, givet i form av en parametrisk familj , där är argumentet för funktionen, är en okänd parameter. Parameteruppskattningen kan hittas som en lösning på problemet med att minimera Kullback-Leibler-avståndet mellan densiteten och den empiriska distributionstätheten som anses "sant", ${\displaystyle x_{1},x_{2},\dotsc ,x_{n))$ $f(x,\theta )$ $x\in X\subseteq R$ $\theta$ $\theta$ $f(x,\theta )$

{\hat {f}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {\delta } (x-x_{i})

var är Dirac-funktionen : $\delta$

{\hat {\theta }}=\operatörsnamn {arg} {\underset {\theta }{\operatörsnamn {min} }}D_{KL}({\hat {f}}(x),f(x,\ theta ))=\operatörsnamn {arg} {\underset {\theta }{\operatörsnamn {max} }}\int \limits _{X}^{}{\hat {f}}(x)\ln f(x ,\theta )\,dx=\operatörsnamn {arg} {\underset {\theta }{\operatörsnamn {max} }}\summa \limits _{i=1}^{n}\mathbf {\ln } f( x_{i},\theta )

Det är lätt att se att lösningen av detta problem leder till en maximal sannolikhetsuppskattning för parametern . Om den faktiska distributionstätheten för den slumpmässiga variabeln inte tillhör familjen kallas parameteruppskattningen som hittas quasi-likelihood och ger den bästa approximationen av den faktiska fördelningen som representeras av urvalet bland distributioner med tätheter i termer av Kullback-Leibler-avståndet . $\theta$ $f(x,\theta )$ ${\hat {\theta ))$ $\theta$ $f(x,\theta )$

Anteckningar

↑ 1 2 Kullback S. Informationsteori och statistik. — John Wiley & Sons, 1959.
↑ Kullback S., Leibler R. A. Om information och tillräcklighet // The Annals of Mathematical Statistics. 1951.V.22. Nr 1. S. 79-86.
↑ MacKay, David JC Informationsteori, slutlednings- och inlärningsalgoritmer. - Första upplagan.. - Cambridge University Press, 2003. - C. p. 34.
↑ Biskop C. Mönsterigenkänning och maskininlärning. - 2006. - S. p. 55.
↑ Hobson, Arthur. Begrepp inom statistisk mekanik. Gordon och Breach. - New York, 1971. - ISBN 0677032404 .
↑ Baez, John; Fritz, Tobias. Teori och tillämpning av kategorier 29.—C. "En Bayesiansk karakterisering av relativ entropi", sid. 421–456..
↑ I.N. Sanov. Om sannolikheten för stora avvikelser av stokastiska variabler. - 1957. - S. 11-44.
↑ Novak SY Extreme Value Methods with Applications to Finance kap. 14.5. — Chapman & Hall. - 2011. - ISBN 978-1-4398-3574-6 .
↑ Relativ entropi . videolectures.net. Hämtad 14 juni 2016. Arkiverad från originalet 25 december 2018. (obestämd)
↑ Duchi J. "Derivationer för linjär algebra och optimering". - S. 13 .
↑ Rényi A. Sannolikhetsteori. - 1970. - ISBN 0-486-45867-9 ..
↑ Rényi, A. "Om mått på entropi och information". - 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960, 1961. - s. 547–561.
↑ Chaloner, K.; Verdinelli, I. "Bayesiansk experimentell design: en recension". — Statistical Science 10, 1995. — 273–304 s.
↑ Press, W.H.; Teukolsky, SA; Vetterling, WT; Flannery, B. P. (2007). "Avsnitt 14.7.2. Avstånd Kullback–Leibler". Numeriska recept: The Art of Scientific Computing (3:e upplagan). Cambridge University Press. ISBN 978-0-521-88068-8 . .
↑ Thomas M. Cover, Joy A. Thomas. Element av informationsteori . — John Wiley & Sons. - 1991. - S. s.22.