Entropi maximal princip

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 8 december 2015; kontroller kräver 32 redigeringar .

Principen för maximal entropi säger att de mest karakteristiska sannolikhetsfördelningarna av tillstånden i en osäker miljö är de som maximerar det valda måttet på osäkerhet för en given information om miljöns "beteende". För första gången användes ett sådant tillvägagångssätt av D.Gibbs för att hitta extrema fördelningsfunktioner hos fysiska ensembler av partiklar . Därefter föreslog E. Janes en formalism för att återställa okända lagar för distribution av slumpvariabler i närvaro av restriktioner från villkoren för maximum av Shannons entropi .

Historik

Betrakta en diskret slumpvariabel som kan ta värden med sannolikheter . Sannolikheterna är inte kända. Men den matematiska förväntan på någon funktion hos en given slumpvariabel är känd: . Baserat på denna information, vad är det förväntade värdet av funktionen ? $X$ $x_{1},...,x_{n}$ ${\displaystyle p_{1},...,p_{n))$ ${\displaystyle M[f(x)]=\summa \limits _{i=1}^{n}{f({x_{i))){p_{i))))$ $g(x)$

Vid första anblicken verkar uppgiften olöslig, eftersom det är nödvändigt att veta sannolikhetsfördelningen i förväg , och den initiala informationen räcker inte för att hitta alla sannolikheter . Förväntningsekvationen för funktionen ger tillsammans med normaliseringsekvationen endast två av de ekvationer som är nödvändiga för att sammanställa ett ekvationssystem. $X$ ${\displaystyle p_{i))$ $f(x)$ $\sum \limits _{i=1}^{n}{p_{i}}=1$ $n$

Detta problem med att bestämma sannolikhetsfördelningen i de fall det finns liten eller ingen information om en slumpvariabel är lika gammal som sannolikhetsteorin i sig. Laplaces princip om otillräckligt skäl var ett försök att föreslå ett sådant urvalskriterium: det är att två händelser anses vara lika sannolika om det inte finns anledning att tro något annat.

Det bör noteras [1] att kopplingen mellan statistik och den axiomatiska sannolikhetsteorin har 2 olika tillvägagångssätt. Frekvensmetoden (frekvensistisk) betraktar sannolikhet som en frekvensgräns , sannolikhet är något som beskriver egenskaperna hos oändligt stora ensembler av binära händelser. Den bayesianska metoden generaliserar den frekventistiska metoden genom att den postulerar en ny betydelse av sannolikhet som en kvantitativ egenskap hos alla binära experiment. Detta ger samma resultat vid beskrivning av ensembler som det frekventistiska tillvägagångssättet, men tillåter oss att ge kvantitativa uppskattningar för binära experiment, vars resultat inte är känt i förväg, och förbättra uppskattningarna när ny information om resultaten blir tillgänglig; Allt detta är meningslöst i den frekventistiska förståelsen.

Laplace , till exempel, trodde att det inte finns något slumpmässigt i världen överhuvudtaget, och om det finns information om orsakerna till händelserna kan konsekvenserna (händelserna i sig) förutsägas med 100% noggrannhet ( Laplacian determinism ). Detta förhållningssätt till sannolikhet utvecklades oberoende av fysikern D. Gibbs (i Gibbs statistiska mekanik ) och matematikern K. Shannon (i utvecklingen av informationsteorin ). Båda fick ett värde som uttrycker ett mått på osäkerhet om utfallen av en händelse (eller, med andra ord, ett mått på osäkerheten i en sannolikhetsfördelning), som kallades entropi och beräknades med liknande formler. Denna likhet uppmärksammades ytterligare av fysikern E. T. Janes i två artiklar 1957 [1] [2] .

Strängt taget var Gibbs inte en pionjär i att utveckla konceptet fysisk entropi. Själva begreppet entropi föreslogs av fysikern R. Clausius , och sedan utvecklades det av fysikern L. Boltzmann , och var och en av dem fick sin egen entropifunktion. Clausius arbetade med termodynamiska begrepp, medan Boltzmann utvecklade molekylär fysik och statistisk mekanik.

På samma sätt baserade Shannon sitt arbete på resultaten av G. Nyquist och R. Hartley , som lade grunden till informationsteorin.

Funktionalitet

Antag att en händelse kan eller inte kan inträffa i ett slumpmässigt experiment. Om händelsen inte inträffade kommer vi att anta att den motsatta händelsen inträffade . Således händelserna och bildar en komplett grupp av händelser, vilket innebär att dessa är inkompatibla händelser, och deras sannolikheter i summan är lika med en: . $A$ $A$ ${\overline {A}}$ $A$ ${\overline {A}}$ $P(A)+P({\overline {A)))=1$

Om ingenting är känt om händelsen alls, så är det enligt den subjektiva synen på sannolikhet nödvändigt att acceptera att händelserna och är lika sannolika: . $A$ $A$ ${\overline {A}}$ $P(A)=P({\överlinje {A)))=0,5$

När du får lite information kommer den ena sannolikheten att uppväga den andra, och osäkerheten kommer att börja minska. I slutändan, när fullständig information erhålls, visar det sig att , (eller vice versa: , ). Osäkerheten sjunker då till noll. $P(A)=1$ $P({\overline {A}})=0$ $P(A)=0$ $P({\overline {A}})=1$

Det skulle vara trevligt att komma på en funktion av dessa sannolikheter som skulle nå ett maximum med fullständig osäkerhet och försvinna med fullständig säkerhet. Och ju mer en sannolikhet uppväger den andra, desto mer "asymmetri" mellan dem, desto mindre värde tar denna funktion.

Vi kallar denna funktion (funktionell) fördelningens entropi eller fördelningens osäkerhet. Strängt taget är entropi bara ett mått på osäkerhet, inte osäkerheten i sig. Men allt här är detsamma som i fallet med sannolikheter: sannolikhet är både möjligheten till en händelse och måttet på denna möjlighet. I princip är det korrekt att säga si och så.

Som en sådan funktion kan man överväga till exempel produkten av sannolikheterna för händelser och . Beteckna och överväga funktionen . Eftersom en inverterad parabel passerar genom origo och punkt , når den sitt maximum vid . $A$ ${\overline {A}}$ $P(A)=p$ $P({\overline {A)))=1-p$ $H(p)=p(1-p)$ $H(p)$ $(1;0)$ $p=0,5$

Vidare, när "asymmetrin" av sannolikheter ökar, minskar den gradvis tills den slutligen blir noll vid eller vid . $H(p)$ $p=1$ $p=0$

Det bör noteras att på grund av symmetri , eftersom det inte spelar någon roll vilken av de två händelserna som har en sannolikhet och vilken som har en sannolikhet . $H(p=0,4)=H(p=0,6)=0,24$ $0.4$ $0.6$

Å andra sidan (0,21<0,24) eftersom sannolikheterna i detta andra fall är mer "asymmetriska" än i det första fallet. $H(p=0,3)<H(p=0,6)$

Observera att funktionen , där är någon koefficient, också klarar av de "tullar" som åläggs den: den når ett maximum vid och ett minimum (noll) vid och . Detta innebär att önskad funktion kan bestämmas upp till en viss koefficient. $H_{1}(p)=CH(p)=Cp(1-p)$ $C>0$ $p=0,5$ $p=1$ $p=0$

Låt nu hela gruppen av händelser bildas av tre händelser. Det är möjligt i detta fall att betrakta produkten av deras sannolikheter som entropi, och det kan till och med bevisas att denna produkt når sitt maximum när alla sannolikheter är lika med varandra: . $H_{1}(p,q)=pq(1-pq)$ $p=q=1-pq=1/3$

Här finns det dock ett problem. Den maximala entropin för tre händelser är - vilket är mindre än den maximala entropin för två händelser, vilket är . Och jag skulle vilja att det var tvärtom: ju fler händelser, desto större osäkerhet. ${\frac {1}{3}}{\frac {1}{3}}{\frac {1}{3}}={\frac {1}{27}}$ ${\frac {1}{2}}{\frac {1}{2}}={\frac {1}{4}}$

Ett annat, mer allvarligt problem är att om sannolikheten för minst en händelse är noll, så blir hela produkten av sannolikheter automatiskt noll. Det vill säga, osäkerheten försvinner, blir lika med noll enligt en sådan funktion, även om den faktiskt inte är det. Osäkerheten bör försvinna när alla utom en av sannolikheterna är lika med noll, och denna enda sannolikhet är lika med en. Icke desto mindre, för två resultat, kan en sådan funktion användas ganska bra. Men för två utfall och inga funktionaliteter behövs: om förväntningen på fördelningen av någon slumpvariabel är känd , ger förväntansekvationen, tillsammans med normaliseringsvillkoret, bara ett system av två ekvationer, från vilka och finns unikt . Om inget alls är känt om fördelningen, så likställs sannolikheterna med varandra, och detta kan göras utan några funktionaliteter. $X$ $p_{1}$ ${\displaystyle p_{2))$

Shannons entropi

Claude Shannon ställde tre villkor för den önskade funktionen [3] : $H(p_{1},...,p_{n})$

$H(p_{1},...,p_{n})$ måste vara en kontinuerlig funktion av variablerna ; ${\displaystyle p_{i))$
om alla sannolikheter är lika, då är funktionen en monotont ökande funktion av . Med andra ord, ; ${\displaystyle p_{i))$ $A(n)=H({\frac {1}{n)),...,{\frac {1}{n)))\$ $n$ $H\underbrace {({\frac {1}{n)),...,{\frac {1}{n)))} _{n}<H\underbrace {({\frac {1 }{n+1}},...,{\frac {1}{n+1}})} _{n+1}$
ackordslagstiftningen. Istället för att ange sannolikheterna för händelser direkt, kan du gruppera den första av dem som en händelse med motsvarande sannolikhet . Resten är som den andra händelsen med sannolikhet . Då måste funktionen följa villkoret ; $k$ ${\displaystyle \omega _{1}=p_{1}+...+p_{k))$ ${\displaystyle \omega _{2}=p_{k+1}+...+p_{n))$ $H$ $H({p_{1}},...,{p_{n}})=H({\omega _{1}},{\omega _{2}})+{\omega _{ 1}}H\left({{\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}} \right)+{\omega _{2}}H\left({{\frac {p_{k+1}}{\omega _{2}}},...,{\frac {p_{n} }{\omega _{2}}}}\right)$

Sammansättningslagen kräver särskild hänsyn, eftersom det är på grundval av den som funktionens form formas vidare . Tanken är följande. $H$

Slumpexperimentet är uppdelat i två på varandra följande steg. I det första steget väljs den första (före ) eller den andra (efter ) delen av utfallen med sannolikheter och . I det andra steget väljs själva resultatet från den valda delen av resultaten. I det här fallet är resultatet från den valda delen redan valt med villkorade sannolikheter , det vill säga förutsatt att denna del (i det här fallet den första delen) väljs. Shannon själv säger att om valet faller in i två steg måste den initiala entropin vara en viktad summa av de individuella entropierna, det vill säga de villkorliga entropierna. ${\displaystyle \omega _{1))$ $\omega _{2}$ $k$ $k$ ${\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}$

Den allmänna innebörden är att om ett slumpmässigt val görs i det första steget, så tar sannolikheterna och värdena eller , och den ytterligare osäkerheten är lika med endast en av de villkorliga entropierna. ${\displaystyle \omega _{1))$ $\omega _{2}$ $0$ $1$

Som ett exempel, betrakta två grafer:

På den vänstra grafen finns tre utfall med sannolikheter , , , som bildar en komplett grupp av händelser (dvs. ). På den högra grafen väljer vi först mellan två möjligheter, var och en med sannolikhet . Om den andra möjligheten väljs, görs ett annat val med sannolikheter och . Entropierna på båda graferna bör visa sig vara desamma, eftersom man i slutändan får samma utfall med samma sannolikheter. Enligt kompositionslagen skriver vi . $p_{1}=1/2$ $p_{2}=1/3$ $p_{3}=1/6$ $p_{1}+p_{2}+p_{3}=1$ $1/2$ $2/3$ $1/3$ $H({\frac {1}{2)),{\frac {1}{3)),{\frac {1}{6)))=H({\frac {1}{2} },{\frac {1}{2)))+{\frac {1}{2}}H\left(1\right)+{\frac {1}{2}}H\left(({\ frac {1}{3)),{\frac {2}{3}}}\right)=H({\frac {1}{2}},{\frac {1}{2}})+{ \frac {1}{2}}H\left({{\frac {1}{3}},{\frac {2}{3}}}\right)$

Här , eftersom hela gruppen av händelser, bestående av endast en händelse, som inträffar med hundra procent sannolikhet, genererar noll osäkerhet. Samtidigt, enligt Shannon själv, dyker koefficienten upp eftersom det andra valet bara dyker upp hälften av alla gånger. $H(1)=0$ $1/2$

I kompositionslagen kan det första steget inte bestå av två möjligheter, utan av ett större antal möjligheter med motsvarande sannolikheter , , , ... ${\displaystyle \omega _{1))$ $\omega _{2}$ ${\displaystyle \omega _{3))$

Lagen om sammansättning är ett slags generalisering av entropins additiva egenskap, även om den inte följer direkt av denna egenskap. Låt verkligen något experiment bestå av sex lika sannolika utfall. Låt dessa resultat delas upp i tre lika delar: i det första steget väljs en av de tre delarna, i det andra steget väljs utfallet inom motsvarande del. Då kan du skriva . $H({\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{\frac {1}{6)),{ \frac {1}{6)),{\frac {1}{6)))=H({\frac {1}{3)),{\frac {1}{3)),{\frac { 1}{3)))+{\frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)+{ \frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)+{\frac {1}{3}} H\left({{\frac {1}{2)),{\frac {1}{2))}\right)$

Den resulterande ekvationen kan skrivas om så här:

$A(6)=A(3)+{\frac {1}{3}}A\left(2\right)+{\frac {1}{3}}A\left(2\right) +{\frac {1}{3}}A\left(2\right)=A(3)+A\left(2\right)$ .

Självklart i allmänhet . $A(mn)=A(m)+A\left(n\right)$

Men samma resultat kan erhållas från andra överväganden.

Antag att det finns ett slumpmässigt experiment med lika sannolika utfall och ett annat slumpmässigt experiment med lika sannolika utfall. Låt dessa två slumpmässiga experiment inte ha något med varandra att göra. Men i alla fall kan de betraktas som ett kombinerat experiment, där ett separat utfall är att det e resultatet av det första experimentet och det th resultatet av det andra experimentet inträffade. I ett sådant kombinerat experiment finns det redan lika sannolika resultat. Eftersom osäkerheten i de två experimenten inte bör förändras beroende på en sådan synvinkelförändring, då . $m$ $n$ $i$ $j$ $mn$ $A(mn)=A(m)+A\left(n\right)$

Som en konsekvens av detta resultat, , där är ett icke-negativt heltal. Om , då tar den sista likheten formen , medan den förblir en sann jämlikhet. $A(m^{s})=sA(m)$ $s$ $s=0$ $A(1)=0$

Sammansättningslagen tillåter oss att uttrycka entropin för en sannolikhetsfördelning, där alla sannolikheter är rationella tal, som en viktad summa av funktioner . Låt det faktiskt finnas en komplett grupp av händelser av oförenliga händelser med sannolikheter , , …, , där , , är naturliga tal, . Då kan man skriva $A$ $n$ $p_{1}=n_{1}/n$ $p_{2}=n_{2}/n$ $p_{n}=n_{n}/n$ ${\displaystyle n_{i))$ $n$ $n_{1}+...+n_{n}=n$

$A(n)=H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})+\summa \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}$ .

Från denna ekvation är det redan möjligt att uttrycka . $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})$

Egentligen är det inte känt exakt var Shannon fick sin kompositionslag ifrån. Kanske ville han bara att hans entropi skulle visa sig likna Hartleys, och han kom på ett sådant villkor (sammansättningslag) från vilket Shannons entropi skulle erhållas på ett unikt sätt.

Sats:

den enda funktionen som uppfyller de tre Shannon-villkoren som ställs på den har formen , där är en positiv konstant, och logaritmen tas i vilken bas som helst som är större än en. $H$ $H=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_{i}}}$ $K$

Bevis .

Beviset reduceras till att ta reda på funktionens form . $A$

För alla naturliga och godtyckligt stora naturliga , kan man hitta ett sådant naturligt och icke-negativt heltal att (detta är uppenbart). Potentiera båda sidor av ojämlikheten och dividera med , får vi , varifrån . Eftersom basen för den naturliga logaritmen är större än en, ändras inte tecknet på ojämlikheterna. $t$ $n$ $m>1$ $s$ ${m^{s}}\leq {t^{n}}\leq {m^{s+1}}$ $n\ln m$ ${\frac {s}{n}}\leq {\frac {\ln t}{\ln m}}\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{{\log }_{m}}t}\right|\leq {\frac {1}{n}}$

Å andra sidan, baserat på monotoniteten hos , kan vi skriva , , varifrån på samma sätt , . Då kan du skriva . Passerar till gränsen med avseende på , vi får . Därför , där är en godtycklig positiv konstant, är en godtycklig naturlig bas av logaritmen (större än en). Konstantens godtycke hänger inte bara ihop med att den reduceras i täljaren och nämnaren, utan också med att basen för logaritmen väljs godtyckligt. Du kan gå till den naturliga logaritmen och få . Detta tyder på att basen för logaritmen inte behöver vara ett naturligt tal. Vidare, genom att använda representationen av funktionen i termer av funktionen , kan vi skriva eftersom vilket reellt tal som helst kan approximeras med vilken grad av noggrannhet som helst med ett rationellt tal, och funktionen i sig är kontinuerlig (det vill säga den ändras obetydligt med ett litet tal förändring i argumentet), föreslog Shannon att man skulle använda denna formel för sannolikheter givna av reella tal. $A(n)$ ${\displaystyle A({m^{s)))\leq A({t^{n)))\leq A({m^{s+1))))))$ ${\displaystyle sA({m})\leq nA({t})\leq (s+1)A({m)))$ ${\frac {s}{n}}\leq {\frac {A(t)}{A(m)))\leq {\frac {s+1}{n}}$ $\left|{{\frac {s}{n}}-{\frac {A(t)}{A(m)))}\right|\leq {\frac {1}{n}}$ $\left|{{\frac {A(t)}{A(m)}}-{{\log }_{m}}t}\right|\leq {\frac {2}{n} }$ $n$ $n\to \infty$ ${\frac {A(t)}{A(m)}}={\log _{m}}t$ $A(t)=K{\log _{m}}t$ $K$ $m$ $K$ $A(t)=K{\log _{m}}t=K{\frac {\ln t}{\ln m}}=K'\ln t$ $H$ $A$ $H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})=A(n)-\summa \limits _{i =1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}=K\log n-\summa \limits _{i=1}^{n }{{\frac {n_{i}}{n}}K\log {n_{i}}}=-\sum \limits _{i=1}^{n}{{\frac {n_{i} }{n}}K\log {\frac {n_{i}}{n}}}=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_ {i}}}$ $H$

Teoremet har bevisats .

Om sannolikheten är noll, är det nödvändigt att betrakta produktens gräns som tenderar mot noll: $p$ $p\log p$ $p$

$\lim _{p\to 0+}p\ln p=\lim _{p\to 0+}{\frac {\ln p}{\frac {1}{p))}=\lim _{p\to 0+}{\frac {\left({\ln p}\right)'}{\left({\frac {1}{p}}\right)'}}=\lim _{ p\to 0+}{\frac {1/p}{-1/{p^{2))))=-\lim _{p\to 0+}p=0$

Shannons maximala entropi och Lagrange multiplikatormetoden

Det kan bevisas [4] att Shannon-entropin får ett maximalt värde på en enhetlig fördelning. För att bevisa detta hittar vi det villkorliga maximum för Shannon-entropin under normaliseringsvillkoret . $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {i}}}$ $\sum \limits _{i=1}^{n}{p_{i}}=1$

För att göra detta använder vi Lagrange-multiplikatormetoden för att hitta villkorliga extrema. Denna metod är i korthet följande.

Låt oss anta att det krävs att hitta ett lokalt extremum av en kontinuerlig funktion av variabler som har partiella derivator med avseende på alla variabler, förutsatt att ,..., , där ,..., är kontinuerliga funktioner som har partiella derivator med avseende på alla variabler, . Sedan är Lagrange-funktionen sammansatt av formen , där talen kallas Lagrange-multiplikatorer. $f(x_{1},...,x_{n})$ $n$ $\varphi _{1}(x_{1},...,x_{n})=0$ $\varphi _{k}(x_{1},...,x_{n})=0$ $\varphi _{1}$ $\varphi _{k}$ $k<n$ $L({x_{1}},...,{x_{n}})=f({x_{1}},...,{x_{n}})+\summa \limits _ {i=1}^{k}{{\lambda _{i}}{\varphi _{i}}({x_{1}},...,{x_{n))))}$ $\lambda _{i}$

Ett nödvändigt villkor för existensen av ett villkorligt extremum vid någon tidpunkt är lika med noll eller att alla partiella derivator av dess Lagrange-funktion inte existerar vid denna punkt. Därför kompileras och löses ett system från de partiella derivatorna av Lagrange-funktionen, lika med noll, såväl som från de villkor som åläggs extremumet. Systemets lösning (om det finns) är koordinaten för extremumet, såväl som värdena för Lagrange-multiplikatorerna. $f$ $n$ $k$

När det gäller Shannon-entropin har Lagrange-funktionen formen: . $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+\lambda \left( {\sum \limits _{i=1}^{n}{p_{i}}-1}\right)$

Låt oss skriva ner ekvationssystemet med det nödvändiga villkoret för existensen av ett extremum:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=0\\...\\{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{n}}} }=0\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$ När vi löser det får vi: $\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+\lambda =0\\...\\-(\ln {p_{n} }+1)+\lambda =0\end{array}}\right.$

Eftersom alla ekvationer är lika, då , . ${p_{1}}={p_{2}}=...={p_{n}}=1/n$ $\lambda =1+\ln {\frac {1}{n))$

Så punkten där ett extremum kan existera är den enda. Med tanke på att funktionen är kontinuerlig och icke-negativ definitiv, med minimivärdet noll (i det fall när en av sannolikheterna är lika med en och alla de andra är lika med noll), så är det hittade extremumet punkten för globalt villkorligt maximum, och själva maximumet är lika med . $H$ $H({\frac {1}{n}},...,{\frac {1}{n}})=-\summa \limits _{i=1}^{n}{{\ frac {1}{n}}\ln {\frac {1}{n}}}=\ln n$

Det kan också bevisas att i uppsättningen av sannolikheter för inkompatibla elementära utfall, ökar varje förändring av de två sannolikheterna mot deras anpassning (utan att ändra antalet utfall själva) fördelningens entropi. ${\displaystyle p_{1},...,p_{n))$ $n$

Det är lätt att bevisa det. Eftersom endast två sannolikheter ändras, till exempel, och , förblir de andra sannolikheterna oförändrade. Därför kommer termerna som ingår i entropiformeln, associerade med andra sannolikheter, att förbli oförändrade och kommer inte att påverka ökningen av entropi. Samtidigt förblir också beloppet oförändrat (av samma anledning). Därför räcker det att utföra beviset för endast två oförenliga utfall som bildar en komplett grupp av händelser - då kan påståendet anses bevisat för ett godtyckligt antal utfall. $p_{1}$ ${\displaystyle p_{2))$ $p_{1}+p_{2}$ $n$

Beteckna och överväga funktionen . $p_{1}=p$ $p_{2}=1-p$ $H(p,1-p)=-p\ln p-(1-p)\ln(1-p)$

Dess vs. plot är mycket lik en inverterad parabel som passerar genom ursprunget. Maximum nås vid punkten . Dessutom är denna funktion spegelsymmetrisk med avseende på linjen . Detta följer av det faktum att . Därför är det, baserat på grafen, uppenbart att varje förändring av sannolikheterna mot utjämning leder till en ökning av entropin. $p$ $p=1-p=0,5$ $p=0,5$ $H(p,1-p)=H(1-p,p)$

Entropi av en kontinuerlig fördelning

Shannon skrev ursprungligen ned [3] följande formel för entropin för en kontinuerlig fördelning, som också är känd som differentialentropi :

${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\log f(x)dx))$ .

Här är den okända sannolikhetsdensitetsfördelningsfunktionen för den slumpmässiga variabeln . (Om , då ersätts integranden av sin gräns vid denna punkt .) Men till skillnad från Shannons formel för entropin för en diskret fördelning, är denna formel inte resultatet av någon härledning (Shannon ersatte helt enkelt summans tecken med tecknet av integralen). Och strängt taget kan den inte härledas genom en successiv övergång från en diskret till en kontinuerlig entropiformel genom att beräkna gränsen för integralpartialsummor av Riemannintegralen [5] (ett oändligt värde kommer att erhållas). Ändå har differentiell entropi betydelsen av den genomsnittliga osäkerheten i valet av en stokastisk variabel med en godtycklig fördelningslag, minus osäkerheten för en stokastisk variabel likformigt fördelad i ett enhetsintervall. $f(x)$ $X$ $f(x)=0$ $x$

Förutom differentiell entropi är engelska också kända. Kullback–Leibler divergens och engelska. Principle_of_maximum_entropy#Continuous_case . Men vidare, för att förklara principen för maximal entropi, kommer den att användas just differentialentropin.

Maximal differentialentropi och variationskalkylen

Det kan bevisas att differentialentropin får ett maximalt värde på en enhetlig fördelning. För att bevisa detta hittar vi det villkorliga maximum för differentialentropin förutsatt att . ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$ $\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

Under dessa förhållanden är det nödvändigt att hitta en sådan funktion att differentialentropiintegralen tar det maximala värdet. Det är klart att i det här fallet blir själva funktionens form en slags variabel, så det är nödvändigt att använda variationskalkylen [3] , vars huvuduppgift är att hitta en funktion på vilken den givna funktionen når extrem. värden. $f(x)$ $f(x)$

Variationsmetoden liknar Lagrangemetoden och är i korthet följande. Låt en funktional ges med en integrand med kontinuerliga första partiella derivator, kallad Lagrange-funktionen. Om denna funktion når ett extremum på någon funktion , måste en partiell differentialekvation uppfyllas för den , kallad Euler-Lagrange-ekvationen . Med andra ord är denna ekvation ett nödvändigt villkor för att det ska finnas ett extremum av det funktionella på funktionen . Om ytterligare ett villkor för formen åläggs funktionen kallas det önskade extremumet villkorligt, och Lagrange-funktionen tar formen , och differentialekvationen måste lösas redan för denna nya funktion. Den hittade funktionen beror inte bara på , utan också på parametern . Sedan måste du ersätta villkoren i integralen och hitta . ${\displaystyle J=\int \limits _{a}^{b}{F(x,f(x),f'(x))dx))$ $F(x,f(x),f'(x))$ $f(x)$ ${\displaystyle {\frac {\partial F}{\partial f))={\frac {d}{dx)){\frac {\partial F}{\partial {f'))))$ $J$ $f(x)$ $f(x)$ $\int \limits _{a}^{b}{\varphi (f(x))dx}=c$ $L=F+\lambda \varphi$ $f(x)$ $x$ $\lambda$ $f(x)$ $\lambda$

När det gäller differentiell entropi tar Lagrange-funktionen formen . Sedan , varifrån Euler-Lagrange-ekvationen tar formen . $L=-f(x)\ln f(x)+\lambda f(x)$ $\left\{{\begin{array}{l}{\frac {\partial L}{\partial f))=-\ln f-1+\lambda \\{\frac {\partial L} {\partial f'}}=0\\{\frac {d}{dx}}{\frac {\partial L}{\partial f'}}=0\end{array}}\right.$ ${\frac {\partial L}{\partial f))=-\ln f-1+\lambda =0$

Lösningen på denna ekvation är en funktion , det vill säga en konstant på . Vi ersätter det i skicket och får . $f(x)={e^{\lambda -1))$ $x$ $\int \limits _{-\infty }^{\infty }{{e^{\lambda -1}}dx}=1$

Det är tydligt att en sådan ekvation inte har några lösningar, precis som det är tydligt att en slumpvariabel inte kan fördelas enhetligt över hela regionen av reella tal. Låt alla möjliga värden ligga på något intervall . Sedan , varifrån . För alla andra är det sant . $X$ $[a;b]$ $\int \limits _{a}^{b}{{e^{\lambda -1}}dx}=1$ $\lambda =1-\ln(ba)$ $f(x)={e^{\lambda -1}}={\frac {1}{ba}}$ $x$ $f(x)=0$

Extrema distributioner

I sig själv ger det funna funktionella (Shannons entropi i diskret eller differentiell form) ännu inget. Eftersom ingenting är känt om utfallen av ett slumpmässigt experiment, dikterar principen om maximal entropi att alla utfall ges lika sannolikheter. Om vi talar om en kontinuerlig stokastisk variabel, så antas det att den är jämnt fördelad. Men för att genomföra ett sådant möte krävs ingen funktionalitet. Den funktionella tillåter endast en kvantitativ jämförelse av osäkerheterna i olika fördelningar.

Innebörden av principen om maximal entropi börjar dyka upp när några begränsningar införs på sannolikhetsfördelningen. Principen för maximal entropi i detta fall är att hitta den maximala entropin under de pålagda restriktionerna. Den sålunda erhållna fördelningen kallas extremal.

Låt oss hitta entropimaximum i de fall då vissa restriktioner införs på fördelningen av en slumpvariabel, till exempel, några av dess moment är kända. När man använder metoden för Lagrange-multiplikatorer och metoden för beräkning av variationer, kommer det att visas att:

om det förväntade värdet eller det andra initiala momentet, eller båda, för en diskret slumpvariabel är känt, är dess extrema fördelning en av varianterna av den diskreta Gibbs-fördelningen
om förväntan på en kontinuerlig slumpvariabel är känd, så är dess extremfördelning en kontinuerlig Gibbs-fördelning
om det förväntade värdet och variansen för en kontinuerlig slumpvariabel är kända, är dess extremfördelning en normalfördelning med dessa parametrar. Om det förväntade värdet inte är känt sätts det till noll.

Ingenting är känt om den slumpmässiga variabeln (diskreta och kontinuerliga fall)

I det här fallet föreskriver principen om maximal entropi att den slumpmässiga variabeln är jämnt fördelad. Det har redan visat sig tidigare att Shannon-entropin i vilken som helst (diskret eller kontinuerlig) form får maximalt möjliga värde på en sådan fördelning.

Endast matematiska förväntningar är kända (diskreta fall)

Antag att endast den matematiska förväntan av den diskreta sannolikhetsfördelningen för någon slumpvariabel : är känd . Vad är fördelningen i det här fallet? Distributionen är föremål för ytterligare begränsningar: $X$ $M[X]=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=m$

$\forall i:0\leq {p_{i}}\leq 1$
$\sum \limits _{i=1}^{n}{p_{i}}=1$

Enligt principen om maximal entropi är det nödvändigt att maximera funktionen under dessa förhållanden $H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_ {i}}}$

Vi komponerar Lagrange-funktionen och hittar punkterna för ett möjligt extremum:

$L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\höger)$

Systemet med partiella derivat och pålagda villkor har formen:

$\left\{{\begin{array}{l}{\frac {\partial L({p_{1)),...,{p_{n)))}{\partial {p_{1 }}}}=-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}=0\\...\ \{\frac {\partial L({p_{1}},...,{p_{n)))}{\partial {p_{n}}}}=-(\ln {p_{n}} +1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}=0\\m=\summa \limits _{i=1}^{n}{{x_ {i}}{p_{i}}}\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.$

Subtraherar vi -e från den första ekvationen får vi . $i$ ${p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})))}}$

Genom att kombinera den resulterande ekvationen till ett system med normaliseringsvillkoret och lösa det får vi:

$\left\{{\begin{array}{l}{p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{ x_{1}})}}\\1=\summa \limits _{k=1}^{n}{p_{k}}=\summa \limits _{k=1}^{n}{{p_ {1}}{e^{{\lambda _{2}}({x_{k}}-{x_{1}})}}}={p_{1}}{e^{-{\lambda _ {2}}{x_{1}}}}\summa \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{array }}\höger.$ , varifrån . ${p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e ^{{\lambda _{2}}{x_{k}}}}}}$

Nu följer det av den e ekvationen . $i$ ${p_{i}}={e^{{\lambda _{2}}{x_{i}}+{\lambda _{1}}-1}}={e^{{\lambda _ {1}}-1}}{e^{{\lambda _{2}}{x_{i}}}}$ $\sum \limits _{k=1}^{n}{e^({\lambda _{2}}{x_{k}}}}={e^{1-{\lambda _{1 }}}}}$

Slutligen, baserat på ekvationen för förväntan, kan vi skriva , varifrån följer . $m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=\summa \limits _{i=1}^{n}{\ vänster({{x_{i}}{\frac {e^{{\lambda _{2}}{x_{i}}}}{\summa \limits _{k=1}^{n}{e^ {{\lambda _{2}}{x_{k}}}}}}}\right)}={\frac {\sum \limits _{k=1}^{n}{{x_{k}} {e^{{\lambda _{2}}{x_{k}}}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{ x_{k}}}}}}$ $\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}= 0$

Slutligen kan det ursprungliga systemet representeras som:

$\left\{{\begin{array}{l}{p_{i}}={\frac {e^({\lambda _{2}}{x_{i}}}}{\sum \ gränser _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}},i\in \{1,...,n\}\\ \sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}=0\\ {e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}} }\end{array}}\right.$

Det är ganska lätt att bevisa att lösningen på systemets andra ekvation alltid existerar och är unik, även om den inte alltid kan representeras som en explicit funktion av argumentet . Om så önskas (men inte nödvändigtvis) kan det uttryckas från den tredje ekvationen i termer av . Men viktigast av allt, när du byter in i den första ekvationen får du en diskret sannolikhetsfördelning med förväntan . $\lambda _{2}$ $m$ $\lambda _{1}$ $\lambda _{2}$ $\lambda _{2}$ $m$

Eftersom den hittade lösningen är unik är den hittade punkten med största sannolikhet entropiextremumet, och detta extremum är det globala villkorliga maximumet.

Den hittade sannolikhetsfördelningen kallas engelska. Boltzmann_distribution , som också är känd som Gibbs-distributionen . ${\displaystyle p_{i))$

Endast det andra initiala ögonblicket är känt (diskret fall)

Antag att endast det andra initiala momentet av den diskreta sannolikhetsfördelningen för någon slumpvariabel är känt : . Vad är fördelningen i det här fallet? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}$

Det är tydligt att det här fallet inte skiljer sig från det föregående, förutom att värdena måste ersättas med värden , måste ersättas med . Den slutliga fördelningen kommer att se ut ${\displaystyle x_{i))$ ${\displaystyle x_{i}^{2))$ $m$ ${\delta ^{2))$ $\left\{{\begin{array}{l}P(X={x_{i}})={p_{i}}={\frac {e^{{\lambda _{2}} {x_{i}}^{2}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}} ))),i\in \{1,...,n\}\\\summa \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2))){e^{{\lambda _{2}}{x_{k}}^{2}}}}=0\\{e^{1-{\lambda _{1}}} }=\summa \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}\end{array}}\right.$

Det är lätt att se i det här fallet att om , då . ${\displaystyle x_{i}=-x_{j))$ $P(X=x_{i})=P(X=x_{j})$

Förväntningen och det andra initiala ögonblicket är kända (diskret fall)

Lagrange-funktionen har i detta fall formen $L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{ 1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)+{\lambda _{3}}\left({\sum \limits _{i =1}^{n}{{x_{i}}^{2}{p_{i}}}-{\delta ^{2}}}\right)$

Ekvationssystemet, som är ett nödvändigt villkor för existensen av ett extremum, har formen:

$\left\{{\begin{array}{l}-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{ 1}}+{\lambda _{3}}{x_{1}}^{2}=0\\...\\-(\ln {p_{n}}+1)+{\lambda _{ 1}}+{\lambda _{2}}{x_{n}}+{\lambda _{3}}{x_{n}}^{2}=0\\1=\summa \limits _{i =1}^{n}{p_{i}}\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\{\delta ^{2}}=\summa \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}\end{array}}\right.$ . Det går att komma ihåg $\left\{{\begin{array}{l}{p_{i}}={\frac {e^{{x_{i}}({\lambda _{3}}{x_{i} }+{\lambda _{2))))}}{\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_ { k}}+{\lambda _{2}})))}}}}\\\summa \limits _{k=1}^{n}{({x_{k}}-m){e^ {{x_ {k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\\summa \limits _{k=1}^ {n} {({x_{k}}^{2}-{\delta ^{2}}){e^{{x_{k}}({\lambda _{3}}{x_{k}} +{\ lambda _{2}})}}}=0\\{e^{1-{\lambda _{1}}}}=\summa \limits _{k=1}^{n}{e ^{{ x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})))\end{array}}\right.$

Problemet med att bevisa existensen och unikheten hos en lösning i detta fall är mycket svårare. Dessutom problemet med att hitta parametrarna och från de andra och tredje ekvationerna i systemet. Men om beviset är möjligt, kommer extremfördelningen med givna parametrar att ha bara den hittade formen. $\lambda _{1}$ $\lambda _{2}$

Endast förväntat värde är känt (kontinuerligt skiftläge)

Antag att vi bara känner till förväntan på en kontinuerlig sannolikhetsfördelning av någon stokastisk variabel : . Vad är sannolikhetstäthetsfördelningsfunktionen i detta fall? $X$ $M[X]=\int \limits _{-\infty }^{\infty }{xf(x)dx}=m$ $f(x)$

Distributionen är föremål för ytterligare begränsningar:

$\forall x:f(x)\geq 0$
$\int \limits _{-\infty }^{\infty }{f(x)dx}=1$

Enligt principen om maximal entropi är det nödvändigt att maximera funktionen under dessa förhållanden ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx))$

Vi komponerar Lagrange-funktionen och hittar , för vilket ett extremum är möjligt : $f(x)$ $H$ $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)$

Euler-Lagrange-ekvationen har i detta fall formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x=0$

Dess lösning är funktionen , det vill säga exponenten. $f(x)={e^{{\lambda _{2}}x+{\lambda _{1}}-1}}$

Det är tydligt att arean under grafen för en sådan funktion kan vara ändlig endast om inte mer än en integrationsgräns tenderar till oändlighet. Därför kommer vi att anta att en slumpvariabel bara kan ta värden på någon ändlig eller semi-oändlig domän , inte nödvändigtvis bara kopplad. Vid alla andra punkter kommer funktionen att anses vara lika med noll. $X$ $G$ $f(x)$

För att hitta värdena för koefficienterna och , är det nödvändigt att komponera ett ekvationssystem från de villkor som ställs på fördelningen och lösa det. Systemet ser ut som: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{G}{x{ e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=m\\\int \limits _{-\infty }^{\infty }{f(x) dx}=\int \limits _{G}{{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=1\end{array}}\right.$ och kan komma ihåg . $\left\{{\begin{array}{l}m={\frac {\int \limits _{G}{x{e^({\lambda _{2}}x}}dx}} {\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}}}\\{e^{1-{\lambda _{1}}}}=\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}\end{array}}\right.$

Här är alla integraler "tagna", så det kan uttryckas unikt i termer av - det är bara nödvändigt att specificera området mer specifikt . I det här fallet är den hittade lösningen unik. $\lambda _{2}$ $m$ $G$

Eftersom koefficienten uttrycks unikt genom , då är den unik. På grund av det unika med den hittade lösningen maximerar funktionen det funktionella . Funktionen har då formen . $\lambda _{1}$ $\lambda _{2}$ $f(x)$ $H$ $f(x)$ $f(x)={\frac {e^{{\lambda _{2}}x}}{\int \limits _{G}{{e^{{\lambda _{2}}t} }dt}}}$

Den hittade fördelningen kallas Boltzmann (eller Gibbs) fördelningen av en kontinuerlig slumpvariabel.

Endast det andra initiala ögonblicket är känt (kontinuerligt skiftläge)

Antag att endast det andra initiala momentet av sannolikhetsfördelningen för någon kontinuerlig stokastisk variabel är känt : . Vad är fördelningen i det här fallet? ${\delta ^{2))$ $X$ ${\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}$

Lagrange-funktionen har i detta fall formen . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}{x^{2}}f(x)$

Euler-Lagrange-ekvationen har formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2)){x^{2))= 0$

Dess lösning är funktionen . $f(x)={e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}$

Det är tydligt att arean under grafen endast kan vara ändlig i fallet med . Om , då erhålls en enhetlig fördelning, vilket redan har övervägts tidigare. $f(x)$ $\lambda _{2}<0$ $\lambda _{2}=0$

För att hitta värdena för koefficienterna och måste du komponera ett ekvationssystem från de villkor som ställs på fördelningen och lösa det: $\lambda _{1}$ $\lambda _{2}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}+{\ lambda _{1}}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^ {\infty }{{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\end{array}}\right.$

Eftersom det finns en bestämd Euler-Poisson- integral här kan systemet skrivas som:

$\left\{{\begin{array}{l}{\delta ^{2}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2 }}{e^{{\lambda _{2}}{x^{2}}}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}}}\\\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}}}dx}=-{\frac {1}{2{\lambda _{2}}}}\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}\\{e^{1-{\lambda _{1}}}}=\int \limits _{ -\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}={\sqrt {-{\frac {\pi }{\lambda _ {2}}}}}\end{array}}\right.$ , varifrån slutligen $\left\{{\begin{array}{l}f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{ x^{2))))={\frac {1}{\delta {\sqrt {2\pi )))){e^{-{\frac {1}{2)){{\left({ \frac {x}{\delta }}\right)}^{2))))\\{\delta ^{2}}=-{\frac {1}{2{\lambda _{2}}} }\\{e^{1-{\lambda _{1))))={\sqrt {-{\frac {\pi}{\lambda _{2))))}\end{array))\ höger.$

Så fördelningen är en normalfördelning med noll medelvärde och varians . $X$ ${\delta ^{2))$

Förväntningen och det andra initiala ögonblicket är kända (kontinuerligt skiftläge)

Lagrange-funktionen har i detta fall formen . $L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)+{\lambda _{3} }{x^{2}}f(x)$

Euler-Lagrange-ekvationen har formen . ${\frac {\partial L}{\partial f))=-\ln f-1+{\lambda _{1))+{\lambda _{2))x+{\lambda _{3} }{x^{2}}=0$

Dess lösning är funktionen . $f(x)={e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}$

Låt oss ta det igen . $\lambda _{3}<0$

För att hitta värdena för koefficienterna , , , är det nödvändigt att komponera ett ekvationssystem från de villkor som ställs på fördelningen och lösa det: $\lambda _{1}$ $\lambda _{2}$ $\lambda _{3}$

$\left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f( x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}\\m=\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{-\infty }^{\infty }{x{e^({\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1 }}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^{\infty } {{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}\end{array}} \höger.$

Graden av ett tal i integraler kan representeras som: , där , . $e$ ${\lambda _{3}}{x^{2}}+{\lambda _{2}}x=-{\frac {1}{2}}{\frac {{{\left({ x-{\frac {\lambda _{2}}{-2{\lambda _{3}}}}}\right)}^{2}}-{{\left({\frac {\lambda _{ 2}}{-2{\lambda _{3}}}}\right)}^{2}}}{1/(-2{\lambda _{3}})))=-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}$ $m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}$ $D=-{\frac {1}{2{\lambda _{3))))$

Sedan

$\left\{{\begin{array}{l}{\frac {m}{1}}={\frac {\int \limits _{-\infty }^{\infty }{x{e ^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x+{\lambda _{1}}-1}} dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{{\lambda _ {3}}{x^{2}}+{\lambda _{2}}x}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{- \infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2}}x}}dx}}}={\frac {{ \frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{x{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2 \pi }}}\int \limits _{-\infty }^{\infty }{{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\ höger)}^{2}}-m{'^{2}}}{D}}}}dx}}}={\frac {m'}{1}}\\{\frac {\delta ^{ 2}}{1}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{3}}{x^ {2}}+{\lambda _{2}}x+{\lambda _{1}}-1}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{ {\lambda _{3}}{x^{2}}+{\lamb da _{2}}x+{\lambda _{1}}-1}}dx}}}={\frac {{\frac {1}{\sqrt {D2\pi }}}\int \limits _{ -\infty }^{\infty }{{x^{2}}{e^{-{\frac {1}{2}}{\frac {({\left({xm'}\right)}^ {2}}-m{'^{2}}}{D}}}}dx}}{{\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty } ^{\infty {{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2 }}}{D}}}}dx}}}={\frac {1}{\sqrt {D2\pi }}}\int \limits _{-\infty }^{\infty }{{x^{ 2}}{e^{-{\frac {1}{2}}{\frac {{\left({xm'}\right)}^{2}}{D}}}}dx}=D+ m {'^{2}}\\1=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{3}}{x^{2}}+{\ lambda _{2}}x+{\lambda _{1}}-1}}dx}={e^{{\lambda _{1}}-1}}\int \limits _{-\infty }^{ \ infty {{e^{-{\frac {1}{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}} } {D}}}}dx}={e^{{\lambda _{1}}-1+{\frac {m{'^{2}}}{2D}}}}{\sqrt {D2\ pi }}\end{array}}\right.$ ,

var

$\left\{{\begin{array}{l}m=m'={\frac {\lambda _{2}}{-2{\lambda _{3}}}}\\{\delta ^{2}}-{m^{2}}={\delta ^{2}}-m{'^{2}}=D=-{\frac {1}{2{\lambda _{3} ))}\\{e^{{\lambda _{1}}-1}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt { D2\pi }}}\end{array}}\right.$ .

Uppenbarligen är variansen i fördelningen . $D$ $f(x)$

Slutligen kan funktionen skrivas som . $f(x)$ $f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{3}}{x^{2}}+{\lambda _{2 }}x}}={\frac {e^{-{\frac {m^{2}}{2D}}}}{\sqrt {D2\pi }}}{e^{-{\frac {1 }{2}}{\frac {{{\left({xm'}\right)}^{2}}-m{'^{2}}}{D}}}}={\frac {1} {\sqrt {D2\pi }}}{e^{-{\frac {1}{2}}{\frac {{\left({xm}\right)}^{2}}{D}}} }$

Så vi fick en normalfördelning med medelvärde och varians . $m$ $D$

Det är lätt att se att det initialt var möjligt att inte ställa in det andra initiala momentet av fördelningen, utan dess varians, och ändå skulle en normalfördelning med de givna parametrarna ha erhållits.

Tabell över extrema distributioner

I tabellen nedan maximerar varje listad distribution entropin under de villkor som gäller för distributionen, som anges i den tredje kolumnen. Den fjärde kolumnen visar definitionsdomänen för den slumpmässiga variabeln.

Tabell över extrema fördelningar

Distribution	Fungera sannolikheter/densitet sannolikheter	Begränsningar, ovanpå distribution	Område definitioner slumpmässig kvantiteter
Enhetlig (diskret)	$f(k)={\frac {1}{b-a+1))$	Inte	${\begin{array}{l}\{a,a+1,\\...,\\b-1,b\}\,\\\end{array}}$
Enhetlig (kontinuerlig)	$f(x)={\frac {1}{ba}}$	Inte	$[a,b]\,$
Bernoulli	${\displaystyle f(k)=p^{k}(1-p)^{1-k))$	$M[k]=p\,$	$\{0,1\}\,$
Geometrisk	$f(k)=(1-p)^{k-1}\,p$	$M[k]={\frac {1}{p}}\,$	$\{1,2,3,...\}\,$
Exponentiell	$f(x)=\lambda \exp \left(-\lambda x\right)$	$M[x]={\frac {1}{\lambda }}\,$	$[0,\infty )\,$
Laplace	$f(x)={\frac {1}{2b}}\exp \left(-{\frac {\|x-\mu \|}{b}}\right)$	$M[\|x-\mu \|]=b\,$	$(-\infty ,\infty )\,$
engelsk Asymmetrisk_Laplace_distribution	$f(x)={\frac {\lambda \,e^{-(xm)\lambda s\kappa ^{s))}{\kappa +1/\kappa }}\,(s\! =\!\operatörsnamn {sgn}(x\!-\!m))$	$M[(xm)s\kappa ^{s}]=1/\lambda \,$	$(-\infty ,\infty )\,$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1))))$	$M[\ln(x)]={\frac {1}{\alpha }}+\ln(x_{m})\,$	$[x_{m},\infty )\,$
Vanligt	$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2))))\exp \left(-{\frac {(x-\mu )^{2} }{2\sigma ^{2}}}\right)$	${\begin{array}{l}M[x]=\mu ,\,\\M[(x-\mu )^{2}]=\sigma ^{2}\\\end{array }}$	$(-\infty ,\infty )\,$
engelsk Von_Mises_distribution	$f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}$	${\begin{array}{l}M[\cos \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )))\cos \mu ,\ ,\\M[\sin \theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu \\\end{array}}$	$[0,2\pi )\,$
Rayleigh	$f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\ höger)$	${\begin{array}{l}M[x^{2}]=2\sigma ^{2},\\M[\ln(x)]={\frac {\ln(2\sigma ^{2})-\gamma _{E}}{2}}\,\\\end{array}}$	$[0,\infty )\,$
Beta	$f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )))$	${\begin{array}{l}M[\ln(x)]=\psi (\alpha )-\psi (\alpha +\beta ),\,\\M[\ln(1-x )]=\psi (\beta )-\psi (\alpha +\beta )\,\\\end{array}}$	$[0,1]\,$
Cauchy	$f(x)={\frac {1}{\pi (1+x^{2})))$	$M[\ln(1+x^{2})]=2\ln 2$	$(-\infty ,\infty )\,$
engelsk Chi_distribution	$f(x)={\frac {2}{2^{k/2}\Gamma (k/2)))x^{k-1}\exp \left(-{\frac {x^ {2}}{2}}\right)$	${\begin{array}{l}M[x^{2}]=k,\,\\M[\ln(x)]={\frac {1}{2))\left[\ psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]\\\end{array}}$	$[0,\infty )\,$
chi-kvadrat	$f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1 }\exp \left(-{\frac {x}{2}}\right)$	${\begin{array}{l}M[x]=k,\,\\M[\ln(x)]=\psi \left({\frac {k}{2))\right) +\ln(2)\\\end{array}}$	$[0,\infty )\,$
engelsk Erlang_distribution	$f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)$	${\begin{array}{l}M[x]=k/\lambda ,\,\\M[\ln(x)]=\psi (k)-\ln(\lambda )\\\ slut{array}}$	$[0,\infty )\,$
Gamma	$f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)))$	${\begin{array}{l}M[x]=k\theta ,\,\\M[\ln(x)]=\psi (k)+\ln(\theta )\\\end {array}}$	$[0,\infty )\,$
lognormal	$f(x)={\frac {1}{\sigma x{\sqrt {2\pi ))))\exp \left(-{\frac {(\ln x-\mu )^{2 }}{2\sigma ^{2}}}\right)$	${\begin{array}{l}M[\ln(x)]=\mu ,\\M[(\ln(x)-\mu )^{2}]=\sigma ^{2} \,\\\end{array}}$	$[0,\infty )\,$
Maxwell	$f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(- {\frac {x^{2}}{2a^{2}}}\right)$	${\begin{array}{l}M[x^{2}]=3a^{2},\,\\M[\ln(x)]\!=\!1\!+\! \ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{E}}{2}}\\\end{array}}$	$[0,\infty )\,$
Weibulla	$f(x)={\frac {k}{\lambda ^{k))}x^{k-1}\exp \left(-{\frac {x^{k)){\lambda ^ {k}}}\right)$	${\begin{array}{l}M[x^{k}]=\lambda ^{k},\\M[\ln(x)]=\ln(\lambda )-{\frac { \gamma _{E}}{k}}\,\\\end{array}}$	$[0,\infty )\,$
Flerdimensionell vanligt	$f_{X}({\vec {x)))=$ ${\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{ -1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left\|\Sigma \right\|^{1 /2}}}$	${\begin{array}{l}M[{\vec {x}}]={\vec {\mu )),\,\\M[({\vec {x}}-{\vec {\mu )))({\vec {x))-{\vec {\mu )))^{T}]=\Sigma \,\\\end{array))$	$(-{\vec {\infty )),{\vec {\infty )))\,$
Binom	${\displaystyle f(k)={n \choose k}p^{k}(1-p)^{nk))$
Poisson	$f(k)={\frac {\exp ^{-\lambda }\lambda ^{k}}{k!)}}$

Se även

Anteckningar

↑ 12 Jaynes , ET Information Theory and Statistical Mechanics (engelska) // Physical Review : journal. - 1957. - Vol. Serie II , nr. 4 . - P. 620-630 . - doi : 10.1103/PhysRev.106.620 . - .
↑ Jaynes, ET Information Theory and Statistical Mechanics II (engelska) // Physical Review : journal. - 1957. - Vol. Serie II , nr. 2 . - S. 171-190 . - doi : 10.1103/PhysRev.108.171 . - .
↑ 123 C.E. _ _ Shannon. En matematisk teori om kommunikation . Arkiverad från originalet den 29 mars 2016.
↑ I.N. Beckman. Informatik. Föreläsningskurs . — P. Entropibegreppets bildningsstadier . Arkiverad från originalet den 13 december 2016.
↑ V.A. Fursov. Informationsteori. - Samara: SGAU, 2011. - S. 15.

Litteratur

Golitsyn G.A. Information och kreativitet. - M . : Ryska världen, 1997. - 304 s. — ISBN 5-85810-039-2 .
Yu. G. Rudoy. Generaliserad information Entropi och icke-kanonisk distribution i jämviktsstatistisk mekanik
Jaynes, ET Informationsteori och statistisk mekanik // Statistisk fysik (ospecificerad) / Ford, K. (red.). - New York: Benjamin, 1963. - S. 181.
Jaynes, ET, 1986 (ny version online 1996), 'Monkeys, kangaroos and ' $N$ , i Maximum-Entropy and Bayesian Methods in Applied Statistics , JH Justice (red.), Cambridge University Press, Cambridge, sid. 26.
Bajkova, AT, 1992, Generaliseringen av maximal entropi metod för rekonstruktion av komplexa funktioner . Astronomical and Astrophysical Transactions, V.1, nummer 4, sid. 313-320.
Giffin, A. och Caticha, A., 2007, Uppdatering av sannolikheter med data och ögonblick
Guiasu, S. och Shenitzer, A., 1985, 'Principen för maximal entropi', The Mathematical Intelligencer, 7 (1), 42-48.
Harremoës P. och Topsøe F., 2001, Maximum Entropy Fundamentals , Entropy, 3(3), 191-226.
Kapur, JN; och Kesavan, HK , 1992, Entropy optimization principles with applications , Boston: Academic Press. ISBN 0-12-397670-7
Kitamura, Y., 2006, Empirical Likelihood Methods in Econometrics: Theory and Practice , Cowles Foundation Discussion Papers 1569, Cowles Foundation, Yale University.
Lazar, N., 2003, "Bayesian Empirical Likelihood", Biometrika, 90, 319-326.
Owen, AB, Empirical Likelihood , Chapman och Hall.
Schennach, SM, 2005, "Bayesian Exponentially Tilted Empirical Likelihood", Biometrika, 92(1), 31-46.
Uffink, Jos, 1995, "Kan principen om maximal entropi förklaras som ett konsekvenskrav?" , Studies in History and Philosophy of Modern Physics 26B , 223-261.