Maximal likelihood-metod

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 19 januari 2021; kontroller kräver 4 redigeringar .

Maximal likelihood- metoden eller maximum likelihood-metoden (MMP, ML, MLE - English m aximum l ikelihood e stimation ) i matematisk statistik är en metod för att uppskatta en okänd parameter genom att maximera likelihood-funktionen [1] . Baserat på antagandet att all information om ett statistiskt urval finns i sannolikhetsfunktionen.

Maximal likelihood-metoden analyserades, rekommenderades och populariserades kraftigt av R. Fischer mellan 1912 och 1922 (även om den hade använts tidigare av Gauss , Laplace och andra).

Maximal likelihood-uppskattning är en populär statistisk teknik som används för att skapa en statistisk modell från data och ge en uppskattning av modellparametrarna.

Maximal likelihood-metoden motsvarar många välkända skattningsmetoder inom statistikområdet. Till exempel är du intresserad av en sådan antropometrisk parameter som höjden på invånarna i Ryssland. Anta att du har data om tillväxten för ett visst antal människor, inte hela befolkningen. Dessutom antas tillväxten vara en normalfördelad storhet med okänd varians och medelvärde . Medelvärdet och variansen av tillväxten i urvalet är maximal sannolikhet för medelvärdet och variansen för hela populationen.

För en fast datamängd och en grundläggande probabilistisk modell, med maximal sannolikhetsmetoden, kommer vi att få värdena för modellparametrarna som gör datan "närmare" den verkliga. Maximal sannolikhetsuppskattning ger ett unikt och enkelt sätt att fastställa lösningar vid normalfördelning.

Den maximala sannolikhetsuppskattningsmetoden tillämpas på ett stort antal statistiska modeller, inklusive:

linjära modeller och generaliserade linjära modeller;
faktoranalys ;
modellering av strukturella ekvationer;
många situationer, under hypotestestning och konfidensintervallbildning;
valfria diskreta modeller.

Essensen av metoden

Låt det finnas ett urval från fördelningen , där är de okända parametrarna. Låt vara sannolikhetsfunktionen , där . Poänguppskattning $X_{1},\ldots ,X_{n}$ $\mathbb {P} _{\theta }$ $\theta \in \Theta$ $L({\mathbf {x}}\mid \theta )\colon \Theta \to {\mathbb {R}}$ ${\mathbf {x}}\in {\mathbb {R}}^{n}$

{\hat {\theta }}_{\mathrm {M\Pi} }={\hat {\theta }}_{\mathrm {M\Pi} }(X_{1},\ldots ,X_ {n})=\mathop {\rm {argmax)) \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )

kallas maximal sannolikhetsuppskattning av parametern . Sålunda är den maximala sannolikhetsuppskattningen den som maximerar sannolikhetsfunktionen för en fast samplingsimplementering. $\theta$

Ofta används log-likelihood- funktionen istället för likelihood-funktionen . Eftersom funktionen ökar monotont över hela definitionsdomänen, är maximivärdet för varje funktion funktionens maximum och vice versa. På det här sättet, $L$ $l=\ln L$ $x\till \ln x,\;x>0$ $L(\theta )$ $\ln L(\theta )$

{\hat {\theta }}_{\mathrm {M\Pi} }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ ldots ,X_{n}\mid \theta )

Om sannolikhetsfunktionen är differentierbar, är det nödvändiga villkoret för extremumet likheten mellan dess gradient till noll :

g(\theta )={\frac {\partial l({\mathbf {x)),\theta _{0})}{\partial \theta }}=0

Det tillräckliga extremumtillståndet kan formuleras som den negativa definititeten av hessian , matrisen av andraderivator:

H={\frac {\partial ^{2}l({\mathbf {x)),\theta _{0})}{\partial \theta \partial \theta ^{T))}

Viktigt för att bedöma egenskaperna hos uppskattningar av den maximala sannolikhetsmetoden är den så kallade informationsmatrisen , lika per definition:

I(\theta )=E[g(\theta )g(\theta )^{T}]

Vid den optimala punkten sammanfaller informationsmatrisen med förväntningarna på hessian, taget med ett minustecken:

I=-E(H_{0})

Egenskaper

Maximala sannolikhetsuppskattare kan generellt vara partiska (se exempel), men är konsekventa , asymptotiskt effektiva och asymptotiskt normala uppskattare. Asymptotisk normalitet betyder det

{\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_({\infty }}^{{-1}} )

var är den asymptotiska informationsmatrisen. ${\boldsymbol {I}}_{{\infty }}=-\lim _{{n\rightarrow \infty }}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol { H))$

Asymptotisk effektivitet innebär att den asymptotiska kovariansmatrisen är den nedre gränsen för alla konsekventa asymptotiskt normala estimatorer. ${\boldsymbol {I}}_{{\infty }}^{{-1}}$

Om är den maximala sannolikhetsuppskattningen, parametrar , då är den maximala sannolikhetsuppskattningen för , där g är en kontinuerlig funktion (funktionell invarians). Således kan datadistributionslagar parametriseras på olika sätt. ${\hat {\theta ))$ $\theta$ $g({\hat {\theta )))$ $g(\theta )$
Ett nödvändigt villkor för MP-bedömningar är också implementeringen av ett system av formuläret: $\left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1))}\ln {L_{n))\left({\vec {x)), {\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}} \left({\vec {x)),{\vec {\theta }}\right)&=&0\\\end{matris}}\right.$

var är sannolikhetsfunktionen för urvalsstorleken

L_{n}\left({\vec {x)),{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_ {i},{\vec {\theta }}\right)

{\vec {x}}

n

Exempel

Låta vara ett oberoende urval från en kontinuerlig enhetlig fördelning på intervallet , där är en okänd parameter. Då har sannolikhetsfunktionen formen $X_{1},\ldots ,X_{n}\sim {\mathrm {U}}[0,\theta ]$ $[0,\theta ]$ $\theta >0$

f({\mathbf {x}}\mid \theta )={\begin{fall}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\i [0, \theta ]^{n}\subset {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\inte \i [0,\theta ]^{n}\end{fall }}.

Den sista jämlikheten kan skrivas om som:

f({\mathbf {x}}\mid \theta )={\begin{fall}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1}, \ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},

där , vilket visar att sannolikhetsfunktionen når sitt maximum vid punkten . På det här sättet ${\mathbf {x}}=(x_{1},\ldots ,x_{n})^{{\top }}$ $\theta =\max(x_{1},\ldots ,x_{n})$

{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\max(X_{1},\ldots,X_{n})

En sådan uppskattning kommer att vara partisk: , varifrån $P\{\max(X_{1},\ldots,X_{n})\leq x\}=\left({\frac {x}{\theta }}\right)^{n}$ $E{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\int _{0}^{\theta }xd\left({\frac {x}{\theta }} \right)^{n}={\frac {n}{n+1}}\theta$

Låta vara ett oberoende urval från en normalfördelning med okänt medelvärde och varians . Låt oss konstruera en maximal sannolikhetsuppskattning för en okänd vektor av parametrar . Log-likelihood-funktionen tar formen $X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$ $\left(\widehat {\mu }_{({\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{({\mathrm {M\Pi }}}}\right )^{{{\rm {T))))$ $\left(\mu ,\sigma ^{2}\right)^{{{\rm {T)))))$

L({\mathbf {x}}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}

För att hitta dess maximum likställer vi de partiella derivatorna med noll :

\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\ \[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2))}L({\mathbf {x))\mid \mu ,\sigma ^{2})=0\\\ end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{{i= 1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matris} }\höger.,

var

{\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}

är provmedelvärdet , och

\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}

är provvariansen .

Applikationsmetod [2]

Bearbetar experimentet

Anta att vi mäter någon kvantitet . Efter att ha gjort en mätning fick vi dess värde med ett fel : . Låt oss skriva sannolikhetstätheten att värdet tar värdet : ${\textstyle a}$ ${\textstyle x_{1))$ ${\textstyle \sigma _{1}}$ ${\textstil x_{1}\pm \sigma _{1))$ ${\textstyle a}$ ${\textstyle x_{1))$

$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2))))\exp \left[-{\frac {(x_{1}- a)^{2}}{2\sigma _{1}^{2}}}\right]$ .

Anta nu att vi har tagit flera sådana mätningar och fått . Sannolikhetstätheten för att kvantiteten kommer att anta värdena kommer att vara: ${\textstil x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n))$ ${\textstyle a}$ ${\textstil x_{1},x_{2}\ldots x_{n))$

$W(a)=\prod _{i=1}^{n}({\frac {1}{\sqrt {2\pi \sigma _{i}^{2))))\exp \ vänster[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\höger]}$ .

Denna funktion kallas sannolikhetsfunktionen. Det mest sannolika värdet av det uppmätta värdet bestäms av sannolikhetsfunktionens maximum. Mer bekvämt är funktionen för log-sannolikhet: ${\textstyle a^{*}}$

$L(a)=\ln W(a)=-\summa _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _ {i}^{2}}}+\summa _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}} }}$ .

Differentiera log-likelihood-funktionen med avseende på : ${\textstyle a}$

${\frac {\partial {L}}{\partial {a}}}=\summa _{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma _{ i}^{2}}}}$ .

Jämställd med och få lite värde : ${\frac {\partial {L}}{\partial {a}}}$ ${\textstyle 0}$ ${\textstyle a=a^{*}}$

$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}} ))}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Cramer formulerade följande teorem:

Sats: Det finns ingen annan metod för att bearbeta resultaten av ett experiment som skulle ge en bättre approximation till sanningen än den maximala sannolikhetsmetoden.

Mätfel

Antag att vi har tagit en serie mätningar och fått en serie värden , det är naturligt att skriva att denna fördelning kommer att ha en Gaussisk form : ${\textstyle a^{*}}$

$W(a)={\frac {1}{{\sqrt {2\pi \sigma _{{a^{*))}^{2))))}\exp \left[-{\frac {( a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}\right]$ .

Låt oss skriva den logaritmiska sannolikhetsfunktionen: . $L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2} ))}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}}}$

Låt oss ta den första derivatan:

${\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{{a^{*}}}^{2}}}$ .

Om , då . Ta nu den andra derivatan: ${\frac {\partial {L}}{\partial {a}}}=0$ $a=a^{*}$

${\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{ 2}}}$ , var

$\sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_ {a=a^{*}}\right)^{-1/2}$ .

Detta kallas den första magiska formeln [2] .

Villkorlig maximal sannolikhetsmetod

Den villkorliga maximum likelihood-metoden (Conditional ML) används i regressionsmodeller. Kärnan i metoden är att inte den fullständiga gemensamma fördelningen av alla variabler (beroende och regressorer) används, utan endast den villkorliga fördelningen av den beroende variabeln med faktorer, det vill säga i själva verket fördelningen av slumpmässiga fel i regressionsmodellen . Den totala sannolikhetsfunktionen är produkten av den "villkorliga sannolikhetsfunktionen" och fördelningsdensiteten för faktorerna. Den villkorade MMP är likvärdig med den fullständiga versionen av MMP i de fall då fördelningen av faktorer inte beror på de uppskattade parametrarna på något sätt. Detta villkor överträds ofta i tidsseriemodeller, till exempel den autoregressiva modellen . I det här fallet är regressorerna de tidigare värdena för den beroende variabeln, vilket innebär att deras värden också följer samma AR-modell, det vill säga fördelningen av regressorerna beror på de uppskattade parametrarna. I sådana fall kommer resultaten av att tillämpa metoderna för villkorad och full maximal sannolikhet att skilja sig åt.

Se även

Anteckningar

↑ Fisher - 1912 Mathematical Encyclopedic Dictionary, Moskva: Soviet Encyclopedia, 1988.
↑ 1 2 A.P. Onuchin. Experimentella metoder för kärnfysik. - Novosibirsk: Novosibirsk State Technical University, 2010. - S. 297-303. — 336 sid. — ISBN 978-5-7782-1232-9 .

Litteratur

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Ekonometri. Inledande kurs. - M . : Delo, 2007. - 504 sid. - ISBN 978-5-7749-0473-0 .
Ostapenko R. I. Fundamentals of strukturell modellering i psykologi och pedagogik: ett läromedel för studenter vid den psykologiska och pedagogiska fakulteten. - Voronezh.: VGPU, 2012. - 116 sid. - ISBN 978-5-88519-886-8 .
Nikulin M. S. Kriterium för sannolikhetskvoter // Mathematical Encyclopedia / Vinogradov I. M. (chefredaktör). - M .: Soviet Encyclopedia , 1984. - T. 4. - S. 151. - 1216 sid.

Ordböcker och uppslagsverk	stor kines stor kines stor kines stor kines stor kines Stor ryss