Uppskattning av a posteriori maximum

I statistik är den maximala a posteriori - uppskattningsmetoden (MAP) nära relaterad till den maximala sannolikhetsmetoden (ML), men dessutom, vid optimering, använder den den tidigare fördelningen av det värde som den uppskattar.

Introduktion

Antag att vi behöver uppskatta en okontrollerad provparameter baserat på observationer . Låta vara en samplingsfördelning så att är sannolikheten medan samplingsparametern är . Sedan funktionen $\theta$ $x$ $f$ $x$ $f(x|\theta )$ $x$ $\theta$

\theta \mapsto f(x|\theta )

kallas sannolikhetsfunktionen och skattningen

{\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )

som en maximal sannolikhetsuppskattning . $\theta$

Anta nu att det finns en tidigare distribution på . Detta gör att den kan behandlas som en slumpmässig variabel som i Bayesiansk statistik . då är den bakre fördelningen : $g$ $\theta$ $\theta$ $\theta$

\theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ') \,d\theta '}}

där distributionstätheten är definitionsdomänen . Detta är en direkt tillämpning av Bayes' sats . $g$ $\theta$ $\Theta$ $g$

Den maximala sannolikhetsuppskattningsmetoden uppskattar sedan hur den bakre fördelningen av denna slumpvariabel är: $\theta$

{\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta) }{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta ) \,g(\theta )

Nämnaren för den bakre fördelningen är inte beroende av och spelar därför ingen roll vid optimering. Observera att MAP-poängen motsvarar ML-poängen när a priori är konstant (dvs konstant ). $\theta$ $\theta$ $g$

Exempel

Antag att vi har en sekvens av iid slumpvariabler och den tidigare fördelningen ges av . Vi vill hitta MAP-uppskattningen av . $(x_{1},\dots,x_{n})$ $N(\mu ,\sigma _{v}^{2})$ $\mu$ $N(0,\sigma _{m}^{2})$ $\mu$

Funktionen som ska maximeras är given

\pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m))))\exp \left(-{\frac {1}{ 2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1} {\sqrt {2\pi \sigma _{v))))\exp \left(-{\frac {1}{2))\left({\frac {x_{j}-\mu }{\sigma _{v}}}\höger)^{2}\höger),

vilket motsvarar att minimera in $\mu$

\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v))}\right)^{2}+\left( {\frac {\mu }{\sigma _{m}}}\right)^{2}.

Således ser vi att MAP-estimatorn för μ är given

{\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v} ^{2}}}\summa _{j=1}^{n}x_{j}.

Se även

EM-algoritm är ett av sätten att beräkna MAP
Maximal likelihood-metod

Litteratur

DeGroot, Morris H. Optimala statistiska beslut. McGraw Hill. 1970.
Harold W. Sorenson . Parameteruppskattning: principer och problem. Marcel Decker. 1980.