Sannolikhetsfunktion

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 17 mars 2020; kontroller kräver 5 redigeringar .

Sannolikhetsfunktionen i matematisk statistik är den gemensamma fördelningen av ett urval från en parametrisk fördelning, betraktad som en funktion av en parameter. Detta använder fogdensitetsfunktionen (när det gäller ett urval från en kontinuerlig fördelning) eller den gemensamma sannolikheten (i fallet med ett urval från en diskret fördelning) beräknad för dessa urvalsvärden.

Begreppen sannolikhet och sannolikhet är nära besläktade. Jämför två meningar:

"Vad är sannolikheten att få 12 i vart och ett av 100 kast med två tärningar?"
"Hur troligt är det att tärningarna inte är laddade, om av hundra kast vardera kastade 12 poäng?"

Om sannolikhetsfördelningen beror på parametern , kan vi å ena sidan överväga den villkorade sannolikheten för händelser för en given parameter , och å andra sidan sannolikheten för en given händelse för olika värden av parametern . Det första fallet motsvarar en funktion som beror på händelsen : och det andra motsvarar en funktion som beror på en parameter med en fast händelse :. Det sista uttrycket är likelihood-funktionen och visar hur sannolikt det valda parametervärdet är för en känd händelse . $\theta$ $x$ $\theta$ $X$ $\theta$ $x$ $P(x)=P(x\mid \theta )$ $\theta$ $X$ $L(\theta )=L(\theta \mid x=X)$ $\theta$ $X$

Informellt : om sannolikhet tillåter oss att förutsäga okända utfall baserat på kända parametrar, tillåter sannolikheten oss att uppskatta okända parametrar baserat på kända utfall.

L(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x)

Det är viktigt att förstå att inga probabilistiska bedömningar kan göras utifrån sannolikhetens absoluta värde. Sannolikhet låter dig jämföra flera sannolikhetsfördelningar med olika parametrar och utvärdera i sammanhanget vilka av dem de observerade händelserna är mest sannolika.

Definition

Låt en parametrisk familj av sannolikhetsfördelningar ges och ett urval för några ges . Låt oss anta att den gemensamma fördelningen av detta urval ges av en funktion , där antingen är en sannolikhetstäthet eller en sannolikhetsfunktion av en slumpmässig vektor . $\{\mathbb {P} _{\theta }\}_{\theta \in \Theta }$ $X_{1},\ldots ,X_{n}\sim \mathbb {P} _{\theta }$ $\theta \in \Theta$ $f_{\mathbf {X} }(\mathbf {x} \mid \theta ),\;\mathbf {x} \in \mathbb {R} ^{n}$ $f_{\mathbf {X} }$ $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$

För en fast samplingsimplementering kallas funktionen sannolikhetsfunktionen [1] . $\mathbf {X} =\mathbf {x}$ $f_{\mathbf {X} }(\theta \mid \mathbf {x} )\colon \Theta \to \mathbb {R}$

Logg-sannolikhetsfunktion

I många applikationer är det nödvändigt att hitta maximivärdet för sannolikhetsfunktionen, som är associerad med beräkningen av derivatan. Logaritmen är en monotont ökande funktion, så funktionens logaritm når sitt maximum vid samma punkt som själva funktionen. Å andra sidan är produktens logaritm en summa, vilket förenklar differentiering. Därför, för praktiska beräkningar, är det att föredra att använda logaritmen för sannolikhetsfunktionen.

Funktionen kallas den logaritmiska sannolikhetsfunktionen [1] . $L(\theta \mid \mathbf {x} )=\ln f_{\mathbf {X} }(\theta \mid \mathbf {x} )$
Om urvalet är oberoende , då

f_{\mathbf {X} }(\mathbf {x} \mid \theta )=\prod \limits _{i=1}^{n}f_{X_{i))(x_{i}\ mid\theta)

var är densitets- eller sannolikhetsfördelningsfunktionen . Log-likelihood-funktionen har i detta fall formen $f_{X_{i}}(\cdot \mid \theta )$ $\mathbb {P} _{\theta }$

L(\theta \mid \mathbf {x} )=\sum \limits _{i=1}^{n}\ln f_{X_{i}}(\theta \mid x_{i})

Exempel

Låt vara sannolikheten att få huvuden på en myntkastning. Detta värde kan betraktas som en parameter som tar värden från 0 till 1. Låt händelsen vara förlusten av två örnar i två på varandra följande myntkast. Om man antar att resultaten av båda kasten är oberoende identiskt fördelade slumpvariabler , kommer sannolikheten för händelsen att vara lika med . Följaktligen kl $p_{O}$ $OO$ $OO$ $p_{O}^{2}$ $p_{O}=0{,}5$

P(OO\mid p_{O}=0{,}5)=0{,}25.

Således är sannolikhetsfunktionen vid parameterns värde och under villkoret att händelsen inträffar 0,25, vilket kan skrivas matematiskt som $p_{O}=0{,}5$ $OO$

L(p_{O}=0{,}5\mid OO)=0{,}25.

Detta faktum är inte identiskt med påståendet "sannolikheten att, givet förekomsten av en händelse, är 0,25" på grund av Bayes teorem . $p_{O}=0{,}5$ $OO$

Sannolikhetsfunktionen som ges i detta exempel är kvadratisk , så integralen av denna funktion över hela intervallet av parametervärden kommer att vara lika med 1/3. Detta faktum illustrerar en annan skillnad mellan sannolikhetsfunktionen och den vanliga sannolikhetstätheten, vars integral måste vara lika med en. $p_{O}$

Historik

Plausibilitet nämndes första gången i en bok av Thorvald Thiele , publicerad 1889 [2] .

En fullständig beskrivning av idén om sannolikhet gavs först av Ronald Fisher 1922 i hans arbete "The Mathematical Foundations of Theoretical Statistics" [3] . I detta arbete använder Fisher även termen maximum likelihood method . Fisher invänder mot användningen av invers sannolikhet som grund för statistisk slutledning och föreslår att man istället använder sannolikhetsfunktionen.

Se även

Maximal likelihood-metod

Anteckningar

↑ 1 2 Borovkov, 2010 , sid. 105.
↑ Steffen L. Lauritzen, Aspekter av TN Thieles bidrag till statistik Arkiverad 1 oktober 2007 på Wayback Machine (1999). (Engelsk)
↑ Ronald A. Fisher. "Om teoretisk statistiks matematiska grunder". Philosophical Transactions of the Royal Society , A, 222:309-368 (1922). ("plausibility" som nämns i avsnitt 6.) (eng.)

Litteratur

Borovkov, A. A. Matematisk statistik: Lärobok. - 4:e uppl., raderad .. -St. Petersburg. : Lan, 2010. - 704 sid. - (Läroböcker för universitet. Speciallitteratur). -ISBN 978-5-8114-1013-2.