Informationskriterium

Informationskriterium är ett mått på den relativa kvaliteten på ekonometriska (statistiska) modeller som används i ekonometri (statistik), med hänsyn till graden av "anpassning" av modellen till data med en justering (straff) för antalet uppskattade parametrar som används . Det vill säga att kriterierna bygger på någon kompromiss mellan modellens noggrannhet och komplexitet. Kriterierna skiljer sig åt i hur de uppnår denna balans.

Kriteriernas informativa karaktär är förknippad med begreppet informationsentropi och avståndet Kullback-Leibler , på grundval av vilket det historiskt första kriteriet utvecklades - Akaike-kriteriet (AIC) , som föreslogs 1974 av Hirotsugu Akaike [1] .

Informationskriterier används uteslutande för att jämföra modeller med varandra, utan en meningsfull tolkning av dessa kriteriers värden. De tillåter inte testning av modeller i betydelsen att testa statistiska hypoteser. Vanligtvis gäller att ju lägre kriterievärdena är, desto högre är modellens relativa kvalitet.

Akaike Information Criteria (AIC)

Föreslog av Hirotugu Akaike 1971, beskrev och studerade av honom 1973, 1974, 1983. Inledningsvis dechiffrerades förkortningen AIC, som föreslogs av författaren, som " ett informationskriterium " ("ett visst informationskriterium"), men efterföljande författare kallade det Akaike informationskriterium n. Den ursprungliga beräkningsformeln för kriteriet har formen:

AIC=2k-2l

där är värdet på den logaritmiska sannolikhetsfunktionen för den konstruerade modellen, är antalet använda (uppskattade) parametrar. $l$ $k$

Många moderna författare, såväl som i många ekonometriska mjukvaruprodukter (till exempel i EViews), använder en något annorlunda formel, vilket innebär att dividera med urvalsstorleken , enligt vilken modellen byggdes: $n$

AIC=2k/n-2l/n

Detta tillvägagångssätt gör det möjligt att jämföra modeller uppskattade från urval av olika storlekar.

Ju mindre kriterievärde, desto bättre modell. Många andra kriterier är modifieringar av AIC.

Bayesian Information Criterion (BIC) eller Schwartz Criterion (SC)

Bayesian information criterion (BIC) föreslogs av Schwartz 1978, så det kallas ofta också för Schwarz-kriteriet (SC). Den utvecklades baserat på Bayesian-metoden och är den mest använda modifieringen av AIC:

BIC=SC=k\ln n-2l

Som framgår av formeln innebär detta kriterium en större straff för ökningen av antalet parametrar jämfört med AIC, eftersom mer än 2 redan med 8 observationer $\ln n$

Andra informationskriterier

Det konsekventa AIC-kriteriet ( CAIC ) som föreslogs 1987 av Bozdogan:

CAIC=(1+\ln n)k-2l

Detta kriterium är asymptotiskt ekvivalent med . Samma författare föreslog 1994 ändringar som ökar koefficienten med antalet parametrar (istället för 2 - 3 eller 4 för och ). $BIC$ ${\displaystyle AIC_{3))$ ${\displaystyle AIC_{4))$

Det korrigerade Akaike-testet (Corrected AIC- ), som rekommenderas för användning på små prover (föreslog 1978 av Sugiura): $AIC_{c}$

AIC_{c}=AIC+{\frac {2k(k+1)}{nk-1))

Hannan-Quinn (HQ)-testet föreslogs av författarna 1979

HQ=2k\ln \ln n/n-2l/n

Detta kriterium, tillsammans med AIC och BIC, utfärdas vid utvärdering av modeller med diskreta och begränsade beroende variabler i EViews.

Det finns också AIC-modifieringar som använder mer komplexa strafffunktioner som beror på Fisher-information och andra egenskaper.

Informationskriterier i särskilda fall

I ett specialfall av klassisk normal linjär regression är log-likelihood-funktionen lika med

l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})

där är en konsekvent uppskattning (maximal likelihood-metod) av variansen av modellens slumpmässiga fel, lika med förhållandet mellan summan av kvadraterna av residualerna och urvalsstorleken. ${\hat {\sigma }}^{2}$

Genom att ersätta värdet på log-likelihood-funktionen i AIC-formeln (delad med urvalsstorleken), samt att inte ta hänsyn till de konstanta termerna 1 och (eftersom de inte påverkar resultatet när man jämför modeller), får vi följande formel: $\ln 2\pi$

AIC=2k/n+\ln {\hat {\sigma }}^{2}

Egenskaper

Tillämpningen av olika kriterier kan leda till val av olika modeller. I många verk jämförs dessa kriterier, men det finns ingen slutlig slutsats om preferensen för ett eller annat kriterium. Därför ger mjukvaruprodukter vanligtvis minst två kriterier (AIC, BIC), för vissa modeller också ett tredje (HQ). Det är känt att för autoregressiva modeller överskattar AIC-kriteriet modellens ordning, det vill säga uppskattningen av modellens ordning baserat på detta kriterium är ohållbar. Ett konsekvent kriterium för att välja ordningen på en autoregressiv modell är BIC.

Länkar

↑ Akaike, Hirotugu . En ny titt på statistisk modellidentifiering (neopr.) // IEEE Transactions on Automatic Control. - 1974. - T. 19 , nr 6 . - S. 716-723 . - doi : 10.1109/TAC.1974.1100705 .

Litteratur

Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
Greene, William H. (1997) Econometric Analysis, 3:e upplagan, Prentice-Hall.