Minsta kvadratiska metod

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 3 juni 2022; kontroller kräver 4 redigeringar .

Metoden för minsta kvadrater (LSM) är en matematisk metod som används för att lösa olika problem, baserad på att minimera summan av kvadrater av avvikelser för vissa funktioner från experimentella indata. Det kan användas för att "lösa" överbestämda ekvationssystem (när antalet ekvationer överstiger antalet okända), för att hitta en lösning i fallet med vanliga (ej överbestämda) olinjära ekvationssystem, för att approximera punktvärdena av en viss funktion. OLS är en av de grundläggande metoderna för regressionsanalys för att uppskatta okända parametrar för regressionsmodeller från provdata.

Historik

Fram till början av XIX-talet. vetenskapsmän hade inte vissa regler för att lösa ett ekvationssystem där antalet okända är mindre än antalet ekvationer; Fram till den tiden användes särskilda metoder, beroende på typen av ekvationer och på räknemaskinernas uppfinningsrikedom, och därför kom olika räknare, med utgångspunkt från samma observationsdata, till olika slutsatser. Gauss (1795) är krediterad för den första tillämpningen av metoden, och Legendre (1805) upptäckte och publicerade den självständigt under sitt moderna namn ( franska: Méthode des moindres quarrés ) [1] . Laplace kopplade ihop metoden med sannolikhetsteorin och den amerikanske matematikern Adrain (1808) övervägde dess probabilistiska tillämpningar [2] . Metoden är utbredd och förbättrad genom ytterligare forskning av Encke , Bessel , Hansen m.fl.

A. A. Markovs verk i början av 1900-talet gjorde det möjligt att inkludera minsta kvadratmetoden i teorin om skattning av matematisk statistik, där den är en viktig och naturlig del. Genom ansträngningar av Y. Neiman, F. David, A. Aitken, S. Rao erhölls många viktiga resultat på detta område [3] .

Kärnan i metoden för minsta kvadrater

Låt , en uppsättning skalära experimentella data, , en uppsättning vektor experimentella data, och antas bero på . $y_{i}$ $i=1,...n$ $x_{i}$ $i=1,...n$ $y$ $x$

Någon (i det enklaste fallet, linjär) skalär funktion introduceras , som bestäms av vektorn av okända parametrar . $f(x,{\boldsymbol {\beta )))$ $\beta$

Uppgiften är att hitta en vektor så att totaliteten av fel i någon mening är minimal. $\beta$ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta )))$

Enligt minsta kvadratmetoden är lösningen på detta problem vektorn , vilket minimerar funktionen $\beta$

S({\boldsymbol {\beta )))=\sum _{i=1}^{n}(y_{i}-f(x_{i},{\boldsymbol {\beta )))) ^{2}.

I det enklaste fallet blir resultatet av de minsta kvadraterna det aritmetiska medelvärdet av indata. $f(x)=\beta$

Fördelen med LSM framför att minimera andra typer av fel är att om det är differentierbart med avseende på , så är det också differentierbart. Att likställa partiella derivator till noll minskar problemet med att lösa ett ekvationssystem, och om det beror på linjärt, så kommer ekvationssystemet att vara linjärt. $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$ $S({\boldsymbol {\beta )))$ $f(x,{\boldsymbol {\beta )))$ ${\boldsymbol {\beta ))$

Ett exempel är ett system av linjära ekvationer

I synnerhet kan minsta kvadratmetoden användas för att "lösa" systemet med linjära ekvationer

ax=b

där är en rektangulär matris av storlek (det vill säga antalet rader av matris A är större än antalet variabler som söks). $A$ $m\ gånger n,m>n$

Ett sådant ekvationssystem har i allmänhet ingen lösning. Därför kan detta system "lösas" endast i den meningen att man väljer en sådan vektor för att minimera "avståndet" mellan vektorerna och . För att göra detta kan du tillämpa kriteriet för att minimera summan av kvadratskillnader mellan vänster och höger del av systemets ekvationer, det vill säga . Det är lätt att visa att lösningen av detta minimeringsproblem leder till lösningen av följande ekvationssystem $x$ $Yxa$ $b$ ${\displaystyle (Ax-b)^{T}(Ax-b)\högerpil \min _{x))$

A^{T}Ax=A^{T}b\Högerpil x=(A^{T}A)^{{-1}}A^{T}b

Med pseudo-inversionsoperatorn kan lösningen skrivas om så här:

x=A^{+}b

var är pseudoinversmatrisen för . $A^+$ $A$

Detta problem kan också "lösas" med hjälp av de så kallade viktade minsta kvadraterna (se nedan), när olika ekvationer i systemet får olika vikt utifrån teoretiska överväganden.

Strikt motivering och bestämning av gränserna för meningsfull tillämplighet av metoden gavs av A. A. Markov och A. N. Kolmogorov .

OLS i regressionsanalys (dataapproximation)

Låt det finnas värden för någon variabel (det kan vara resultaten av observationer, experiment, etc.) och motsvarande variabler . Uppgiften är att approximera förhållandet mellan och av någon funktion känd upp till några okända parametrar , det vill säga att hitta de bästa värdena av parametrarna som bringar värdena så nära de faktiska värdena som möjligt . I själva verket reducerar detta till fallet att "lösa" ett överbestämt ekvationssystem med avseende på : $n$ $y$ $x$ $y$ $x$ $f(x,b)$ $b$ $b$ $f(x,b)$ $y$ $b$

$f(x_{t},b)=y_{t},t=1,\ldots ,n$ .

I regressionsanalys, och i synnerhet inom ekonometri, används probabilistiska modeller av sambandet mellan variabler.

$y_{t}=f(x_{t},b)+\varepsilon _{t}$ ,

var finns de så kallade slumpmässiga modellfelen. $\varepsilon _{t}$

Följaktligen antas avvikelserna för de observerade värdena från modellvärdena redan i själva modellen. Kärnan i LSM (vanligt, klassiskt) är att hitta sådana parametrar under vilka summan av kvadrerade avvikelser (fel, för regressionsmodeller kallas de ofta regressionsrester ) kommer att vara minimal: $y$ $f(x,b)$ $b$ $e_{t}$

{\hat b}_{{OLS}}=\arg \min _{{b}}RSS(b)

var är engelska. Restsumma av kvadrater [4] definieras som: $RSS$

RSS(b)=e^{T}e=\summa _{{t=1}}^{n}e_{t}^{2}=\summa _{{t=1}}^{n}( y_{t}-f(x_{t},b))^{2}

I det allmänna fallet kan detta problem lösas med numeriska metoder för optimering (minimering). I det här fallet talar de om icke-linjära minsta kvadrater (NLS eller NLLS - engelska Non-Linear Least Squares ). I många fall kan en analytisk lösning erhållas. För att lösa minimeringsproblemet är det nödvändigt att hitta de stationära punkterna för funktionen genom att differentiera den med avseende på okända parametrar , likställa derivatorna till noll och lösa det resulterande ekvationssystemet: $RSS(b)$ $b$

\summa _{{t=1}}^{n}(y_{t}-f(x_{t},b)){\frac {\partial f(x_{t},b)}{\partial b }}=0

OLS vid linjär regression

Låt regressionsberoendet vara linjärt :

y_{t}=\summa _{{j=1}}^{k}b_{j}x_{{tj}}+\varepsilon =x_{t}^{T}b+\varepsilon _{t}

Låt y vara en kolumnvektor av observationer av variabeln som förklaras, och vara en matris av observationer av faktorer (matrisens rader är vektorerna av faktorvärden i en given observation, längs kolumnerna är vektorn av värden av en given faktor i alla observationer). Matrisrepresentationen av den linjära modellen har formen: $X$ $({n\ gånger k})$

y=Xb+\varepsilon

Då kommer uppskattningsvektorn för den förklarade variabeln och vektorn för regressionsresterna att vara lika med

{\hat y}=Xb,\quad e=y-{\hat {y}}=y-Xb

följaktligen kommer summan av kvadraterna av regressionsresterna att vara lika med

RSS=e^{T}e=(y-Xb)^{T}(y-Xb)

Genom att differentiera denna funktion med avseende på parametervektorn och likställa derivatorna till noll, får vi ett ekvationssystem (i matrisform): $b$

(X^{T}X)b=X^{T}y

I den dechiffrerade matrisformen ser detta ekvationssystem ut så här:

${\begin{pmatrix}\summa x_{{t1}}^{2}&\summa x_{{t1}}x_{{t2}}&\summa x_{{t1}}x_{{t3}}&\ ldots &\summa x_{{t1}}x_{{tk}}\\\summa x_{{t2}}x_{{t1}}&\summa x_{{t2}}^{2}&\summa x_{ {t2}}x_{{t3}}&\ldots &\sum x_{{t2}}x_{{tk}}\\\summa x_{{t3}}x_{{t1}}&\summa x_{{ t3}}x_{{t2}}&\sum x_{{t3}}^{2}&\ldots &\sum x_{{t3}}x_{{tk}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\summa x_{{tk}}x_{{t1}}&\summa x_{{tk}}x_{{t2}}&\summa x_{{tk}}x_{{t3 }}&\ldots &\sum x_{{tk}}^{2}\\\end{pmatrix}}{\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\ \vdots \\b_{k}\\\end{pmatrix}}={\begin{pmatrix}\summa x_{{t1}}y_{{t}}\\\summa x_{{t2}}y_{{ t}}\\\summa x_{{t3}}y_{{t}}\\\vdots \\\summa x_{{tk}}y_{{t}}\\\end{pmatrix}},$ där alla summor tas över alla tillåtna värden på . $t$

Om en konstant ingår i modellen (som vanligt), är därför för alla i det övre vänstra hörnet av matrisen i ekvationssystemet antalet observationer , och i de återstående elementen i den första raden och den första kolumnen - bara summan av variablernas värden: och det första elementet på höger sida av systemet är . $x_{{t1}}=1$ $t$ $n$ $\summa x_{{tj}}$ $\summa y_{{t}}$

Lösningen av detta ekvationssystem ger den allmänna formeln för minsta kvadratuppskattningar för den linjära modellen:

{\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y=\left({\frac {1}{n}}X ^{T}X\right)^{{-1}}{\frac {1}{n}}X^{T}y=V_{x}^{{-1}}C_{{xy}}

För analytiska ändamål visar sig den sista representationen av denna formel vara användbar (i ekvationssystemet, när de divideras med n, visas aritmetiska medel i stället för summor). Om data är centrerad i regressionsmodellen , så har i denna representation den första matrisen betydelsen av sampelkovariansmatrisen av faktorer, och den andra är faktorkovariansvektorn med den beroende variabeln. Om dessutom data också normaliseras till RMS (det vill säga så småningom standardiserad ), så har den första matrisen betydelsen av en provkorrelationsmatris av faktorer, den andra vektorn - vektorer av provkorrelationer av faktorer med en beroende variabel.

En viktig egenskap hos LLS-uppskattningar för modeller med en konstant är att linjen för den konstruerade regressionen passerar genom provdatas tyngdpunkt, det vill säga att likheten är uppfylld:

{\bar {y}}={\hat {b_{1}}}+\sum _{{j=2}}^{{k}}{\hat {b}}_{j}{\bar { x}}_{j}

I synnerhet, i extremfallet, när den enda regressorn är en konstant, finner vi att OLS-estimatet för en enskild parameter (konstanten i sig) är lika med medelvärdet för variabeln som förklaras. Det vill säga, det aritmetiska medelvärdet, känt för sina goda egenskaper från lagarna för stora tal, är också en minsta kvadratisk uppskattning - det uppfyller kriteriet för den minsta summan av kvadrerade avvikelser från det.

De enklaste specialfallen

När det gäller parad linjär regression , när en variabels linjära beroende av en annan uppskattas, förenklas beräkningsformlerna (du klarar dig utan matrisalgebra). Ekvationssystemet har formen: $y_{t}=a+bx_{t}+\varepsilon _{t}$

{\begin{pmatrix}n&\sum _{t=1}^{n}x_{t}\\\summa _{t=1}^{n}x_{t}&\summa _{t =1}^{n}x_{t}^{2}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}\summa _{t=1}^{n}y_{t}\\\summa _{t=1}^{n}x_{t}y_{t}\\\end{pmatrix}}

Härifrån är det lätt att hitta uppskattningar för koefficienterna:

{\begin{cases}{\hat {b}}={\frac {n\sum _{t=1}^{n}x_{t}y_{t}-\left(\sum _{ t=1}^{n}x_{t}\right)\left(\summa _{t=1}^{n}y_{t}\right)}{n\summa _{t=1}^{ n}x_{t}^{2}-\left(\summa _{t=1}^{n}x_{t}\höger)^{2}}},\\{\hat {a}}= {\frac {\sum _{t=1}^{n}y_{t}-{\hat {b))\summa _{t=1}^{n}x_{t}}{n}}. \end{cases}}

Även om konstantmodeller i allmänhet är att föredra, är det i vissa fall känt från teoretiska överväganden att konstanten bör vara noll. Till exempel, inom fysiken har förhållandet mellan spänning och ström formen ; mäta spänning och ström, är det nödvändigt att uppskatta resistansen. I det här fallet talar vi om modellen . I det här fallet, istället för ett ekvationssystem, har vi en enda ekvation $a$ $U=I\cdot R$ $y=bx$

$\left(\sum x_{t}^{2}\right)b=\summa x_{t}y_{t}$ .

Därför har formeln för att uppskatta en enskild koefficient formen

${\hat {b))={\frac {\sum _{t=1}^{n}x_{t}y_{t)){\sum _{t=1}^{n}x_ {t}^{2}}}$ .

Fallet för polynommodellen

Om data approximeras av en polynomregressionsfunktion av en variabel , då, genom att uppfatta graderna som oberoende faktorer för varje , är det möjligt att uppskatta modellparametrarna baserat på den allmänna formeln för att uppskatta de linjära modellparametrarna. För att göra detta, i den allmänna formeln, räcker det att ta hänsyn till att med en sådan tolkning av och . Därför kommer matrisekvationerna i detta fall att ha formen: $f(x)=b_{0}+\sum \limits _{i=1}^{k}b_{i}x^{i}$ $x^i$ $i$ ${\displaystyle x_{ti}x_{tj}=x_{t}^{i}x_{t}^{j}=x_{t}^{i+j))$ ${\displaystyle x_{tj}y_{t}=x_{t}^{j}y_{t))$

${\begin{pmatrix}n&\sum \limits _{n}x_{t}&\ldots &\sum \limits _{n}x_{t}^{k}\\\sum \limits _{ n}x_{t}&\summa \limits _{n}x_{t}^{2}&\ldots &\sum \limits _{n}x_{t}^{k+1}\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _{n}x_{t}^{k}&\sum \limits _{n}x_{t}^{k+1}&\ldots &\ summa \limits _{n}x_{t}^{2k}\end{pmatrix}}{\begin{bmatrix}b_{0}\\b_{1}\\\vdots \\b_{k}\end{ bmatrix}}={\begin{bmatrix}\summa \limits _{n}y_{t}\\\summa \limits _{n}x_{t}y_{t}\\\vdots \\\summa \limits _{n}x_{t}^{k}y_{t}\end{bmatrix}}.$

Statistiska egenskaper för OLS-uppskattningar

Först och främst noterar vi att för linjära modeller är uppskattningarna av minsta kvadrater linjära uppskattningar, enligt ovanstående formel. För opartiska OLS-uppskattningar är det nödvändigt och tillräckligt för att uppfylla det viktigaste villkoret för regressionsanalys : beroende på faktorerna måste den matematiska förväntan av ett slumpmässigt fel vara lika med noll. Detta villkor är uppfyllt, i synnerhet om

den matematiska förväntan på slumpmässiga fel är noll och
Faktorer och slumpmässiga fel är oberoende slumpvariabler .

Det första villkoret för modeller med en konstant kan anses alltid vara uppfyllt, eftersom konstanten antar en matematisk förväntan om fel som inte är noll (därför är modeller med en konstant i allmänhet att föredra).

Det andra villkoret - tillståndet för exogena faktorer - är grundläggande. Om den här egenskapen inte är uppfylld, kan vi anta att nästan alla uppskattningar kommer att vara extremt otillfredsställande: de kommer inte ens att vara konsekventa (det vill säga även en mycket stor mängd data tillåter inte att erhålla kvalitativa uppskattningar i det här fallet). I det klassiska fallet görs ett starkare antagande om faktorers determinism, till skillnad från ett slumpmässigt fel, vilket automatiskt innebär att det exogena villkoret är uppfyllt. I det allmänna fallet, för att uppskattningarna ska vara konsekventa, är det tillräckligt att uppfylla exogenitetsvillkoret tillsammans med konvergensen av matrisen till någon icke-singulär matris med en ökning av urvalsstorleken till oändlighet. $V_{x}$

För att, förutom konsekvens och opartiskhet , uppskattningarna av de (vanliga) minsta kvadraterna också ska vara effektiva (den bästa i klassen av linjära opartiska uppskattningar), måste ytterligare egenskaper för det slumpmässiga felet vara uppfyllda:

Konstant (samma) varians av slumpmässiga fel i alla observationer (ingen heteroskedasticitet ): . $V(\varepsilon _{t})=\sigma ^{2}=konst$

Brist på korrelation ( autokorrelation ) av slumpmässiga fel i olika observationer sinsemellan . $cov(\varepsilon _{i},\varepsilon _{j})=0\quad \forall 1\leq i<j\leq n$

Dessa antaganden kan formuleras för kovariansmatrisen för vektorn av slumpmässiga fel . $V(\varepsilon )=\sigma ^{2}I$

En linjär modell som uppfyller sådana villkor kallas klassisk . LLS- uppskattningar för klassisk linjär regression är opartiska , konsekventa och mest effektiva uppskattningar i klassen av alla linjära opartiska uppskattningar ). Som det är lätt att visa kommer kovariansmatrisen för koefficientuppskattningsvektorn att vara lika med:

$V({\hat {b}}_{{OLS}})=\sigma ^{2}(X^{T}X)^{{-1}}$ .

Effektivitet betyder att denna kovariansmatris är "minimal" (vilken linjär kombination av koefficientuppskattningar som helst, och i synnerhet koefficientuppskattningarna i sig har en minimivarians), det vill säga i klassen linjära opartiska uppskattningar är OLS-uppskattningarna de bästa . De diagonala elementen i denna matris, varianserna för koefficientuppskattningar, är viktiga parametrar för kvaliteten på de erhållna uppskattningarna. Det är dock inte möjligt att beräkna kovariansmatrisen eftersom den slumpmässiga felvariansen är okänd. Det kan bevisas att den opartiska och konsekventa (för den klassiska linjära modellen) uppskattningen av variansen av slumpmässiga fel är värdet:

$s^{2}=RSS/(nk)$ .

Genom att ersätta detta värde i formeln för kovariansmatrisen får vi en uppskattning av kovariansmatrisen. De resulterande uppskattningarna är också opartiska och konsekventa . Det är också viktigt att skattningen av felvariansen (och därmed koefficienternas varians) och uppskattningarna av modellparametrarna är oberoende slumpvariabler, vilket gör det möjligt att få teststatistik för att testa hypoteser om modellkoefficienterna.

Det bör noteras att om de klassiska antagandena inte uppfylls, är minsta kvadratparameteruppskattningarna inte de mest effektiva uppskattningarna (förblir opartiska och konsekventa ). Uppskattningen av kovariansmatrisen förvärras dock ännu mer: den blir partisk och inkonsekvent . Detta innebär att statistiska slutsatser om kvaliteten på den konstruerade modellen i detta fall kan vara extremt opålitliga. Ett sätt att lösa detta problem är att använda speciella uppskattningar av kovariansmatrisen som är konsekventa under överträdelser av de klassiska antagandena ( standardfel i White-formen och standardfel i Newey-West-formen ). Ett annat tillvägagångssätt är att tillämpa de så kallade generaliserade minsta kvadraterna .

Generaliserade minsta kvadrater

Metoden med minsta kvadrater möjliggör en bred generalisering. Istället för att minimera summan av kvadraterna av residualerna, kan man minimera någon positiv-definitiv kvadratisk form av restvektorn , där är någon symmetrisk positiv-definitiv viktmatris. Vanliga minsta kvadrater är ett specialfall av detta tillvägagångssätt, när viktmatrisen är proportionell mot identitetsmatrisen. Som bekant finns det en sönderdelning för symmetriska matriser (eller operatorer) . Därför kan den specificerade funktionalen representeras enligt följande: , det vill säga denna funktion kan representeras som summan av kvadraterna av några transformerade "rester". Således kan vi urskilja en klass av minsta kvadratmetoder - LS-metoder (Minsta kvadrater). $e^{T}Vi$ $W$ $W=P^{T}P$ $e^{T}P^{T}Pe=(Pe)^{T}Pe=e_{*}^{T}e_{*}$

Det har bevisats (Aitkens sats) att för en generaliserad linjär regressionsmodell (där inga restriktioner läggs på kovariansmatrisen av slumpmässiga fel) är de mest effektiva (i klassen linjära opartiska skattningar) uppskattningar av s.k. . generaliserade minsta kvadrater (GLS, GLS - Generaliserade minsta kvadrater) - LS-metod med en viktmatris lika med den inversa kovariansmatrisen för slumpmässiga fel: . $W=V_{{\varepsilon }}^{{-1}}$

Det kan visas att formeln för GLS-uppskattningarna av parametrarna för den linjära modellen har formen

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$ .

Kovariansmatrisen för dessa uppskattningar kommer att vara lika med

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$ .

Faktum är att kärnan i OLS ligger i en viss (linjär) transformation (P) av originaldata och tillämpningen av de vanliga minsta kvadraterna på de transformerade data. Syftet med denna transformation är att för de transformerade data, de slumpmässiga felen redan uppfyller de klassiska antagandena.

Viktad OLS

I fallet med en diagonalviktsmatris (och därmed en kovariansmatris av slumpmässiga fel) har vi de så kallade viktade minsta kvadraterna. I detta fall minimeras den viktade kvadratsumman av modellens residualer, det vill säga varje observation får en "vikt" som är omvänt proportionell mot variansen av det slumpmässiga felet i denna observation: . Faktum är att data transformeras genom att vikta observationerna (dividering med ett belopp som är proportionellt mot den antagna standardavvikelsen för de slumpmässiga felen), och normala minsta kvadrater tillämpas på de viktade data. $e^{T}Vi=\summa _{{t=1}}^{n}{\frac {e_{t}^{2}}{\sigma _{t}^{2}}}$

Se även

Anteckningar

↑ Legendre, på minsta kvadrater. Översatt från franskan av professor Henry A. Ruger och professor Helen M. Walker, Teachers College, Columbia University, New York City. Arkiverad 7 januari 2011 på Wayback Machine
↑ Aleksandrova, 2008 , sid. 102.
↑ Linnik, 1962 , sid. 21.
↑ Magnus, Katyshev, Peresetsky, 2007 , RSS-beteckning inte enhetlig. RSS kan vara förkortning för regressionssumma av kvadrater, och ESS kan vara förkortning för felsumma av kvadrater, så RSS och ESS kommer att ha motsatt betydelse. Med. 52. Utgåvor av 2004..

Litteratur

Yu.V. Linnik Minsta kvadraters metod och grunderna för den matematisk-statistiska teorin om observationsbearbetning. - 2:a uppl. - M. , 1962.(matematisk teori)
Ayvazyan S.A. Tillämpad statistik. Grunderna i ekonometri. Volym 2. - M . : Unity-Dana, 2001. - 432 sid. - ISBN 5-238-00305-6 .
Dougherty K. Introduktion till ekonometri: Per. från engelska. - M. : INFRA-M, 1999. - 402 sid. — ISBN 8-86225-458-7 .
Kremer N. Sh., Putko B. A. Econometrics. - M . : Unity-Dana, 2003-2004. — 311 sid. — ISBN 8-86225-458-7 .
Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Ekonometri. Inledande kurs. - M . : Delo, 2007. - 504 sid. - ISBN 978-5-7749-0473-0 .
Ekonometri. Lärobok / Ed. Eliseeva I. I. - 2:a uppl. - M. : Finans och statistik, 2006. - 576 sid. — ISBN 5-279-02786-3 .
Aleksandrova N. V. Historia om matematiska termer, begrepp, beteckningar: en referensordbok. - 3:e uppl. - M . : LKI, 2008. - 248 sid. - ISBN 978-5-382-00839-4 .
Vitkovsky V.V. Least squares // Encyclopedic Dictionary of Brockhaus and Efron : i 86 volymer (82 volymer och ytterligare 4). - St Petersburg. 1890-1907.
Mitin IV, Rusakov VS Analys och bearbetning av experimentella data. — 5:e upplagan. — 24 s.

Länkar

Online minsta kvadratmetod för beroende y = a + bx med beräkning av koefficientfel och autokorrelationsuppskattning.

Ordböcker och uppslagsverk	Stor dansk stor kines Stor norsk Stor ryss Brockhaus och Efron Ny
I bibliografiska kataloger	NDL : 00570033 NKC : ph135404

Minsta kvadrater och regressionsanalys

Beräkningsstatistik _

Minsta kvadratiska metod
Linjär MNC
Icke-linjära minsta kvadrater
LSM med iterativ omräkning av vikter

Korrelation
och beroende

Pearson korrelationskoefficient
Rank korrelation ( Spearman
Kendall )
Partiell korrelation
Snedvridande faktor

Regressionsanalys

Vanlig MNC
Metod med partiell minsta kvadrat
Minst hela kvadrater
Ridge regression

Regression som
statistisk
modell

Linjär regression	Enkel linjär regression Vanlig MNC Generaliserade minsta kvadrater Viktade minsta rutor Grundläggande linjär modell
prediktiv ram	Polynomregression tillväxtkurva Segmenterad regression Lokal regression
Anpassad regression	icke-linjär Icke-parametrisk semi-parametrisk hållbar kvantil isotoniska
Icke -standardfel	Generaliserad linjär modell Binomial regression Poisson-regression Logistisk tillbakagång

Variansupplösning

Variansanalys
Kovariansanalys
Multivariat variansanalys

Modellstudie

C p Malva
Stegvis regression
Att välja en statistisk modell
Validering av regressionsmodell

Förutsättningar

Genomsnittlig och förväntad respons
Gauss-Markovs teorem
Fel och avvikelser
Statistiskt test
Studentiserad balans
Minsta medelkvadratfel

Experimentplanering
_

Responsytmetodik
Optimal experimentdesign
Bayesiansk experimentdesign

Numerisk
uppskattning

Ansökningar

Approximation med hjälp av kurvor
Kalibreringskurva
Savitsky-Golay filter
Systemidentifiering
Metod för att flytta minsta kvadrater