Regressionsanalys

Regressionsanalys är en uppsättning statistiska metoder för att studera inflytandet av en eller flera oberoende variabler på en beroende variabel . Oberoende variabler kallas annars regressorer eller prediktorer, och beroende variabler kallas kriterier eller regressorer. Terminologin för beroende och oberoende variabler återspeglar endast det matematiska beroendet av variabler ( se korrelation ), och inte kausala samband. Den vanligaste typen av regressionsanalys är linjär regression, då en linjär funktion hittas som, enligt vissa matematiska kriterier, bäst matchar data. Till exempel, i metoden för minsta kvadrater, beräknas en rät linje (eller hyperplan), summan av kvadrater mellan vilka och data är minimal. $X_{1},X_{2},...,X_{p}$ $Y$

Mål för regressionsanalys

Bestämning av graden av determinism för variationen av kriteriet (beroende) variabel med prediktorer (oberoende variabler)
Förutsäga värdet på den beroende variabeln med hjälp av den eller de oberoende variablerna
Bestämning av individuella oberoende variablers bidrag till variationen av beroende

Matematisk definition av regression

Strikt regressivt beroende kan definieras enligt följande. Låta vara slumpvariabler med en given gemensam sannolikhetsfördelning. Om för varje uppsättning värden definieras en villkorad förväntan $Y,X_{1},X_{2},\ldots ,X_{p}$ $X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}$

y(x_{1},x_{2},\ldots ,x_{p})={\mathbb {E))(Y\mid X_{1}=x_{1},X_{2}=x_{2 },\ldots ,X_{p}=x_{p})

(allmän regressionsekvation),

då kallas funktionen regression av magnitud för magnituder , och dess graf kallas regressionslinjen för , eller regressionsekvationen . $y(x_{1},x_{2},\ldots,x_{p})$ $Y$ $X_{1},X_{2},\ldots ,X_{p}$ $Y$ $X_{1},X_{2},\ldots ,X_{p}$

Beroendet av manifesteras i förändringen av medelvärdena vid ändring . Även om värdet för varje fast uppsättning värden förblir en slumpvariabel med en viss fördelning . $Y$ $X_{1},X_{2},\ldots ,X_{p}$ $Y$ $X_{1},X_{2},\ldots ,X_{p}$ $X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}$ $Y$

För att klargöra frågan om hur noggrant regressionsanalysen uppskattar förändringen med en förändring , används medelvärdet av variansen för olika uppsättningar värden (i själva verket talar vi om måttet på spridningen av den beroende variabeln runt regressionslinje). $Y$ $X_{1},X_{2},...,X_{p}$ $Y$ $X_{1},X_{2},...,X_{p}$

I matrisform skrivs regressionsekvationen (ER) som: , var är felmatrisen. Med en inverterbar matris X◤X erhålls en kolumnvektor med koefficienterna B, med hänsyn tagen till U◤U=min(B). I ett särskilt fall för X=(±1) är X◤X-matrisen roterbar och SD kan användas i tidsserieanalys och teknisk databehandling. $Y=BX+U$ $U$

Metod för minsta kvadrater (beräkning av koefficienter)

I praktiken söks regressionslinjen oftast som en linjär funktion ( linjär regression ) som bäst approximerar den önskade kurvan. Detta görs med minsta kvadratmetoden , när summan av de kvadrerade avvikelserna för de faktiskt observerade från deras uppskattningar minimeras (vilket betyder uppskattningar med en rät linje som gör anspråk på att representera det önskade regressionsberoendet): ${\displaystyle Y=b_{0}+b_{1}X_{1}+b_{2}X_{2}+\ldots +b_{N}X_{N))$ ${Y}$ ${\hat {Y}}$

\summa _{{k=1}}^{{M}}(Y_{k}-{\hat {Y_{k}}})^{2}\to \min

( är provstorleken). Detta tillvägagångssätt är baserat på det välkända faktumet att summan som visas i uttrycket ovan tar minimivärdet just för fallet när . $M$ $Y=y(x_{1},x_{2},...x_{N})$

För att lösa problemet med regressionsanalys med minsta kvadratmetoden introduceras begreppet restfunktion :

\sigma ({\bar {b)))={\frac {1}{2}}\summa _{{k=1}}^{{M}}{(Y_{k}-{\hat {Y }}_{k})^{2}}

Villkoret för minimum av restfunktionen:

\left\{{\begin{matrix}{\frac {\partial \sigma ({\bar {b)))}{\partial b_{i))}=0\\i=0... N\end{matrix}}\right.\Leftrightarrow {\begin{cases}\sum \limits _{i=1}^{M}{y_{i}}=\summa \limits _{i=1}^ {M}{\sum \limits _{j=1}^{N}{b_{j}x_{i,j}}}+b_{0}M\\\sum \limits _{i=1}^ {M}{y_{i}x_{i,k}}=\summa \limits _{i=1}^{M}{\summa \limits _{j=1}^{N}{b_{j} x_{i,j}x_{i,k}}}+b_{0}\sum \limits _{i=1}^{M}{x_{i,k}}\\k=1,\ldots , N\end{cases}}

Det resulterande systemet är ett system av linjära ekvationer med okända . $N+1$ $N+1$ $b_{0},\ldots ,b_{N}$

Om vi representerar de fria termerna på vänster sida av ekvationerna med matrisen

B=\left({\begin{matrix}\sum \limits _{i=1}^{M}{y_{i}}\\\sum \limits _{i=1}^{M} {y_{i}x_{i,1}}\\\vdots \\\sum \limits _{i=1}^{M}{y_{i}x_{i,N}}\end{matris}} \höger),

och koefficienterna för de okända på höger sida är matrisen

A=\left({\begin{matrix}M&\sum \limits _{i=1}^{M}{x_{i,1}}&\sum \limits _{i=1}^{ M}{x_{i,2}}&...&\sum \limits _{i=1}^{M}{x_{i,N}}\\\summa \limits _{i=1}^ {M}{x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,1}}&\sum \limits _{i=1 }^{M}{x_{i,2}x_{i,1}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,1 }}\\\summa \limits _{i=1}^{M}{x_{i,2}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{ i,2}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,2}}&...&\sum \limits _{i=1}^ {M}{x_{i,N}x_{i,2}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\summa \limits _{i=1}^{M}{ x_{i,N}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,N}}&\sum \limits _{i=1}^{M }{x_{i,2}x_{i,N}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,N}}\end {matris}}\höger),

då får vi matrisekvationen: , som enkelt löses med Gaussmetoden . Den resulterande matrisen kommer att vara en matris som innehåller koefficienterna för regressionslinjeekvationen: $A\timesX=B$

X=\left({\begin{matrix}b_{0}\\b_{1}\\\vdots \\b_{N}\end{matrix}}\right)

För att få de bästa uppskattningarna är det nödvändigt att uppfylla LSM-förutsättningarna (Gauss-Markov-villkoren) . I den engelskspråkiga litteraturen kallas sådana skattningar BLUE ( Best Linear Unbiased Estimators - "the best linear unbiased estimates"). De flesta av de beroenden som studeras kan med hjälp av LSM representeras av icke- linjära matematiska funktioner.

Tolkning av regressionsparametrar

Parametrarna är partiella korrelationskoefficienter; tolkas som andelen av variansen av Y som förklaras genom att fixera påverkan av de återstående prediktorerna, det vill säga den mäter det individuella bidraget till förklaringen av Y. När det gäller korrelerade prediktorer finns det ett problem med osäkerhet i skattningarna , som blir beroende av i vilken ordning prediktorerna ingår i modellen. I sådana fall är det nödvändigt att tillämpa analysmetoderna för korrelation och stegvis regressionsanalys. $bi}$ $(b_{i})^{2}$ $X_{i}$ $X_{i}$

På tal om icke-linjära modeller för regressionsanalys, är det viktigt att vara uppmärksam på om vi talar om icke-linjäritet i oberoende variabler (ur en formell synvinkel, lätt reducerad till linjär regression), eller icke-linjäritet i uppskattade parametrar (orsakar allvarliga beräkningssvårigheter). Med den första typens olinjäritet, från en meningsfull synvinkel, är det viktigt att peka ut utseendet i modellen av medlemmar av formen , , vilket indikerar närvaron av interaktioner mellan funktioner , etc. (se Multicollinearity ). $X_{1}X_{2}$ $X_{1}X_{2}X_{3}$ $X_{1}$ $X_{2}$

Se även

Litteratur

Draper N., Smith G. Tillämpad regressionsanalys. Multipel regression = Tillämpad regressionsanalys. - 3:e uppl. - M . : " Dialektik ", 2007. - 912 sid. — ISBN 0-471-17082-8 .
Förster E., Renz B. Metoder för korrelation och regressionsanalys = Methoden der Korrelation - und Regressiolynsanalyse. - M. : Finans och statistik, 1981. - 302 sid.
Zakharov S. I. , Kholmskaya A. G. Förbättring av effektiviteten vid bearbetning av vibrations- och brussignaler under testning av mekanismer // Vestnik mashinostroeniya : zhurnal. - M . : Mashinostroenie, 2001. - Nr 10 . - S. 31-32 . — ISSN 0042-4633 .
Radchenko S. G. Stabila metoder för uppskattning av statistiska modeller. - K . : PP "Sansparel", 2005. - 504 sid. - ISBN 966-96574-0-7 , UDC: 519.237.5:515.126.2, LBC 22.172 + 22.152.
Radchenko S. G. Metodik för regressionsanalys. - K . : "Korniychuk", 2011. - 376 s. - ISBN 978-966-7599-72-0 .

Ordböcker och uppslagsverk

I bibliografiska kataloger
BNF : 119445648 GND : 4129903-6 J9U : 987007529518905171 LCCN : sh85112392 NDL : 00564579 NKC : ph125086

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG