Stokastisk approximation

Stokastisk approximation är en återkommande metod för att konstruera en konsekvent sekvens av uppskattningar för lösningar på regressionsekvationer och extrema av regressionsfunktioner i icke-parametriska uppskattningsproblem. Inom biologi, kemi, medicin används det för att analysera resultaten av experiment. I teorin om automatisk kontroll används det som ett sätt att lösa problem med igenkänning, identifiering, inlärning och anpassning [1] . Grundarna av den stokastiska approximationsmetoden är Kiefer, Wolfowitz [2] , Robins , Monroe [3] .

Att hitta en lösning på regressionsekvationen

Låt varje värde på parametern motsvara en experimentellt uppmätt slumpvariabel med fördelningsfunktionen och den matematiska förväntan av värdet vid en fast parameter . Det krävs för att hitta en lösning på regressionsekvationen . Det antas att lösningen av regressionsekvationen är unik, och funktionerna och är okända. $x$ $y$ $F(y|x)$ $y$ $x$ $m(y|x)=m(x)$ $m(x)=\alpha$ $F(y|x)$ $m(x)$

Proceduren för stokastisk approximation för att erhålla uppskattningar av roten till regressionsekvationen består i att använda det träningsurval som erhållits på basis av erfarenhet av uppmätta slumpvariabler . ${\hat {x}}$ $m({\hat {x)))=\alpha$ $y_{1},...,y_{n}$

Uppskattningen av den önskade roten baseras på den tidigare uppskattningen med hjälp av träningsvärdet för den uppmätta slumpvariabeln med hjälp av relationen , där , är ett godtyckligt tal [3] . ${\displaystyle {\hat {x_{n+1))))$ ${\displaystyle {\hat {x_{n))))$ $y_{n}$ ${\hat {x_{n+1}}}={\hat {x_{n}}}+a_{n}(\alpha -y_{n})$ $n\geqslant 1$ ${\displaystyle {\hat {x_{1))))$

Om sekvensen av koefficienter uppfyller villkoren , , , då för , tenderar skattningen i sannolikhet till roten av ekvationen . $a_{n}$ $a_{n}>0$ $\sum _{n=1}^{\infty }a_{n}=\infty$ $\sum _{n=1}^{\infty }a_{n}^{2}<\infty$ $n\till\infty$ ${\displaystyle {\hat {x_{n+1))))$ $m({\hat {x)))=\alpha$

Med några ytterligare krav på regressionsfunktionen kan uppskattningarna konvergera i medelkvadrat till lösningen av regressionsekvationen [4] [5] . $m(x)$ ${\displaystyle {\hat {x_{n+1))))$

Exempel

Hårdheten hos en legering av koppar och järn beror på den tid under vilken legeringen utsätts för hög temperatur. I detta fall är den uppmätta slumpvariabeln legeringens hårdhet , och uppgiften är att bestämma den tidpunkt då legeringen har en given hårdhet [6] . $y$ $x$ $y$ ${\hat {x}}$ $y=\alpha$

Hitta extremumet för regressionsfunktionen

Uppskattningen av extremvärdet för regressionsfunktionen hittas på basis av tidigare uppskattning och träningsvärden för den uppmätta slumpvariabeln och med hjälp av relationen , där , är ett godtyckligt tal, är en sekvens av positiva tal, och sekvenser och är oberoende och motsvarar värdena för parametern och [2] . ${\displaystyle {\hat {x_{n+1))))$ ${\displaystyle {\hat {x_{n))))$ ${\displaystyle y_{2n))$ $y_{2n-1}$ ${\hat {x_{n+1}}}={\hat {x_{n}}}+{\frac {a_{n}}{c_{n}}}(y_{2n}-y_ {2n-1})$ $n\geqslant 1$ ${\displaystyle {\hat {x_{1))))$ $a_{n}$ ${\displaystyle y_{2n))$ $y_{2n-1}$ ${\hat {x_{n}}}+c_{n}$ ${\hat {x_{n}}}-c_{n}$

Om sekvenserna av koefficienter och uppfyller villkoren , , för , , , , Sedan för , tenderar uppskattningen i sannolikhet till extremvärdet av regressionsfunktionen. $a_{n}$ $c_{{n}}$ $a_{n}>0$ $c_{n}>0$ $c_{n}\to 0$ $n\till\infty$ $\sum _{n=1}^{\infty }a_{n}=\infty$ $\sum _{n=1}^{\infty }a_{n}c_{n}<\infty$ $\sum _{n=1}^{\infty }({\frac {a_{n}}{c_{n}}})^{2}<\infty$ $n\till\infty$ ${\displaystyle {\hat {x_{n+1))))$

Med några ytterligare krav på regressionsfunktionen kan uppskattningar konvergera i medelkvadrat till regressionsfunktionens extremum [5] . $m(x)$ ${\displaystyle {\hat {x_{n+1))))$

Exempel

Avkastningen av en tomt beror på mängden gödselmedel . I det här fallet är den uppmätta slumpvariabeln skörden , och uppgiften är att bestämma mängden gödselmedel , vid vilken marken har maximal skörd [6] . $y$ $x$ $y$ ${\hat {x}}$

Anteckningar

↑ Tsypkin Ya.Z. ”Anpassning, lärande och självlärande i automatiska system”, // Automation och telemekanik . - 1966. - Nr 1. - S. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991
↑ 1 2 Kiefer J., Wolfowitz J. Stokastisk uppskattning av maximivärdet för en regressionsfunktion // Ann. Matematik. statistik. - 1952. - v. 23. - Nr 3.
↑ 1 2 Robbins N., Monro S. En stokastisk approximationsmetod // Annals of Math. statistik. - 1951. - v. 22. - Nr 1. - S. 400-407.
↑ Vazan, 1972 , sid. arton.
↑ 1 2 Loginov N. V. "Methods of stochastic approximation" // Automation and Remote Control . - 1966. - Nr 4. - S. 185-204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080
↑ 1 2 Vazan, 1972 , sid. tio.

Litteratur

Vazan M. Stokastisk Approximation. — M .: Mir, 1972. — 295 sid.
Tsypkin Ya.Z. Grunderna i teorin om lärsystem. - M. : Nauka, 1970. - 251 sid.
Tsypkin Ya.Z. Anpassning och lärande i automatiska system. — M .: Nauka, 1968. — 399 sid.