Att lära sig genom exempel

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 19 maj 2019; kontroller kräver 4 redigeringar .

Att lära av exempel är en typ av inlärning där ett intellektuellt system presenteras med en uppsättning positiva och negativa exempel associerade med någon tidigare okänd regelbundenhet. I intelligenta system utvecklas beslutsregler, med hjälp av vilka exempeluppsättningen delas upp i positiva och negativa. Kvaliteten på separationen kontrolleras vanligtvis av ett urval av exempel. [ett]

Matematisk formalisering

Låt vara en uppsättning beskrivningar av objekt, vara en uppsättning giltiga svar. Det finns ett okänt målberoende — mappning , vars värden endast är kända för objekten i det slutliga träningsprovet . Det krävs att bygga en algoritm som skulle approximera det okända målberoendet både på elementen i provet och på hela uppsättningen . $X$ $Y$ $y^{{*}}\kolon X\till Y$ $X^{m}=\{(x_{1},y_{1}),\dots ,(x_{m},y_{m})\}$ $a\kolon X\till Y$ $X$

De säger också att algoritmen måste kunna generalisera empiriska fakta, eller härleda allmän kunskap ( regelbundenhet , beroende ) från särskilda fakta (observationer, prejudikat).

Förlustfunktioner och kvalitetsfunktioner

En förlustfunktion introduceras som kännetecknar svarets avvikelse från det korrekta svaret på ett godtyckligt objekt . ${{\mathcal L}}(y,y')$ $y=a(x)$ $y'=y^{*}(x)$ $x\i X$

Typiskt val av förlustfunktion:

I klassificeringsproblem ; ${\mathcal {L}}(y,y')=[y'\neq y]$
i regressionsproblem . ${\mathcal {L}}(y,y')=(y'-y)^{2}$

En kvalitetsfunktion introduceras som karakteriserar det genomsnittliga felet ( empirisk risk ) för algoritmen på ett godtyckligt urval $a$ ${\displaystyle X^{m))$

Q(a,X^{m})={\frac {1}{m}}\summa _{{i=1}}^{m}{{\mathcal L}}(a(x_{i}) ,y^{{*}}(x_{i})).

Den empiriska riskminimeringsmetoden är en av de vanligaste metoderna för att lära sig algoritmer från prejudikat. Det består i att hitta en algoritm i en given modell av algoritmer som minimerar medelfelet på träningsuppsättningen: $A=\{a\kolon X\to Y\}$

a={\mathrm {arg}}\min _{{a\in A}}Q(a,X^{m}).

Således reduceras inlärningsproblemet till optimering och kan lösas med numeriska optimeringsmetoder .

Generaliseringsförmåga och problemet med överanpassning

Det lilla värdet av kvalitetsfunktionen på träningsprovet garanterar inte att den konstruerade algoritmen väl kommer att återställa målberoendet av hela utrymmet . Det finns en risk för över- eller överanpassning när man försöker beskriva specifika data mer exakt än vad bullernivån i datan och själva modellens fel i princip skulle tillåta. $X$

Det är lätt att ge ett exempel på en algoritm som minimerar den empiriska risken till noll, men som inte har förmåga att generalisera. Efter att ha fått träningsprovet kommer den ihåg det och jämför sedan det presenterade objektet med träningsobjekten från . Vid en matchning ger algoritmen rätt svar . Annars utfärdas ett godtyckligt svar. Empirisk risk tar minsta möjliga värde lika med noll. Den här algoritmen kan dock inte återställa beroendet utanför inlärningsobjekten. Detta exempel visar på ett övertygande sätt att för framgångsrik inlärning är det nödvändigt att inte bara memorera utan också generalisera. ${\displaystyle X^{m))$ $x$ $x_{i}$ ${\displaystyle X^{m))$ $x=x_{i}$ $y_{i}$

I nästan varje metod görs speciella ansträngningar för att undvika övermontering. Tillämpningsgränserna för den empiriska riskminimeringsmetoden och problemet med överanpassning studeras av den statistiska teorin om lärande .

Funktionsutrymme

Ett tecken är en mappning , där är uppsättningen av tillåtna värden för ett tecken. Om funktioner är givna kallas vektorn för en egenskapsbeskrivning av objektet . Vägledande beskrivningar kan identifieras med själva objekten. I det här fallet kallas uppsättningen ett funktionsutrymme . ${\displaystyle f\colon X\to D_{f))$ $D_f$ ${\displaystyle f_{1},\dots ,f_{n))$ ${{\mathbf x}}=(f_{1}(x),\dots ,f_{n}(x))$ $x\i X$ $X=D_{{f_{1}}}\times \dots \times D_{{f_{n}}}$

Beroende på uppsättningen är skyltar indelade i följande typer: $D_f$

binärt tecken: ; $D_{f}=\{0,1\}$
nominellt attribut: - finit mängd ; $D_f$
ordningsattribut : - ändligt ordnad mängd; $D_f$
kvantitativt tecken: - uppsättning reella tal . $D_f$

Ofta finns det tillämpade problem med olika typer av funktioner, inte alla metoder är lämpliga för deras lösning.

Uppgifter som ska lösas

Uppgiften att fylla i saknade data

Den initiala informationen presenteras i form av vägledande beskrivningar. Värdena för vissa funktioner för vissa objekt kan saknas. Sådana fall uppstår ofta i praktiken. Experimentledaren får till exempel inte registrera resultatet av observationen; svaranden kan vägra att svara på frågan i frågeformuläret; patienten kanske inte klarar denna typ av undersökning; etc. Många dataanalysmetoder kräver dock att inmatningsmatrisen av funktionsbeskrivningar fylls i fullständigt. Följande tillvägagångssätt används ofta för att fylla i saknade värden. Med tanke på denna funktion som ett mål byggs en algoritm som förutsäger dess värde beroende på andra funktioner. Saknade värden fylls i med förutsägelser. Denna operation utförs med alla funktioner som saknar värden.

Om tecknet är kvantitativt tillämpas regressionsåtervinningsmetoder , om tecknet är kvalitativt (nominellt) tillämpas klassificeringsmetoder .

Algoritmer

Anteckningar

↑ A. N. Averkin, M. G. Gaaze-Rapoport , D. A. Pospelov "Explanatory Dictionary of Artificial Intelligence" [1] Arkivexemplar daterad 5 maj 2010 på Wayback Machine

Litteratur

Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Tillämpad statistik : grunderna för modellering och primär databehandling. - M .: Finans och statistik, 1983.
Ayvazyan S. A., Enyukov I. S., Meshalkin L. D. Tillämpad statistik: studiet av beroenden. - M .: Finans och statistik, 1985.
Ayvazyan S. A., Buchstaber V. M., Enyukov I. S., Meshalkin L. D. Tillämpad statistik: klassificering och dimensionsreduktion . - M .: Finans och statistik, 1989.
Vapnik VN Rekonstruktion av beroenden baserat på empirisk data. — M.: Nauka, 1979.
Zhuravlev Yu. I., Ryazanov V. V., Senko O. V. "Erkännande". Matematiska metoder. Mjukvarusystem. Praktiska tillämpningar. — M.: Fazis, 2006. ISBN 5-7036-0108-8 .
Zagoruiko NG Tillämpade metoder för data- och kunskapsanalys. - Novosibirsk : IM SO RAN, 1999. ISBN 5-86134-060-9 .
Shlesinger M., Glavach V. Tio föreläsningar om statistisk och strukturell igenkänning. - Kiev : Naukova Dumka , 2004. ISBN 966-00-0341-2 .
Hastie, T., Tibshirani R., Friedman J. Elementen för statistiskt lärande: Data Mining, inferens och förutsägelse . — 2:a uppl. - Springer-Verlag, 2009. - 746 sid. - ISBN 978-0-387-84857-0 . .
Mitchell T. Machine Learning. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7 .

Länkar

www.MachineLearning.ru är en professionell wikiresurs dedikerad till maskininlärning och datautvinning