Klassificeringsproblem

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 14 augusti 2019; kontroller kräver 6 redigeringar .

Klassificeringsuppgiften är en uppgift där det finns många objekt ( situationer ) indelade på något sätt i klasser . En ändlig uppsättning objekt ges för vilka det är känt vilka klasser de tillhör. Denna uppsättning kallas ett prov . Klasstillhörigheten för resten av objekten är okänd. Det krävs att man konstruerar en algoritm som kan klassificera (se nedan) ett godtyckligt objekt från den initiala uppsättningen .

Att klassificera ett objekt innebär att ange numret (eller namnet) på den klass som det givna objektet tillhör.

Objektklassificering - klassens nummer eller namn, utfärdat av klassificeringsalgoritmen som ett resultat av dess tillämpning på detta specifika objekt.

I matematisk statistik kallas klassificeringsproblem även för diskriminantanalysproblem . Inom maskininlärning löses klassificeringsproblemet, särskilt genom att använda metoderna för artificiella neurala nätverk när man sätter upp ett experiment i form av träning med en lärare .

Det finns också andra sätt att sätta upp ett experiment - oövervakat lärande , men de används för att lösa en annan problemklustring eller taxonomi . I dessa problem specificeras inte uppdelningen av träningsprovobjekt i klasser, och det krävs att objekt endast klassificeras utifrån deras likhet med varandra. Inom vissa tillämpade områden, och till och med i själva matematisk statistik, på grund av problemens närhet, skiljer man ofta inte klustringsproblem från klassificeringsproblem.

Vissa algoritmer för att lösa klassificeringsproblem kombinerar övervakat lärande med oövervakat lärande , till exempel är en version av Kohonens neurala nätverk övervakade vektorkvantiseringsnätverk.

Matematisk beskrivning av problemet

Låt vara en uppsättning beskrivningar av objekt, vara en uppsättning nummer (eller namn) av klasser. Det finns ett okänt målberoende — mappning , vars värden endast är kända för objekten i det slutliga träningsprovet . Det krävs att bygga en algoritm som kan klassificera ett godtyckligt objekt . $X$ $Y$ $y^{{*}}\kolon X\till Y$ $X^{m}=\{(x_{1},y_{1}),\dots ,(x_{m},y_{m})\}$ $a\kolon X\till Y$ $x\i X$

Probabilistiskt uttalande av problemet

Det probabilistiska uttalandet av problemet anses vara mer generellt. Det antas att uppsättningen av par "objekt, klass" är ett sannolikhetsutrymme med ett okänt sannolikhetsmått . Det finns en ändlig träningsuppsättning observationer som genereras enligt sannolikhetsmåttet . Det krävs att bygga en algoritm som kan klassificera ett godtyckligt objekt . $X \ gånger Y$ ${\mathsf P}$ $X^{m}=\{(x_{1},y_{1}),\dots ,(x_{m},y_{m})\}$ ${\mathsf P}$ $a\kolon X\till Y$ $x\i X$

Funktionsutrymme

Ett tecken är en mappning , där är uppsättningen av tillåtna värden för ett tecken. Om funktioner är givna kallas vektorn för en egenskapsbeskrivning av objektet . Vägledande beskrivningar kan identifieras med själva objekten. I det här fallet kallas uppsättningen ett funktionsutrymme . ${\displaystyle f\colon X\to D_{f))$ $D_f$ ${\displaystyle f_{1},\dots ,f_{n))$ ${{\mathbf x}}=(f_{1}(x),\dots ,f_{n}(x))$ $x\i X$ $X=D_{{f_{1}}}\times \dots \times D_{{f_{n}}}$

Beroende på uppsättningen är skyltar indelade i följande typer: $D_f$

binärt tecken: ; $D_{f}=\{0,1\}$
nominellt attribut: - finit mängd; $D_f$
ordningsattribut : - ändligt ordnad mängd; $D_f$
kvantitativt tecken: - uppsättning reella tal . $D_f$

Ofta finns det tillämpade problem med olika typer av funktioner, inte alla metoder är lämpliga för deras lösning.

Typologi för klassificeringsproblem

Indatatyper

En vägledande beskrivning är det vanligaste fallet. Varje objekt beskrivs av en uppsättning av dess egenskaper, som kallas funktioner . Funktioner kan vara numeriska eller icke-numeriska.
Avståndsmatris mellan objekt. Varje objekt beskrivs med avstånd till alla andra objekt i träningsprovet. Få metoder fungerar med denna typ av inmatning, i synnerhet metoden närmaste granne , Parzen-fönstermetoden , metoden för potentiella funktioner .
En tidsserie eller signal är en sekvens av mätningar över tid. Varje dimension kan representeras av ett tal, en vektor och, i det allmänna fallet, en vägledande beskrivning av objektet som studeras vid en given tidpunkt.
Bild- eller videosekvens .
Det finns också mer komplexa fall när indata presenteras i form av grafer , texter, databasfrågeresultat , etc. Som regel reduceras de till det första eller andra fallet genom att förbearbeta data och extrahera funktioner .

Klassificeringen av signaler och bilder kallas också för mönsterigenkänning .

Klasstyper

Klassificering i två klasser . Det mest tekniskt enkla fallet, som fungerar som grund för att lösa mer komplexa problem.
Flerklassklassificering. När antalet klasser når många tusen (till exempel när man känner igen hieroglyfer eller kontinuerligt tal), blir uppgiften att klassificera mycket svårare.
icke-överlappande klasser.
överlappande klasser. Ett objekt kan tillhöra flera klasser samtidigt.
Luddiga klasser . Det krävs för att bestämma graden av tillhörighet för ett objekt till var och en av klasserna, vanligtvis är det ett reellt tal från 0 till 1.

Se även

Länkar

www.MachineLearning.ru är en professionell wikiresurs dedikerad till maskininlärning och datautvinning
Konstantin Vorontsov . Föreläsningskurs Matematiska undervisningsmetoder enligt prejudikat , Moskvainstitutet för fysik och teknik , 2004-2008
Yuri Lifshits . Automatic Text Classification (Slides) - Föreläsning #6 från kursen "Algorithms for the Internet"
kNN och Potential Energy ( applet ), E.M. Mirkes och University of Leicester.

Litteratur

Ayvazyan S. A., Buchstaber V. M., Enyukov I. S., Meshalkin L. D. Tillämpad statistik : klassificering och dimensionsreduktion . - M .: Finans och statistik, 1989.
Vapnik VN Rekonstruktion av beroenden baserat på empirisk data. — M.: Nauka, 1979.
Zhuravlev Yu. I. , Ryazanov V. V., Senko O. V. "Erkännande". Matematiska metoder. Mjukvarusystem. Praktiska tillämpningar. — M.: Fazis, 2006. ISBN 5-7036-0108-8 .
Zagoruiko NG Tillämpade metoder för data- och kunskapsanalys. - Novosibirsk : IM SO RAN, 1999. ISBN 5-86134-060-9 .
Shlesinger M., Glavach V. Tio föreläsningar om statistisk och strukturell igenkänning. - Kiev : Naukova Dumka , 2004. ISBN 966-00-0341-2 .
Hastie, T., Tibshirani R., Friedman J. Elementen för statistiskt lärande: Data Mining, inferens och förutsägelse . — 2:a uppl. - Springer-Verlag, 2009. - 746 sid. - ISBN 978-0-387-84857-0 . .
Mitchell T. Machine Learning. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7 .

Artificiell intelligens
Berättelse	Artificiell intelligenss historia Vinter av artificiell intelligens Dartmouth seminarium
Filosofi	Turing test Kinesiskt rum Stark och svag artificiell intelligens Vänlig artificiell intelligens Etiken kring artificiell intelligens Kontrollproblem
Vägbeskrivning	Agent tillvägagångssätt Adaptiv kontroll Kunskapsteknik Livskraftig systemmodell Maskininlärning Neuralt nätverk rolig logik naturlig språkbehandling Mönsterigenkänning Svärm intelligens Symbolisk AI Evolutionära algoritmer Expertsystem
Ansökan	Röst kontroll Klassificeringsproblem Dokumentklassificering Dokumentkluster klusteranalys Lokal sökning Maskinöversätta Optisk teckenigenkänning Taligenkänning Handskriftsigenkänning Spel AI
Forskare	Charles Babbage Vladimir Vapnik Joseph Weizenbaum Norbert Wiener Viktor Glushkov Vladimir Gorodetsky Jan LeCun Alexey Lyapunov John McCarthy Marvin Minsky Allen Newell Seymour Papert Juda pärla Germogen Pospelov Dmitrij Pospelov Frank Rosenblatt Herbert Alexander Simon Alan Turing Patrick Winston Victor Finn Sergey Fomin Demis Hassabis Geoffrey Hinton Noam Chomsky Claude Shannon Andrew Eun Eliezer Judkovsky

Maskininlärning och datautvinning
Uppgifter	Klassificeringsproblem Lärande utan lärare Lärarassisterat lärande Regressionsanalys AutoML Föreningens regler Särdragsextraktion Egenskapsträning Ranking utbildning Grammatisk härledning Online lärande
Att lära sig med en lärare	k-närmaste granne metod Naiv Bayes klassificerare beslutsträd Stöd vektor maskin Linjär regression Logistisk tillbakagång perceptron Ensembler av modeller Säckväv förstärkning slumpmässig skog Relevant vektormetod
klusteranalys	k-betyder metod Fuzzy klustringsmetod Hierarkisk klustring EM algoritm BJÖRK BOTA DBSCAN OPTIK Genomsnittlig förskjutning
Dimensionalitetsreduktion	Faktoranalys Huvudkomponentmetoden CCA ICA LDA Icke-negativ matrisexpansion t-SNE
Strukturell prognos	Graph probabilistisk modell Bayesiskt nätverk Dold Markov-modell CRF
Anomali upptäckt	k-närmaste granne metod Lokal utsläppsnivå
Grafisk probabilistiska modeller	Bayesiskt nätverk Markov nätverk Dold Markov-modell
Neurala nätverk	Begränsad Boltzmann-maskin självorganiserande karta Aktiveringsfunktion Sigmoid softmax Radiell basfunktion Ryggförökningsmetod Djup lärning Flerskiktsperceptron Återkommande neurala nätverk långtidsminne Kontrollerat återkommande block Konvolutionellt neuralt nätverk U-Net Autokodare
Förstärkningsinlärning	Markov process Bellmans ekvation Girig algoritm Q-lärande SARSA Temporell skillnad (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beräkningslärandeteori Empirisk riskminimering Occam lär sig PAC-inlärning Statistisk inlärningsteori
Tidskrifter och konferenser	NeurIPS ICML ML JMLR ArXiv:cs.LG