Wiktionary

Wiktionary är en  fritt uppdaterad multifunktionell flerspråkig ordbok och synonymordbok baserad på en wikimotor . Ett av projekten i Wikimedia Foundation . Uppträdde ursprungligen på engelska den 12 december 2002 .

Ordboken innehåller grammatiska beskrivningar, tolkningar och översättningar av ord. Dessutom kan artiklarna återspegla information om ordens etymologi , fonetiska egenskaper och semantiska samband. Således är Wiktionary ett försök att kombinera grammatik , förklarande , etymologiska och flerspråkiga ordböcker, såväl som en synonymordbok, i en produkt.

Wiktionary-data används aktivt för att lösa olika problem relaterade till maskinell bearbetning av text och tal .

Lexikografiskt koncept

Genom det inbördes förhållandet mellan de olika språksektionerna av Wiktionary, och mellan bidragsgivare till Wikimedia Foundations ordförråd och andra projekt , kan bidragsgivare till varje projekt använda begreppen, verktygen och lexikografiska material som skapats av sina andra talare på andra språk. Under arbetet med olika språksektioner i ordboken bildades ett komplext koncept av en universell lexikografisk resurs, vilket blev möjligt för första gången tack vare elektronisk teknik. Konceptet förutsätter i slutändan en fullständig, omfattande beskrivning av alla lexikaliska enheter av alla naturliga (och grundläggande konstgjorda) språk som har ett skriftspråk. Beskrivningens fullständighet innebär tillgången på information om fonetik, morfologi, syntaktiska och semantiska egenskaper hos den lexikala enheten, dess etymologi, kompatibilitet och frasologi. Fullständigheten och graden av konsekvens i implementeringen av detta koncept kan variera i olika språksektioner av projektet.

I varje språksektion är det "titulära" språket centralt - alla artiklar skrivs uteslutande i det, dessutom är målet att ge översättningar av ord och andra enheter av detta språk till så många andra språk som möjligt. Orden på andra språk översätts som regel endast till detta "titulära" språk. Så i den ryska Wiktionary för ryska ord ges tolkningar och översättningar till främmande språk, för främmande ord, istället för tolkningar, ges översättningar till ryska .

Vid beskrivning av morfologin görs ett försök att ge den mest fullständiga bilden av böjningen, inklusive en indikation av böjningsklassen. I synnerhet ges morfologisk information om ryska lexem i enlighet med klassificeringen som föreslagits av A. A. Zaliznyak .

För att fylla på Wiktionary har en omfattande bibliografi skapats och den engelska Wiktionary har tagit fram regler för att inkludera en term i ordboken (se Kriterier för inkludering ). Till skillnad från ryska Wikipedia , där prioritet i valet av material ges till auktoritativa källor [Not 1] , i Ryska Wiktionary, råder analysen av ordanvändning som utförs av redaktören för artikeln [Not 2] .

Thesaurus

Wiktionary innehåller följande semantiska relationer: synonymer , antonymer , hypernyms , hyponymer , samhyponymer , holonymer , meronymer , paronymer .

Wikipedia och Wiktionary

Wiktionary innehåller inte detaljerade beskrivningar av fakta och encyklopedisk information. Däremot tillhandahåller Wiktionary unik information som inte finns på Wikipedia: kollokationer, talesätt, förkortningar, akronymer, beskrivningar av stavfel, förenklade/förvanskade stavningar/uttal av ord, kontroversiella användningsfall, protologismer , onomatopoei , olika stilar (t.ex. vardagligt) och ämne områden [1] . Därmed kompletterar Wikipedia och Wiktionary varandra.

Wiktionary liknar Wikipedia genom att (1) det finns interna länkar till inlägg om ord inom Wiktionary, (2) det finns kategorier, (3) det finns interwikis som länkar till poster om samma ord i en främmande språkordbok [1] .

Ryska avsnittet

Dynamiken i utvecklingen av den ryska Wiktionary

Den ryska delen av Wiktionary skapades våren 2004 . I ett och ett halvt år utvecklades det praktiskt taget inte, och fyllde på sig själv på måfå, främst med material av låg kvalitet. Situationen började förändras i slutet av 2005  - början av 2006 .

2006 utsågs den första administratören av Schwallex , volymen av artiklar ökade nästan fyra gånger jämfört med föregående år, kraftfulla verktyg för att beskriva morfologi skapades och ett utvecklat system av semantiska kategorier började ta form.

På hösten 2006 hade antalet inlägg i den ryska Wiktionary nått 10 000; sedan, tack vare skapandet av en bot som använder ordböcker från andra delar av Wiktionary för att generera tomma artiklar i den ryska delen, lades omkring 70 000 fler artiklar till på en och en halv månad. Den 7 november 2006 passerade Wiktionary 80 000-strecket och den 10 december 2006 togs milstolpen med 100 000 bidrag. Den 17 december 2018 passerade antalet artiklar 1 000 000. Antalet aktiva deltagare var cirka 230 stycken.

I motsats till situationen med traditionella ordböcker, kan Wiktionarys fullständighet inte bedömas tillräckligt med en formell indikator på antalet poster. Den automatiska räknaren skiljer inte mellan halvtomma skivor och verkligt informativa artiklar, dessutom tar den inte hänsyn till intralingual och interlingual homonymi. Till exempel är ordboksposten boron listad som en post, under tiden beskriver denna artikel flera homonyma lexem av det ryska språket, såväl som lexem med samma namn på andra språk (bulgariska, tatariska), - i traditionella ordböcker detta material skulle ordnas och beaktas i form av flera bidrag.

Jämförelse med andra Wiktionaries

Från och med augusti 2008 kom den ryska Wiktionary ut i topp när det gäller databasstorlek bland alla Wiktionaries [3] . Samtidigt är antalet poster i den ryska Wiktionary inte det största [4] . Detta beror delvis på att för projekt som har fler artiklar än i den ryska Wiktionary kan artiklarna ha en genomsnittlig storlek på en mindre storlek, vilket kan ses på statistikwebbplatsen [5] .

Dessutom innehåller den ryska Wiktionary, jämfört med andra delar av Wiktionary, en större mängd hjälpinformation, inklusive uppslagstabeller, listor med vanliga ord, etc. (till skillnad från ordboksposter som utgör den så kallade huvudnamnrymden, är sådan information placeras i avsnitten ”, ”Indeks” etc.). Ett betydande antal poster i den ryska Wiktionary är fortfarande tomma som genereras av bots. Även om man ibland kan stöta på kritik av ett stort antal tomma artiklar, har en sådan pre-markup många fördelar. För det första hjälper det att skapa artiklar snabbare genom att i förväg inkludera viss information, till exempel orddelen av ordet som beskrivs. För det andra standardiseras artiklarnas struktur. På grund av den utbredda användningen av mallar (som vanligtvis omedelbart läggs ner av botar när artiklar skapas automatiskt) blir det möjligt att centralt ändra utseendet på många artiklar samtidigt. Förekomsten av ett stort antal mallar hjälper också till att utföra ytterligare automatiserad redigering av redan skapade artiklar - till exempel automatiskt lägga ner översättningen enligt förberedda ordböcker (eftersom det är lättare för bots att navigera i strukturen av en artikel redan märkt med specialiserade strukturer, snarare än mänskligt språk). Ett utmärkande drag för den ryska Wiktionary är ett välutvecklat koncept för utveckling (som finns på huvudsidan). På grund av det välutvecklade konceptet och den breda användningen av mallar ser artiklar i den ryska Wiktionary mer ut av samma typ än i många andra projekt (antalet avsnitt, ordningen i vilka de visas, designen av varje avsnitt är i princip samma).

Författarna beräknade antalet ordboksposter om ryska ord, antalet poster med och utan tolkningar i två Wiktionarys (illustrerade). Policyn för redaktörerna för den engelska Wiktionary (att inte skapa tomma artiklar) bekräftades: det finns bara 5,57% av ordboksposterna om ryska ord utan tolkning. I den ryska Wiktionary finns 60,39 % av sådana artiklar. Men i den ryska Wiktionary (från och med 2011) finns det nästan 3,4 gånger fler poster med tolkningar för ryska ord än i den engelska Wiktionary: 53,6 tusen mot 15,7 tusen [2] .

Applikation i NLP- uppgifter

För att använda Wiktionary lexikografiska data för att lösa problem med automatisk text- och talbehandling,  är det nödvändigt att konvertera texterna i ordboksposter ( semi-strukturerade data [6] ) till ett maskinläsbart format [7] [8] [9] .

Att extrahera data från Wiktionaries är inte en lätt uppgift. Följande svårigheter kan identifieras [10] : (1) regelbundna och frekventa förändringar i både data och själva strukturen för artiklar, (2) olika wiktionärer har olika struktur och format för artiklar [Not 3] , (3) wikiteknologi är initialt fokuserat på användarvänlighet, inte maskintillverkat.

Det finns flera analyser för olika Wiktionaries [11] :

• DBpedia Wiktionary  är en av förlängningarna av DBpedia- projektet , data extraheras från engelska, franska, tyska och ryska Wiktionary. Extraherade: språk, ordled, tolkning, semantiska relationer, översättningar. För dataextraktion används följande: deklarativ beskrivning av ordbokspoststrukturen [12] , reguljära uttryck [13] och FST - en slags tillståndsmaskin [14] .
• JWKTL (Java Wiktionary Library) - API till data från engelska och tyska Wiktionaries [15] . Utdrag: språk, ordled, tolkning, citat, semantiska relationer, etymologi och översättningar. Programmet är tillgängligt för icke-kommersiellt bruk.
• wikokit  är en tolk för engelska och ryska Wiktionaries [16] . Extraherat: språk, ordled, tolkning, citat [17] (endast för rysk Wiktionary), semantiska relationer [18] och översättningar. Källkoden för programmet är tillgänglig under villkoren för en öppen multi -licens .

Wiktionärer används för att lösa olika uppgifter relaterade till text- och talbehandling [19] :

• regelbaserad maskinöversättning mellan holländska och afrikaans ; data från engelska och holländska Wiktionaries och två wikipedior används inom ramen för Apertium- systemet [20] ;
• skapande av en maskinläsbar ordbok av NULEX-parsern som integrerar öppna språkliga resurser: English Wiktionary, WordNet och VerbNet [21] . För ett substantiv extraherades ordled och pluralform från den engelska Wiktionary, och för verb, tiden. Skärmskrapning användes för att extrahera data från Wiktionary ;
• taligenkänning och syntes , där Wiktionary fungerar som en datakälla för att automatiskt bygga en uttalsordbok [22] . Ord-uttalspar extraheras (transkription i IPA -systemet ) från de tjeckiska, engelska, franska, tyska, polska och spanska Wiktionaries [Not 4] . Vid kontroll visade det sig att det största antalet fel fanns i transkriptioner utvunna från den engelska Wiktionary [23] ;
• bygga ontologier [24] och kunskapsbaser [25] ;
• ontologisk kartläggning [26] ;
• förenkling av texten . I [27] uppskattas ords komplexitet baserat på Wiktionary-data. För ett ord från den engelska Wiktionary extraheras följande: storleken på ordboksposten, antalet orddelar, antalet betydelser och antalet översättningar. Författarna till [27] föreslog att enklare, mer grundläggande, vanligare ord skulle vara de som har fler betydelser (det vill säga storleken på artikeln blir större), fler orddelar och fler översättningar. Vidare måste de "komplexa" orden som finns i texten parafraseras, mer "enkla" motsvarigheter bör hittas, vilket kommer att leda till förenkling (anpassning) av texten;
• partiell markering . I (Lee et al., 2012) [28] , baserat på data från den engelska Wiktionary, byggdes POS-taggare för åtta språk med "dåliga språkliga resurser" med hjälp av dolda Markov-modeller . [Anmärkning 5]
• textsentimentanalys [29] .

Se även

• Tatoeba

Anteckningar

1. ↑ Wikipedia: Auktoritativa källor

   Wikipedia-artiklar måste baseras på publicerade auktoritativa källor .

2. ↑ Wiktionary: Lexikografiskt koncept

   Om det finns meningsskiljaktigheter om någon av de beskrivna egenskaperna hos någon språkenhet, prioriteras (bevismässigt) till korpuskällor.

3. ↑ Jämför till exempel strukturen och reglerna för formatering av artiklar i den engelska Wiktionary och den Ryska Wiktionary .
4. ↑ Om det finns flera transkriptioner i ordboksposten tas den första.
5. ↑ Källkoden för programmet och resultaten av partiell taggning är tillgängliga online: https://code.google.com/p/wikily-supervised-pos-tagger Arkiverad 14 april 2013 på Wayback Machine

1. ↑ 12 Zesch et al, 2008 , sid. 2.
2. ↑ 1 2 Smirnov et al., 2012 .
3. ↑ Wiktionary statistik: Databasstorlek . Datum för åtkomst: 28 oktober 2010. Arkiverad från originalet den 10 augusti 2011. (obestämd)
4. ↑ Wiktionary statistik . Hämtad 14 februari 2010. Arkiverad från originalet 5 januari 2009. (obestämd)
5. ↑ Wiktionary statistik: Bytes per artikel . Hämtad 14 februari 2010. Arkiverad från originalet 10 augusti 2011. (obestämd)
6. ↑ Meyer och Gurevych, 2012 , sid. 140.
7. ↑ Zesch et al, 2008 , figur 1, sid. fyra.
8. ↑ Meyer och Gurevych, 2010 , sid. 40.
9. ↑ Krizhanovsky, Transformation, 2010 , sid. ett.
10. ↑ Hellmann och Auer, 2013 , s. 16 i PDF, sid. 302.
11. ↑ Hellmann et al, 2012 , Tabell 1, sid. 3.
12. ↑ Hellmann et al, 2012 , s. 8-9.
13. ↑ Hellmann et al, 2012 , sid. tio.
14. ↑ Hellmann et al, 2012 , sid. elva.
15. ↑ Zesch et al, 2008 .
16. ↑ Krizhanovsky, Transformation, 2010 .
17. ↑ Krizhanovsky, 2011 .
18. ↑ Krizhanovsky, Comparison, 2010 .
19. ↑ Smirnov et al., 2012 , s. 233-234.
20. ↑ Otte och Tyers, 2011 .
21. ↑ McFate och Forbus, 2011 .
22. ↑ Schlippe et al., 2012 .
23. ↑ Schlippe et al., 2012 , sid. 4804.
24. ↑ Meyer och Gurevych, 2012 .
25. ↑ ConceptNet 5 . Hämtad 17 april 2013. Arkiverad från originalet 19 april 2013. (obestämd)
26. ↑ Lin och Krizhanovsky, 2011 .
27. ↑ 12 Medero och Ostendorf, 2009 .
28. ↑ Li et al, 2012 .
29. ↑ Chesley et al, 2006 .

Litteratur

• Krizhanovsky A. Omvandla strukturen för en Wiktionary-ordbokspost till tabeller och relationer i en relationsdatabas  : förtryck. — 2010.
• Krizhanovsky A. Jämförelse av synonymordboken i de ryska och engelska Wiktionarys omvandlade till ett maskinläsbart format  : förtryck. — 2010.
• Krizhanovsky A. Utvärdering av användningen av korpus och digitala bibliotek i den ryska Wiktionary // Proceedings of the international conference "Corpus Linguistics-2011". - St Petersburg. : S:t Petersburgs delstat. Universitetet, Filologiska fakulteten, 2011. - S. 217-222. — 348 sid. - ISBN 978-5-8465-0005-5 .
• Smirnov A. V., Kruglov V. M., Krizhanovsky A. A., Lugovaya N. B., Karpov A. A., Kipyatkova I. S. Kvantitativ analys av ryska WordNet-vokabulär och Wiktionaries // Proceedings of SPIIRAS. - St Petersburg. , 2012. - T. 23. - S. 231–253.
• Chesley P., Vincent B., Li Xu, Srihari RK Använda verb och adjektiv för att automatiskt klassificera bloggsentiment // Träning. - 2006. - T. 580. - S. 233-235.
• Hellmann S., Brekle J., Auer S. Utnyttja Crowdsourcing av lexikaliska resurser för att starta upp ett språkligt datamoln  : Proc. Joint Int. Semantisk teknikkonferens (JIST), 2-4 dec. — Nara, Japan, 2012.
• Hellmann S., Auer S. Towards Web-Scale Collaborative Knowledge Extraction // The People's Web Meets NLP / Gurevych, Iryna; Kim, Jungi. - Springer, 2013. - S. 287-313. — 378 sid. - (Teori och tillämpningar av naturlig språkbehandling). - ISBN 978-3-642-35084-9 .
• Li S., Graça JV, Taskar B. Wiki-ly-övervakad del-of-speech tagging  : Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. - Jeju Island, Korea: Association for Computational Linguistics, 2012. - S. 1389-1398 . Arkiverad från originalet den 22 maj 2013.
• Lin F., Krizhanovsky A. Flerspråkig ontologimatchning baserad på Wiktionary-data tillgänglig via SPARQL-slutpunkt // Proc. av den 13:e ryska konferensen om digitala bibliotek RCDL'2011. 19-22 oktober, Voronezh, Ryssland. - 2011. - S. 19-26.
• McFate C., Forbus K. NULEX: An Open-License Broad Coverage Lexicon // The 49th Annual Meeting of Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 juni 2011, Portland, Oregon, USA - Korta papper. - Föreningen för datorlingvistik, 2011. - S. 363-367. - ISBN 978-1-932432-88-6 .
• Medero J. och Ostendorf M. Analys av ordförrådssvårigheter med hjälp av wiktionary // Proc. SKifferverkstad. — 2009.
• Meyer CM och Gurevych I. Worth its Weight in Gold or Yet Another Resource - A Comparative Study of Wiktionary, OpenThesaurus och GermaNet  : Proc. 11:e internationella konferensen om intelligent textbehandling och beräkningslingvistik. - Iasi, Rumänien, 2010. - S. 38-49 . Arkiverad från originalet den 1 december 2017.
• Meyer CM och Gurevych I. OntoWiktionary – Constructing an Ontology from the Collaborative Online Dictionary Wiktionary // Semi-Automatic Ontology Development: Processes and Resources / MT Pazienza och A. Stellato. - IGI Global, 2012. - S. 131-161. — ISBN 978-1-4666-0188-8 .
• Otte P., Tyers FM Snabb regelbaserad maskinöversättning mellan holländska och afrikaans // EAMT 2011: proc. av den 15:e konferensen för European Association for Machine Translation / Mikel L. Forcada, Heidi Depraetere, Vincent Vandeghinste. - Leuven, Belgien, 2011. - S. 153-160.
• Schlippe T., Ochs S., Schultz T. Grafe-till-fonem-modellgenerering för indoeuropeiska språk // In Proceedings of The 37th International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), Kyoto, Japan , 25-30 mars. - 2012. - S. 4801-4804.
• Zesch T., Müller C., Gurevych I. Extrahera Lexical Semantic Knowledge från Wikipedia och Wiktionary.  :Proc. av den 6:e internationella konferensen om språkresurser och utvärdering. — Marrakech, Marocko, 2008.

Länkar

• Wiktionary
• Ryska Wiktionary

I sociala nätverk	Twitter
Ordböcker och uppslagsverk	stor kines