TF-IDF

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 30 januari 2022; verifiering kräver 1 redigering .

TF-IDF (från engelska TF - term frequency, IDF - inverse document frequency ) är ett statistiskt mått som används för att utvärdera betydelsen av ett ord i sammanhanget av ett dokument som ingår i en dokumentsamling eller korpus . Vikten av ett ord är proportionell mot frekvensen av förekomsten av detta ord i dokumentet och omvänt proportionell mot frekvensen av förekomsten av ordet i alla dokument i samlingen.

TF-IDF-måttet används ofta i textanalys och informationssökningsuppgifter , till exempel som ett av kriterierna för relevansen av ett dokument för en sökfråga, vid beräkning av närhetsmåttet för dokument under klustring .

Formelns struktur

TF ( term frekvens - ordfrekvens) - förhållandet mellan antalet förekomster av ett visst ord och det totala antalet ord i dokumentet. Således utvärderas betydelsen av ett ord i ett enda dokument. $t_{{i}}$

{\displaystyle \mathrm {tf} (t,d)={\frac {n_{t)){\sum _{k}n_{k)))))

där är antalet förekomster av ordet i dokumentet, och nämnaren är det totala antalet ord i dokumentet. $n_t$ $t$

IDF ( invers dokumentfrekvens - omvänd dokumentfrekvens) - inverteringen av den frekvens med vilken ett visst ord förekommer i samlingens dokument. Grundaren av detta koncept är Karen Spark Jones [1] . Redovisning för IDF minskar vikten av vanliga ord. Det finns bara ett IDF-värde för varje unikt ord inom en given samling dokument.

\mathrm {idf} (t,D)=\log {\frac {|D|}{|\{\,d_{i}\in D\mid t\in d_{i}\,\} |}}

, [2]

var

|D| — Antal dokument i samlingen.
$|\{\,d_{i}\in D\mid t\in d_{i}\,\}|$ är antalet dokument från samlingen som förekommer (när ). $D$ $t$ $n_{t}\neq 0$

Valet av basen för logaritmen i formeln spelar ingen roll, eftersom att ändra basen ändrar vikten av varje ord med en konstant faktor, vilket inte påverkar viktförhållandet.

Således är TF-IDF-måttet produkten av två faktorer:

\operatörsnamn {tf-idf}(t,d,D)=\operatörsnamn {tf}(t,d)\ gånger \operatörsnamn {idf}(t,D)

Hög vikt i TF-IDF kommer att ges till ord med hög frekvens inom ett visst dokument och låg frekvens i andra dokument.

Numerisk applikation

Det finns olika formler baserade på TF-IDF-metoden. De skiljer sig i koefficienter, normaliseringar, användning av logaritmiska skalor. I synnerhet använde Yandex-sökmotorn normalisering för den vanligaste termen i dokumentet under lång tid. .

En av de mer populära formlerna är BM25- formeln .

Exempel

Om ett dokument innehåller 100 ord, och ordet [3] "hare" förekommer 3 gånger i det, så blir ordfrekvensen (TF) för ordet "hare" i dokumentet 0,03 (3/100). Låt oss beräkna IDF som en decimallogaritm av förhållandet mellan antalet av alla dokument och antalet dokument som innehåller ordet "hare". Således, om "haren" finns i 1000 dokument av 10.000.000 dokument, kommer IDF att vara lika med: log(10.000.000/1000) = 4. För att beräkna det slutliga ordet viktvärde måste TF multipliceras med IDF. I det här exemplet skulle TF-IDF-vikten för ordet "hare" i det valda dokumentet vara: 0,03 × 4 = 0,12.

Applikation i vektorrumsmodellen

TF-IDF-måttet används ofta för att representera dokument i en samling som numeriska vektorer som återspeglar vikten av att använda varje ord från någon uppsättning ord (antalet ord i uppsättningen bestämmer dimensionen på vektorn) i varje dokument. En sådan modell kallas en vektormodell och gör det möjligt att jämföra texter genom att jämföra vektorerna som representerar dem i någon metrik ( Euklidiskt avstånd , cosinusmått , Manhattan-avstånd , Chebyshev- avstånd, etc.), det vill säga att utföra klusteranalys .

Se även

Anteckningar

↑ Jones, 2004 .
↑ Vissa versioner av formeln använder inte logaritmer.
↑ Vanligtvis, innan analysen av dokumentet, förs orden till normal form av den morfologiska analysatorn.

Litteratur

Jones KS En statistisk tolkning av termspecificitet och dess tillämpning vid hämtning (engelska) // Journal of Documentation : journal. - MCB University: MCB University Press, 2004. - Vol. 60 , nej. 5 . - s. 493-502 . — ISSN 0022-0418 .
Salton J.Dynamiska bibliotekshämtningssystem. M .: - Mir, 1979.
Salton, G. och McGill, MJ 1983 Introduktion till modern informationssökning . McGraw-Hill, ISBN 0-07-054484-0 .
Salton, G., Fox, EA och Wu, H. 1983 Extended Boolean information retrieval. kommun. ACM 26, 1022-1036.
Salton, G. och Buckley, C. 1988 Term-weighting approaches in automatisk texthämtning. Information Processing & Management 24(5): 513-523
Fedorovsky A.N., Kostin M.Yu. Mail.ru på ROMIP -2005 // på lör . "Proceedings of ROMIP'2005" Proceedings från det tredje ryska seminariet om utvärdering av metoder för informationsinhämtning. Ed. I. S. Nekrestyanova, s. 106-124, St. Petersburg: Research Institute of Chemistry, St. Petersburg State University, 2005.