Taligenkänning

Taligenkänning  är den automatiska processen att omvandla en talsignal till digital information (till exempel textdata ). Det omvända problemet är talsyntes .

Historik

Den första taligenkänningsenheten dök upp 1952 , den kunde känna igen siffrorna som talas av en person . [1] 1962 introducerades IBM Shoebox på New York Computer Technology Fair .

År 1963, i USA, presenterades miniatyrigenkänningsenheter med en fiberoptisk minnesenhet kallad "Septron" ( Sceptron , men uttalas [ˈseptrɑːn] utan "k"), utvecklad av ingenjörer från Sperry Corporation, [2] utföra en eller annan sekvens av handlingar till vissa fraser som uttalas av den mänskliga operatören. "Septrons" var lämpliga för användning inom området fast (trådbunden) kommunikation för automatisering av uppringning med röst och automatisk inspelning av dikterad text via teletyp , kunde användas inom den militära sfären (för röststyrning av komplexa prover av militär utrustning ), flyg (för att skapa "smart flygelektronik " som reagerar på piloten och besättningsmedlemmarna),kommandon automatiserade kontrollsystem , etc. [2] [3] [4] styrsignaler till utrustningen ombord och en enstavig röst som svarar honom ang. möjligheten att genomföra den uppgift som ställts av honom [5] .

Kommersiella program för taligenkänning dök upp i början av nittiotalet. Vanligtvis används de av personer som på grund av en handskada inte kan skriva en stor mängd text. Dessa program (som Dragon NaturallySpeaking, VoiceNavigator) översätt användarens röst till text och på så sätt lossar hans händer. Översättningstillförlitligheten för sådana program är inte särskilt hög, men den förbättras gradvis med åren.

Ökningen av datorkraft för mobila enheter gjorde det möjligt att skapa program för dem med en taligenkänningsfunktion. Bland sådana program är det värt att notera Microsoft Voice Command-applikationen, som låter dig arbeta med många applikationer med din röst. Du kan till exempel aktivera musikuppspelning i spelaren eller skapa ett nytt dokument.

Användningen av taligenkänning blir allt mer populär inom olika affärsområden, till exempel kan en läkare på en klinik uttala diagnoser som omedelbart kommer att matas in på ett elektroniskt kort. Eller ett annat exempel. Alla drömde säkert minst en gång i livet om att använda sin röst för att släcka ljuset eller öppna fönstret. På senare tid har system för automatisk taligenkänning och -syntes använts alltmer i interaktiva telefonapplikationer. I det här fallet blir kommunikationen med röstportalen mer naturlig, eftersom valet i den kan göras inte bara med hjälp av tonval, utan också med hjälp av röstkommandon. Samtidigt är igenkänningssystem oberoende av talare, det vill säga de känner igen rösten för någon person.

Nästa steg i taligenkänningsteknologier kan betraktas som utvecklingen av de så kallade tysta åtkomstgränssnitten (tyst talgränssnitt, SSI). Dessa talbehandlingssystem är baserade på att ta emot och bearbeta talsignaler i ett tidigt stadium av artikulationen. Detta stadium i utvecklingen av taligenkänning orsakas av två betydande brister hos moderna igenkänningssystem: överdriven känslighet för brus, såväl som behovet av tydligt och distinkt tal vid åtkomst till igenkänningssystemet. Det SSI-baserade tillvägagångssättet är att använda nya, brusfria sensorer för att komplettera de behandlade akustiska signalerna.

Klassificering av taligenkänningssystem

Taligenkänningssystem är klassificerade: [6]

För automatiska taligenkänningssystem tillhandahålls brusimmunitet först och främst genom användningen av två mekanismer: [7]

Metoder och algoritmer för taligenkänning

"... det är uppenbart att talsignalbehandlingsalgoritmer i en taluppfattningsmodell bör använda samma system av begrepp och relationer som en person använder" [8] [9] .

Idag bygger taligenkänningssystem på principerna för igenkänning[ av vem? ] former av erkännande [ okänd term ] . De metoder och algoritmer som hittills har använts kan delas in i följande stora klasser: [10] [11]

Klassificering av taligenkänningsmetoder baserat på jämförelse med standarden.

  • Dynamisk programmering - tillfälliga dynamiska algoritmer (Dynamic Time Warping).

Kontextberoende klassificering. När det implementeras särskiljs separata lexikaliska element från talströmmen - fonem och allofoner, som sedan kombineras till stavelser och morfem.

  • Diskriminerande analysmetoder baserade på Bayesiansk diskriminering;
  • Dolda Markov-modeller;
  • Neurala nätverk (neurala nätverk).

Algoritmen för dynamisk tidslinjetransformation används för att bestämma om talsignaler representerar samma ursprungliga talade fras.

Arkitektur för igenkänningssystem

En av arkitekturerna för automatiska talbehandlingssystem baserade på statistiska data kan vara följande. [12] [13]

  • Brusreduceringsmodul och användbar signalseparation.
  • Akustisk modell - låter dig utvärdera igenkänningen av ett talsegment när det gäller likhet på ljudnivå. För varje ljud byggs initialt en komplex statistisk modell som beskriver uttalet av detta ljud i tal.
  • Språkmodell - låter dig bestämma de mest sannolika sekvenserna av ord. Komplexiteten i att bygga en språkmodell beror till stor del på det specifika språket. Så för det engelska språket räcker det att använda statistiska modeller (de så kallade N-grammen). För språk med hög böjningsförmåga (språk där det finns många former av samma ord), som ryska tillhör, ger språkmodeller byggda enbart med statistik inte längre en sådan effekt - för mycket data behövs för att tillförlitligt bedöma den statistiska relationer mellan ord. Därför används hybridspråkmodeller som använder det ryska språkets regler, information om orddelen och ordets form och den klassiska statistiska modellen.
  • En avkodare är en mjukvarukomponent i ett igenkänningssystem som kombinerar data som erhålls under igenkänning från akustiska och språkmodeller och, baserat på deras kombination, bestämmer den mest sannolika sekvensen av ord, vilket är slutresultatet av kontinuerlig taligenkänning.

Stadier av erkännande [12]

  1. Talbehandling börjar med en bedömning av kvaliteten på talsignalen. I detta skede bestäms nivån av interferens och distorsion.
  2. Utvärderingsresultatet kommer in i den akustiska anpassningsmodulen, som styr modulen för att beräkna de talparametrar som krävs för igenkänning.
  3. Segment som innehåller tal väljs i signalen och talparametrar utvärderas. Det finns ett urval av fonetiska och prosodiska probabilistiska egenskaper för syntaktisk, semantisk och pragmatisk analys. (Utvärdering av information om ordled, ordform och statistiska samband mellan ord.)
  4. Därefter kommer talparametrarna in i huvudblocket i igenkänningssystemet - avkodaren. Detta är den komponent som matchar den ingående talströmmen med informationen som är lagrad i de akustiska och språkmodellerna och bestämmer den mest sannolika sekvensen av ord, vilket är det slutliga igenkänningsresultatet.

Tecken på känslomässigt färgat tal i igenkänningssystem

De grundläggande begreppen som kännetecknar parametrarna för mänskligt tal förknippade med formen, storleken, dynamiken för förändringar i det talbildande området och beskriver det känslomässiga tillståndet hos en person kan delas in i fyra grupper av objektiva egenskaper som gör att man kan skilja mellan tal mönster: spektral-temporala, cepstrala, amplitudfrekvens och tecken på icke-linjär dynamik. Mer detaljer, varje grupp av funktioner: [9] [14] [15]

Spektral-temporala egenskaper

Spektrala egenskaper:

  • Medelvärdet för spektrumet för den analyserade talsignalen;
  • Normaliserade medelvärden för spektrumet;
  • Relativ uppehållstid för signalen i spektrumbanden;
  • Normaliserad uppehållstid för signalen i spektrumets band;
  • Medianvärdet för talspektrum i band;
  • Relativ kraft av talspektrum i band;
  • Variation av höljena i talspektrumet;
  • Normaliserade värden för variationen av kuverten i talspektrumet;
  • Korskorrelationskoefficienter för spektralenvelopper mellan spektrumband.

Tillfälliga tecken:

  • Segmentets varaktighet, fonem;
  • segmenthöjd;
  • Segmentformfaktor.

Spektral-temporala egenskaper karakteriserar talsignalen i dess fysiska och matematiska väsen baserat på närvaron av tre typer av komponenter:

  1. periodiska (tonala) sektioner av en ljudvåg;
  2. icke-periodiska delar av en ljudvåg (brus, explosiv);
  3. avsnitt som inte innehåller talpauser.

Spektral-temporala egenskaper gör det möjligt att återspegla originaliteten i formen av tidsserien och spektrumet av röstimpulser hos olika individer och egenskaperna hos filtreringsfunktionerna i deras talkanaler. De karakteriserar egenskaperna hos talflödet som är förknippade med dynamiken i omstruktureringen av artikulationsorganen i talarens tal, och är integrerade egenskaper hos talflödet, vilket återspeglar det speciella med förhållandet eller synkronismen i rörelsen av artikulationsorganen i högtalare.

Cepstrala tecken
  • Mel-frekvens cepstralkoefficienter;
  • Linjära prediktionskoefficienter korrigerade för ojämn känslighet hos det mänskliga örat;
  • Effektfaktorer för registreringsfrekvens;
  • Linjära prediktionsspektrumkoefficienter;
  • Linjära prediktionscepstrumkoefficienter.

De flesta moderna automatiska taligenkänningssystem fokuserar på att extrahera frekvenssvaret från den mänskliga röstkanalen, samtidigt som de förkastar excitationssignalens egenskaper. Detta förklaras av det faktum att koefficienterna för den första modellen ger bättre separerbarhet av ljud. För att separera excitationssignalen från röstkanalssignalen används cepstralanalys .

Amplitud-frekvensfunktioner
  • Intensitet, amplitud
  • Energi
  • Pitch Frequency (PCH)
  • Formantfrekvenser
  • Jitter (jitter) - jitterfrekvensmodulering av grundtonen (brusparameter);
  • Shimmer (skimmer) - amplitudmodulering på grundtonen (brusparameter);
  • Radiell basis kärnkraftsfunktion
  • Icke-linjär Teager-operatör

Amplitud-frekvensfunktioner gör det möjligt att erhålla uppskattningar, vars värden kan variera beroende på parametrarna för den diskreta Fourier-transformen (typ och bredd på fönstret), såväl som med mindre förskjutningar av fönstret över provet . En talsignal representerar akustiskt ljudvibrationer av komplex struktur som fortplantar sig i luften, vilka karakteriseras i förhållande till deras frekvens (antal vibrationer per sekund), intensitet (svängningsamplitud) och varaktighet. Amplitud-frekvenstecken bär den nödvändiga och tillräckliga informationen för en person på en talsignal med en minimal uppfattningstid. Men användningen av dessa funktioner tillåter inte att de används fullt ut som ett verktyg för att identifiera känslomässigt färgat tal.

Tecken på icke-linjär dynamik
  • Poincaré kartläggning;
  • Rekursivt diagram;
  • Den maximala karakteristiska indikatorn för Lyapunov är det känslomässiga tillståndet hos en person, vilket motsvarar en viss geometri hos atttraktorn (fasporträtt); [16]
  • Fasporträtt (attraktion);
  • Kaplan-York-dimensionen är ett kvantitativt mått på en persons känslomässiga tillstånd, från "lugn" till "ilska" (deformation och efterföljande förskjutning av talsignalspektrum). [16] .

För gruppen av tecken på olinjär dynamik betraktas talsignalen som ett skalärt värde som observeras i det mänskliga röstsystemet. Processen för talproduktion kan betraktas som icke-linjär och kan analyseras med metoder för icke-linjär dynamik. Uppgiften för icke-linjär dynamik är att i detalj hitta och studera de grundläggande matematiska modellerna och verkliga systemen som utgår från de mest typiska förslagen om egenskaperna hos enskilda element som utgör systemet och lagarna för interaktion mellan dem. För närvarande baseras metoderna för olinjär dynamik på den grundläggande matematiska teorin, som är baserad på Takens sats, som ger en rigorös matematisk grund till idéerna om olinjär autoregression och bevisar möjligheten att återställa fasporträttet av en attraktion från en tidsserie eller från en av dess koordinater. (En atttraktor är en uppsättning punkter eller ett delrum i fasrummet som fasbanan närmar sig efter avklingningen av transienter.) Uppskattningar av signalegenskaperna från de rekonstruerade talbanorna används vid konstruktionen av icke-linjär deterministisk fasrymd modeller av de observerade tidsserierna. De avslöjade skillnaderna i form av attraherande kan användas för diagnostiska regler och funktioner som gör att man kan känna igen och korrekt identifiera olika känslor i en känslomässigt färgad talsignal.

Talkvalitetsalternativ

Talkvalitetsparametrar för digitala kanaler: [17]

  • Syllabisk förståelighet av tal;
  • Frasell förståelighet av tal;
  • Talkvalitet jämfört med referensvägens talkvalitet;
  • Talkvalitet i verkliga arbetsförhållanden.

Grundläggande begrepp

  • Taluppfattbarhet är det relativa antalet korrekt mottagna talelement (ljud, stavelser, ord, fraser), uttryckt som en procentandel av det totala antalet överförda element.
  • Talkvalitet är en parameter som kännetecknar den subjektiva bedömningen av talljudet i det testade talöverföringssystemet.
  • Den normala takten i tal är att tala med en hastighet med vilken den genomsnittliga varaktigheten av kontrollfrasen är 2,4 sekunder.
  • Accelererad talhastighet - talar med en hastighet där den genomsnittliga varaktigheten för kontrollfrasen är 1,5-1,6 s.
  • Igenkännlighet av talarens röst är lyssnarens förmåga att identifiera ljudet av rösten med en specifik person som lyssnaren tidigare känner till.
  • Semantisk förståelighet är en indikator på graden av korrekt återgivning av informationsinnehållet i tal.
  • Integralkvalitet är en indikator som kännetecknar det allmänna intrycket av lyssnaren från det mottagna talet.

Applikation

Användarvänlighet förklarades vara den största fördelen med röstsystem . Talkommandon var tänkta att rädda slutanvändaren från behovet av att använda beröring och andra metoder för datainmatning och kommandon.

Framgångsrika exempel på användning av taligenkänningsteknik i mobilapplikationer är: ange en adress med rösten i Yandex.Navigator, Google Now röstsökning.

Förutom mobila enheter används taligenkänningsteknik i stor utsträckning inom olika affärsområden:

  • Telefoni: automatisera behandlingen av inkommande och utgående samtal genom att skapa självbetjäning röstsystem, i synnerhet för att: få bakgrundsinformation och rådgivning, beställa tjänster/varor, ändra parametrarna för befintliga tjänster, genomföra undersökningar, förhör, samla in information, informera och andra scenarier;
  • "Smart Home"-lösningar: röstgränssnitt för hantering av "Smart Home"-system;
  • Hushållsapparater och robotar: röstgränssnitt för elektroniska robotar; röststyrning av hushållsapparater etc.;
  • Stationära och bärbara datorer: röstinmatning i datorspel och applikationer;
  • Bilar: röststyrning i bilens interiör - till exempel ett navigationssystem;
  • Socialtjänst för personer med funktionsnedsättning.

Se även

Anteckningar

  1. ↑ Davies, KH, Biddulph, R. och Balashek, S. (1952) Automatic Speech Recognition of Spoken Digits , J. Acoust. soc. Am. 24 (6) sid. 637-642
  2. ↑ 1 2 Klass, Philip J. Fiber Optic Device Recognizes Signals . // Aviation Week & Space Technology . - NY: McGraw-Hill , 1962. - Vol. 77 - nej. 20 - s. 94-101.
  3. ↑ Minnesceller . // Military Review . - April 1963. - Vol. 43 - nej. 4 - s. 99.
  4. ↑ Armagnac, Alden P. "Berätta det för Sceptron!" // Populärvetenskap . - April 1963. - Vol. 182 - nej. 4 - s. 120.
  5. ↑ Röststyrd dator testad . // Luftvärnsartilleri . - Våren 1983. - Nej. 2 - s. 54.
  6. ↑ Konto avstängt . Hämtad 10 mars 2013. Arkiverad från originalet 27 november 2013.
  7. ↑ Moderna problem inom taligenkänning. . Hämtad 6 juni 2020. Arkiverad från originalet 6 juni 2020.
  8. ↑ http://phonoscopic.rf/articles_and_publications/Lobanova_Search_of_identical_fragments.pdf  (otillgänglig länk)
  9. ↑ 1 2 Källa . Hämtad 29 april 2013. Arkiverad från originalet 21 augusti 2013.
  10. ↑ Källa . Hämtad 25 april 2013. Arkiverad från originalet 15 september 2012.
  11. ↑ Källa . Hämtad 25 april 2013. Arkiverad från originalet 22 december 2014.
  12. ↑ 1 2 Taligenkänning | Center for Speech Technologies | MDG . Hämtad 20 april 2013. Arkiverad från originalet 28 april 2013.
  13. ↑ Källa . Hämtad 29 april 2013. Arkiverad från originalet 4 mars 2016.
  14. ↑ Analys av tecknen på en känslomässigt färgad text . Hämtad 6 juni 2020. Arkiverad från originalet 6 juni 2020.
  15. ↑ Källa . Hämtad 1 maj 2013. Arkiverad från originalet 4 mars 2016.
  16. ↑ 1 2 Avhandling om ämnet "Forskning av en persons psykofysiologiska tillstånd baserat på emotionella tecken på tal" abstrakt om specialiteten VAK 05.11.17, 05.13.01 - Enhet .... Hämtad 30 april 2013. Arkiverad från originalet 14 oktober 2013.
  17. ↑ GOST R 51061-97. TALKVALITETSPARAMETRAR. SYSTEM FÖR LÅG HASTIGHET TALÖVERFÖRING ÖVER DIGITALA KANALER. (inte tillgänglig länk) . Hämtad 29 april 2013. Arkiverad från originalet 3 september 2014. 

Länkar

  Gå till Wikidata-objektet  Ordböcker och uppslagsverk
I bibliografiska kataloger