UTF-8

UTF-8 (från engelska  Unicode Transformation Format, 8-bit  - "Unicode transformation format, 8-bit") är en vanlig teckenkodningsstandard som låter dig mer kompakt lagra och överföra Unicode-tecken med ett variabelt antal byte (från 1 till 4) , och är helt bakåtkompatibel med 7-bitars ASCII -kodning . UTF-8-standarden är formaliserad i RFC 3629 och ISO/IEC 10646 Annex D.

UTF-8-kodning är nu dominerande i webbutrymmet. Det har också hittat bred tillämpning i UNIX-liknande operativsystem [2] .

UTF-8-formatet utvecklades den 2 september 1992 av Ken Thompson och Rob Pike och implementerades i Plan 9 [3] . Windows kodnings-ID är 65001 [4] .

UTF-8, jämfört med UTF-16 , ger den största vinsten i kompakthet för latinska texter , eftersom latinska bokstäver utan diakritiska tecken , siffror och de vanligaste skiljetecken är kodade i UTF-8 med endast en byte, och koderna för dessa tecken motsvarar deras koder i ASCII . [5] [6]

Kodningsalgoritm

Kodningsalgoritmen i UTF-8 är standardiserad i RFC 3629 och består av tre steg:

1. Bestäm antalet oktetter ( byte ) som krävs för att koda ett tecken. Teckennumret är hämtat från Unicode-standarden.

För Unicode-tecken med siffror från U+0000till U+007F(upptar en byte med noll i den mest signifikanta biten), motsvarar UTF-8-kodningen helt 7-bitars US-ASCII-kodningen.

2. Ställ in de höga bitarna för den första oktetten i enlighet med det erforderliga antalet oktetter som bestämdes i det första steget:

• 0xxxxxxx - om en oktett krävs för kodning;
• 110xxxxx - om två oktetter krävs för kodning;
• 1110xxxx - om tre oktetter krävs för kodning;
• 11110xxx - om fyra oktetter krävs för kodning.

Om mer än en oktett krävs för kodning, är de två mest signifikanta bitarna i oktetter 2-4 alltid satta till 10 2 (10xxxxxx). Detta gör det lätt att urskilja den första oktetten i strömmen eftersom dess höga bitar aldrig är 10 2 .

3. Ställ in de signifikanta bitarna i oktetterna så att de matchar Unicode -teckennumret uttryckt i binärt. Börja fylla från de låga bitarna i teckennumret, lägg dem i de låga bitarna i den sista oktetten, fortsätt från höger till vänster till den första oktetten. De fria bitarna i den första oktetten som förblir oanvända fylls med nollor.

Kodningsexempel

UTF-8-markör

För att indikera att en fil eller ström innehåller Unicode-tecken kan ett byteordermärke ( BOM ) infogas i början av filen eller strömmen , som , när den är kodad i UTF-8, har formen av tre byte: .  EF BB BF16

Femte och sjätte byte

Ursprungligen tillät UTF-8-kodning upp till sex byte att koda ett enda tecken, men i november 2003 förbjöd RFC 3629 användningen av den femte och sjätte byten, och utbudet av kodade tecken begränsades till tecknet U+10FFFF. Detta gjordes för att säkerställa kompatibilitet med UTF-16.

Möjliga avkodningsfel

Inte varje sekvens av byte är giltig. En UTF-8-avkodare måste förstå och hantera sådana fel på ett adekvat sätt:

• Ogiltig byte.
• Fortsättningsbyte (10xxxxxx) utan startbyte.
• Avsaknaden av det antal byte som krävs för att fortsätta 10xxxxxx - till exempel två efter 1110xxxx).
• Raden bryter mitt i en karaktär.
• Oekonomisk kodning - till exempel kodning av ett tecken med tre byte, när två är möjliga. (Det finns en icke-standard UTF-8-variant som kodar tecknet med kod 0 som 1100.0000 1000.0000, vilket skiljer det från radsluttecknet 0000.0000.)
• En sekvens av byte som avkodar till en ogiltig kodposition (till exempel tecken i UTF-16 surrogatpar ).

Anteckningar

1. ↑ https://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt
2. ↑ Användningsstatistik för teckenkodningar för webbplatser, juni  2011
3. ↑ Arkiverad kopia (länk ej tillgänglig) . Hämtad 27 februari 2007. Arkiverad från originalet 1 mars 2011.  (obestämd)   (Engelsk)
4. ↑ Kodsidaidentifierare - Windows-applikationer | Microsoft docs . Hämtad 14 juli 2018. Arkiverad från originalet 16 juni 2019. (obestämd)
5. ↑ Nåväl, jag är tillbaka. Strängteori . _ Robert O'Callahan (1 mars 2008). Hämtad 1 mars 2008. Arkiverad från originalet 23 augusti 2011.  
6. ↑ Rostislav Chebykin. Alla kodningar kodning. UTF-8: modern, kompetent, bekväm. . HTML och CSS . Hämtad 22 mars 2009. Arkiverad från originalet 23 augusti 2011.  (obestämd)

Länkar

• UTF-8-kodningstabell och Unicode-tecken
• UTF-8: Kodning och avkodning
• UTF-8, UTF-16, UTF-32 & BOM Frågor och svar
• Kompatibilitetskodningsschema för UTF-16: 8-bitars (CESU-8)
• Fullständig beskrivning av Unicode-standarden
• UTF-8 Everywhere Manifesto
• RFC-3629 "UTF-8, ett transformationsformat enligt ISO 10646"