Egen information

Egen information är en statistisk funktion av en diskret stokastisk variabel .

Egen information är i sig en slumpvariabel, som bör särskiljas från dess genomsnittliga värde - informationsentropi .

För en slumpvariabel som har ett ändligt antal värden: $X$

P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,n,\quad \sum _{i=1} ^{n}p_{i}=1

egen information definieras som

I(X)=-\log P_{X}(X).

Mätenheterna för information beror på basen för logaritmen . I fallet med en logaritm med bas 2 är måttenheten bit , om en naturlig logaritm används så nat , om decimal, sedan hartley .

Basen för logaritmen	Måttenhet _	Mängden information om myntets fall "örn" upp
2	bit	$-\log _{2}(1/2)=\log _{2}2=1$ bit
e	nat	$-\ln(1/2)=\ln 2\ca 0,69$ nata
tio	hartley	$-\log _{10}(1/2)=\log _{10}2\approx 0,30$ hartley

Självinformation kan förstås som ett "överraskningsmått" av en händelse - ju lägre sannolikhet en händelse är, desto mer information innehåller den.

Egenskaper för egen information

Icke-negativitet : . vid , det vill säga det förutbestämda faktumet innehåller ingen information. $I(x)\geqslant 0$ $I(x)=0$ $p(x)=1$
Monotonicitet : om . $I(x_{1})>I(x_{2})$ $p(x_{1})<p(x_{2})$
Additivitet : sant för oberoende . ${\displaystyle x_{1},\dots ,x_{n))$ $I(x_{1},\dots ,x_{n})=\summa _{i=1}^{n}I(x_{i})$

Se även

Litteratur

Gabidulin E. M. , Pilipchuk N. I. Föreläsningar om informationsteori - Moscow Institute of Physics and Technology , 2007. - 214 sid. — ISBN 978-5-7417-0197-3

Kompressionsmetoder _

Teori

Information	Egen Ömsesidig Entropi Villkorlig entropi Komplexitet Redundans
Enheter	Bit Nat Knapra Hartley Hartley formel

Förlust mindre

Entropikompression	Asymmetriska talsystem Huffman algoritm Adaptiv Huffman-algoritm Shannon-Fano algoritm Shannons algoritm Aritmetisk kodning ( intervall ) Golomb-koder Delta Universell kod Elias fibonacci
Ordboksmetoder	RLE Töm luften LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zstandard )
Övrig	RLE CTW BWT MTF PPM DMC

Audio

Teori	Veck PCM Aliasing Provtagning Kotelnikovs teorem
Metoder	LPC LAR LSP WLPC CELP ACELP En lag μ-lag ADPCM MDCT Fouriertransform Psykoakustisk modell
Övrig	Ljudkompressor Talkompression Bandkodning

Bilder

Villkor	färg rymd Pixel Mättnad delsampling Kompressionsartefakter
Metoder	RLE DPCM fraktal vågkomponent EZW SPIHT LP PrEP PCL
Övrig	Bithastighet Standard testbild PSNR Kvantisering

Video

Villkor	Videoegenskaper Ram Ramtyper Videokvalitét
Metoder	Rörelsekompensation PrEP Kvantisering vågkomponent
Övrig	Video codec Rate distortion theory CBR ABR VBR