Ömsesidig information

Den aktuella versionen av sidan har ännu inte granskats av erfarna bidragsgivare och kan skilja sig väsentligt från versionen som granskades den 20 oktober 2016; kontroller kräver 5 redigeringar .

Ömsesidig information är en statistisk funktion av två slumpvariabler som beskriver mängden information som finns i en slumpvariabel i förhållande till den andra.

Ömsesidig information definieras genom entropin och villkorlig entropi av två slumpvariabler som

I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)

Ömsesidig informationsegenskaper

Ömsesidig information är en symmetrisk funktion av slumpvariabler:

I(X;Y)=I(Y;X)

Ömsesidig information är icke-negativ och överskrider inte informationsentropin för argumenten:

0\leq I(X;Y)\leq \min[H(X),H(Y)]

I synnerhet för oberoende slumpvariabler är den ömsesidiga informationen noll:

I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0

I fallet när en slumpvariabel (till exempel ) är en deterministisk funktion av en annan slumpvariabel ( ), är den ömsesidiga informationen lika med entropin: $X$ $Y$

I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)

Villkorlig och relativ ömsesidig information

Villkorlig ömsesidig information är en statistisk funktion av tre slumpvariabler som beskriver mängden information som finns i en slumpvariabel i förhållande till en annan, givet värdet av den tredje:

I(X;Y\mitten Z=z)=H(X\mitten Z=z)-H(X\mitten Y,Z=z)

Relativ ömsesidig information är en statistisk funktion av tre slumpvariabler som beskriver mängden information som finns i en slumpvariabel i förhållande till en annan, förutsatt att den tredje slumpvariabeln ges:

I(X;Y\mitten Z)=H(X\mitten Z)-H(X\mitten Y,Z)=H(X\mitten Z)+H(Y\mitten Z)-H(X ,Y\mitten av Z)

Egenskaper

Är symmetriska funktioner:

I(X;Y\mid Z)=I(Y;X\mitt Z)

I(X;Y\mid Z=z)=I(Y;X\mitt Z=z)

Tillfredsställer ojämlikheterna:

0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mitt Z)]

0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]

Ömsesidig information om tre slumpvariabler

Den ömsesidiga informationen för tre slumpvariabler bestäms också :

I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)

Ömsesidig information om tre slumpvariabler kan vara negativ. Överväg en enhetlig fördelning på trippel av bitar så att . Låt oss definiera slumpvariabler som värden av respektive bitar. Sedan $(x,y,z)$ $x\oplus y\oplus z=0$ $X,Y,Z$ $x,y,z$

I(X;Y)=H(X)-H(X\mid Y)=1-1=0,

men samtidigt

I(X;Y\mitten Z)=H(X\mitten Z)-H(X\mitten Y,Z)=1+0=1,

och därför . $I(X;Y;Z)=-1$

Litteratur

Gabidulin E. M. , Pilipchuk N. I. Föreläsningar om informationsteori - Moscow Institute of Physics and Technology , 2007. - 214 sid. — ISBN 978-5-7417-0197-3
Vereshchagin N.K., Shchepin E.V. Information, kodning och förutsägelse. - M. : FMOP, MTsNMO, 2012. - 238 sid.

Kompressionsmetoder _

Teori

Information	Egen Ömsesidig Entropi Villkorlig entropi Komplexitet Redundans
Enheter	Bit Nat Knapra Hartley Hartley formel

Förlust mindre

Entropikompression	Asymmetriska talsystem Huffman algoritm Adaptiv Huffman-algoritm Shannon-Fano algoritm Shannons algoritm Aritmetisk kodning ( intervall ) Golomb-koder Delta Universell kod Elias fibonacci
Ordboksmetoder	RLE Töm luften LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zstandard )
Övrig	RLE CTW BWT MTF PPM DMC

Audio

Teori	Veck PCM Aliasing Provtagning Kotelnikovs teorem
Metoder	LPC LAR LSP WLPC CELP ACELP En lag μ-lag ADPCM MDCT Fouriertransform Psykoakustisk modell
Övrig	Ljudkompressor Talkompression Bandkodning

Bilder

Villkor	färg rymd Pixel Mättnad delsampling Kompressionsartefakter
Metoder	RLE DPCM fraktal vågkomponent EZW SPIHT LP PrEP PCL
Övrig	Bithastighet Standard testbild PSNR Kvantisering

Video

Villkor	Videoegenskaper Ram Ramtyper Videokvalitét
Metoder	Rörelsekompensation PrEP Kvantisering vågkomponent
Övrig	Video codec Rate distortion theory CBR ABR VBR