În teoria informației, entropia Shannon sau entropia informațională măsoară incertitudinea asociată cu o variabilă aleatoare. Această măsură indică și cantitatea de informație conținută într-un mesaj, exprimată de obicei în biți sau în biți pe simbol. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația.
Ea mai reprezintă și o limită absolută a celei mai bune compresii fără pierderi aplicabilă unor date comunicate: tratând un mesaj ca pe o serie de simboluri, cea mai scurtă reprezentare posibilă a mesajului are lungimea egală cu entropia Shannon în biți pe simbol înmulțită cu numărul de simboluri din mesajul original.
O aruncare a monezii are entropia de un bit. Dar, dacă moneda nu este echilibrată, atunci incertitudinea este mai mică (se știe că există o probabilitate mai mare ca ea să cadă cu o anume parte a ei în sus), și astfel entropia Shannon este mai mică. Un șir lung de caractere repetate au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text în limba engleză este de 1,0 până la 1,5 biți pe literă,[1] . Echivalent, entropia Shannon măsoară media de conținut informațional pe care receptorul o pierde atunci când nu cunoaște valoarea variabilei aleatoare.
Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie matematică a comunicației”.
Entropia H a unei variabile discrete X cu valorile {x1, ..., xn} și funcția de probabilitate p :
iar dacă X este continuă, având funcția de distribuție f(x):
unde b este o bază pentru logaritmi, reală și supraunitară (de obicei 2, caz în care unitatea de măsură a informației se numește bit, sau e, caz în care ea se numește nat).
Niciun comentariu:
Trimiteți un comentariu