Теорија информације — разлика између измена

Ако имамо шест куглица, по две у бојама: црвеној, плавој и белој. Рецимо да бирамо једну од шест, једнако вероватних, али тражен је један од одговора:
 
*# извучена куглица је бела - вероватноћа је 2/6;
*# извучена куглица није бела - вероватноћа је 4/6.
 
Хартлијева информација за први и други случај била би: <math>I_1=log_2\frac{2}{6}</math>, односно <math>I_2=log_2\frac{4}{6}</math>. Средња вредност, тј. математичко очекивање за ова два броја је: <math>I=-p_1I_1+-p_2I_2</math>. Логаритми вероватноћа су негативни бројеви! Дакле
 
: <math>I=- \frac{2}{6}log_2 \frac{2}{6}+- \frac{4}{6}log_2 \frac{4}{6}</math>.
 
Општије, када имамо два исхода, вероватноћа <math>p_1</math> и <math>p_2</math>, тада нам резултат случајног бирања доноси информацију:
 
: <math>I=-p_1log_2p_1-p_2log_2p_2</math>.
 
Уопште, када имамо низ <math>n=2,3,4,...</math> исхода, истих или различитих вероватноћа <math>p_1,p_2,...,p_n</math>, тада нам резултат случајног догађаја доноси информацију ''I'' која је средња вредност, тј. математичко очекивање, позитивних вредности логаритама вероватноћа. Дакле,
 
: <math>I=-p_1log_2p_1-p_2log_2p_2-...-p_nlog_2p_n</math>.
 
 
1.479

измена