Теорија информације — разлика између измена
Садржај обрисан Садржај додат
Ред 52:
Ако имамо шест куглица, по две у бојама: црвеној, плавој и белој. Рецимо да бирамо једну од шест, једнако вероватних, али тражен је један од одговора:
Хартлијева информација за први и други случај била би: <math>I_1=log_2\frac{2}{6}</math>, односно <math>I_2=log_2\frac{4}{6}</math>. Средња вредност, тј. математичко очекивање за ова два броја је: <math>I=-p_1I_1
: <math>I=- \frac{2}{6}log_2 \frac{2}{6}
Општије, када имамо два исхода, вероватноћа <math>p_1</math> и <math>p_2</math>, тада нам резултат случајног бирања доноси информацију:
: <math>I=-p_1log_2p_1-p_2log_2p_2</math>.
Уопште, када имамо низ <math>n=2,3,4,...</math> исхода, истих или различитих вероватноћа <math>p_1,p_2,...,p_n</math>, тада нам резултат случајног догађаја доноси информацију ''I'' која је средња вредност, тј. математичко очекивање, позитивних вредности логаритама вероватноћа. Дакле,
: <math>I=-p_1log_2p_1-p_2log_2p_2-...-p_nlog_2p_n</math>.
| |||