Теорија информације — разлика између измена
Садржај обрисан Садржај додат
Ред 45:
Количина информације, зовемо је кратко информација, коју добијамо након случајног опита са једнаковероватним исходима, je логаритам по бази 2 вероватноће тог опита.
=== Шенонова дефиниција ===
Хартлијева информација, формула, служи само у случају мерења једнако вероватних исхода. Бар тако се чини на први поглед. Међутим, шта да радимо ако је случај сложенији. Када имамо различито вероватне исходе и хоћемо да меримо информацију за сваки од случајева. Показаћемо да се полазећи од Хартлијеве може доћи до дефиниције информације и за сложеније случајеве. То је открио Шенон.
Ако имамо шест куглица, по две у бојама: црвеној, плавој и белој. Рецимо да бирамо једну од шест, једнако вероватних, али тражен је један од одговора:
* извучена куглица је бела - вероватноћа је 2/6;
* извучена куглица није бела - вероватноћа је 4/6.
Хартлијева информација за први и други случај била би: <math>I_1=log_2\frac{2}{6}</math>, односно <math>I_2=log_2\frac{4}{6}</math>. Средња вредност, тј. математичко очекивање за ова два броја је: <math>I=p_1I_1+p_2I_2</math>. Дакле
: <math>I=\frac{2}{6}log_2\frac{2}{6}+\frac{4}{6}log_2\frac{4}{6}</math>.
[[Категорија:Математика]]
| |||