Теорија информације — разлика између измена
Садржај обрисан Садржај додат
Нема описа измене |
|||
Ред 1:
'''Теорија информације''' је математичка дисциплина настала у 20. веку. Логаритамски израз за количину информације је предложио [[Ралф Хартли|Хартли]] 1928. године, у свом раду
▲'''Теорија информације''' је математичка дисциплина настала у 20. веку. Логаритамски израз за количину информације је предложио [[Ралф Хартли|Хартли]] 1928. године, у свом раду "Пренос информације". Затим ју је 1948. поопштио амерички инжењер и математичар [[Клод Елвуд Шенон|Клод Шенон]], и нешто раније, руски математичар [[Андреј Николајевич Колмогоров]]. Исте 1948. године је амерички математичар [[Норберт Винер]] у свом раду "[[Кибернетика]]" изнео свој приступ количини информације система. Десило се да је Математичка теорија информације настала "одједном", малтене у неколико радова зачетника и да је у тим радовима "нацртан" оквир за целу будућу дисциплину. Покретачко место целог тог развоја је откриће, математичка дефиниција појма "количина података". И данас се сматра да је идеју за мерење количине информације први добио управо амерички инжењер Хартли 1928. године, али му историја математике не придаје велики значај можда због нејасноћа и (математички) непрецизних објашњења.
== Информација ==
Математичко тврђење, односно [[математички исказ]] је израз,
▲Математичко тврђење, односно [[математички исказ]] је израз, питање на које је могућ одговор Тачно, односно Нетачно. То је основа тзв. бинарне логике, дела [[Математичка логика|математичке логике]]. Помоћу [[Бинарна логика|бинарне логике]] је могуће дефинисати сваки исказ [[Поливалентна логика|поливалентне логике]]. Ове посљедње математичке логике, поред бинарних вредности: <math>\top, \bot</math>, тј. тачно, нетачно, укључују читав спектар одговора "можда".
=== Хартлијева дефиниција ===
Када желимо једноставан одговор
На пример, када
▲Када желимо једноставан одговор "да" или "не" постављамо питања која почињу са: "Да ли је ...". На пример питање "Да ли је ова подлога бела?" тражи једноставнији одговор од питања: "Какве је боје ова подлога?". У првом случају имамо само дилему да-не, у другом случају имамо спектар боја. Када имамо спектар боја имамо већу дилему, па ћемо рећи да је тада неизвесност већа.
▲На пример, када имамо 8 једнако могућих избора за боју подлоге, а не знате коју сам замислио као следећи избор, морате ми постављати више од једног бинарног питања да бисте дошли до одговора. Рећи ћемо да је зато већа неодређеност избора. Тачније:
: '''Неодређеност''' је најмања количина података потребних за препознавање датог елемента.
Линија 36 ⟶ 32:
Уопште, колико бинарних питања треба поставити да би се сазнао један од <math>2^n</math> бројева? Одговор је ''n''.
Амерички инжењер Р. В. Л. [[Ралф Хартли|Хартли]] је у свом раду
Када имамо <math>n=1,2,3,...</math> једнако вероватних елемената, тада је вероватноћа избора једног од њих <math>p=P(n)=\frac{1}{n}</math>. Информација, тј. количина информације коју добијамо сазнањем једне од ''n'' једнако вероватних вести, према Хартлију је:
Линија 48 ⟶ 44:
=== Шенонова дефиниција ===
Хартлијева информација, формула, служи само у случају мерења једнако вероватних исхода. Бар тако се чини на први поглед. Међутим, шта да радимо ако је случај сложенији. Када имамо различито вероватне исходе и хоћемо да меримо информацију за сваки од случајева. Показаћемо да се полазећи од Хартлијеве може доћи до дефиниције информације за сложеније случајеве, користећи већ познати појам математичке средње вредности. То је открио [[Клод Шенон]] у знаменитом раду
Ако имамо шест куглица, по две у бојама: црвеној, плавој и белој. Рецимо да бирамо једну од шест, једнако вероватних, али тражен је један од одговора:
Линија 67 ⟶ 63:
: <math>I=-p_1log_2p_1-p_2log_2p_2-...-p_nlog_2p_n</math>.
То је Шенонова дефиниција информације. Откриће да се информација може мерити, колико једноставно, толико је било невероватно за математичаре. Била је веома изненађујућа чињеница да можемо (математички прецизно) рећи
| |||