Теорија информације — разлика између измена
Садржај обрисан Садржај додат
Ред 72:
=== Неодређеност ===
[[Норберт Винер]] је 1948. године у свом делу [[Кибернетика]] дефинисао информацију у систему као меру његове организованости, док је неодређеност система мера његове неорганизованости. По Винеру је неодређеност само негација информације као одраз у огледалу. Количински су оне једнаке. Колико имате неодређености у опиту пре, толико имате информације у опиту након реализације случајног догађаја. Другим речима, када говоримо о количинама, у истим системима
: (информација) = (неодређеност).
Ред 78:
У једнакости лево и десно, имамо исте количине нечега после и пре сазнања. Шта даље са тиме, питао би се Винер? Он није знао за радове Шенона који су објављени тек следеће године. Решење је пронашао у термодинамици!
Аустријски физичар [[Лудвиг Болцман]] је још далеке 1872. године изучавао тада нову науку [[Термодинамика|термодинамику]] и открио [[Ентропија|ентропију]] гаса. Болцман је уочио да је ентропија мера нереда у термодинамичком систему и да систем временом тежи већој ентропији. Меру нереда система са вероватноћама исхода <math>p_1, p_2, p_3, ...</math>, где је <math>p_1+p_2+p_3+...=1</math>, означио је са ''H'' и извео је свој чувени израз за неред термодинамичког система:
: <math>H(p_1,p_2,p_3,...)=-p_1log_2p_1-p_2log_2p_2-p_3log_2p_3-...</math>.
Објаснио је то на примеру чаше чисте воде у коју би сипао мастило. Временом сва вода постаје обојена, јер се у свом хаотичном кретању честице воде мешају са честицама мастила, правећи све слабију разлику између границе ових двеју текућина. Тако се повећава неред, односно ентропија система у чаши. Систем тежи стању у којем сви догађаји имају једнаке вероватноће. Обратан процес се практично не догађа и зато су термодинамички процеси иреверзибилни.▼
Обзиром на претходну формулу Винера, добијамо да је информација ''I'' = ''H'', тј. да је Винер-Болцманова формула за количину информације тачно иста као Шенонова.
▲
Данас можемо рећи да је Болцман описивао тзв. [[Ергодичка теорија|ергодичке процесе]], код којих се ентропија спонтано повећава до своје максималне вредности. Пример са уљем, уместо мастила у Болцмановој чаши био би супротан, тзв. неергодички процес. Можемо рећи да се и термодинамика развијала, као и теорија информације, са једном битном разликом. Природне, експерименталне науке напредују исправљањем малих грешака претходника. Међутим, математика се не побољшава исправљањем. Питагорина теорема, као и њен првобитни доказ, је и данас једнако тачан, као што је био и пре 2,5 миленијума.
=== Основни теорем ===
|