Теорија информације — разлика између измена

=== Неодређеност ===
 
[[Норберт Винер]] је 1948. године у свом делу [[Кибернетика]] дефинисао информацију у систему као меру његове организованости, док је неодређеност система мера његове неорганизованости. По Винеру је неодређеност само негација информације као одраз у огледалу. Количински су оне једнаке. Колико имате неодређености у опиту пре, толико имате информације у опиту након реализације случајног догађаја. Другим речима, када говоримо о количинама, у истим системима мера бијединица, морало би бити:
 
: (информација) = (неодређеност).
У једнакости лево и десно, имамо исте количине нечега после и пре сазнања. Шта даље са тиме, питао би се Винер? Он није знао за радове Шенона који су објављени тек следеће године. Решење је пронашао у термодинамици!
 
Аустријски физичар [[Лудвиг Болцман]] је још далеке 1872. године изучавао тада нову науку [[Термодинамика|термодинамику]] и открио [[Ентропија|ентропију]] гаса. Болцман је уочио да је ентропија мера нереда у термодинамичком систему и да систем временом тежи већој ентропији. Меру нереда система са вероватноћама исхода <math>p_1, p_2, p_3, ...</math>, где је <math>p_1+p_2+p_3+...=1</math>, означио је са ''H'' и извео је свој чувени израз за неред термодинамичког система:
 
: <math>H(p_1,p_2,p_3,...)=-p_1log_2p_1-p_2log_2p_2-p_3log_2p_3-...</math>.
Објаснио је то на примеру чаше чисте воде у коју би сипао мастило. Временом сва вода постаје обојена, јер се у свом хаотичном кретању честице воде мешају са честицама мастила, правећи све слабију разлику између границе ових двеју текућина. Тако се повећава неред, односно ентропија система у чаши. Систем тежи стању у којем сви догађаји имају једнаке вероватноће. Обратан процес се практично не догађа и зато су термодинамички процеси иреверзибилни.
 
Обзиром на претходну формулу Винера, добијамо да је информација ''I'' = ''H'', тј. да је Винер-Болцманова формула за количину информације тачно иста као Шенонова.
Данас можемо рећи да је Болцман описивао тзв. ергодичке процесе, код којих се ентропија спонтано повећава до своје максималне вредности. Пример са уљем, уместо мастила у Болцмановој чаши био би супротан, тзв. неергодички процес.
 
ОбјасниоБолцман је тосвоју ентропију појаснио на примеру чаше чисте воде у коју би сипао мастило. Временом сва вода постаје обојена, јер се у свом хаотичном кретању честице воде мешају са честицама мастила, правећи све слабију разлику између границе ових двеју текућина. Тако се повећава неред, односно ентропија система у чаши. Систем тежи стању у којем сви догађаји имају једнаке вероватноће. Обратан процес се практично не догађа и зато су термодинамички процеси иреверзибилни.
 
Данас можемо рећи да је Болцман описивао тзв. [[Ергодичка теорија|ергодичке процесе]], код којих се ентропија спонтано повећава до своје максималне вредности. Пример са уљем, уместо мастила у Болцмановој чаши био би супротан, тзв. неергодички процес. Можемо рећи да се и термодинамика развијала, као и теорија информације, са једном битном разликом. Природне, експерименталне науке напредују исправљањем малих грешака претходника. Међутим, математика се не побољшава исправљањем. Питагорина теорема, као и њен првобитни доказ, је и данас једнако тачан, као што је био и пре 2,5 миленијума.
 
=== Основни теорем ===
1.479

измена