Теорија информације — разлика између измена

У једнакости лево и десно, имамо исте количине нечега после и пре сазнања. Шта даље са тиме, питао би се Винер? Он није знао за радове Шенона који су објављени тек следеће године. Решење је пронашао у термодинамици!

Аустријски физичар [[Лудвиг Болцман]] је још далеке 1872. године изучавао, тада нову науку, [[Термодинамика|термодинамику]] и открио [[Ентропија|ентропију]] гаса. Болцман је уочио да је ентропија мера нереда у термодинамичком систему и да систем временом тежи већој ентропији. Меру нереда система са вероватноћама исхода <math>p_1, p_2, p_3, ...</math>, где је <math>p_1+p_2+p_3+...=1</math>, означио је са ''H'' и извео је свој чувени израз за неред термодинамичког система:

Болцман је своју ентропију појаснио на примеру чаше чисте воде у коју би сипао мастило. Временом сва вода постаје обојена, јер се у свом хаотичном кретању честице воде мешају са честицама мастила, правећи све слабију разлику између границе ових двеју текућинатечности. Тако се повећава неред, односно ентропија система у чаши. Систем тежи стању у којем сви догађаји имају једнаке вероватноће. ОбратанОбрнут процес се практично не догађа и зато су термодинамички процеси иреверзибилни (неповратни).

Данас можемо рећи да је Болцман описивао тзв. [[Ергодичка теорија|ергодичке процесе]], код којих се ентропија спонтано повећава до своје максималне вредности. Пример са уљем, уместо мастила у Болцмановој чаши био би супротан, тзв. неергодички процес. Можемо рећи да се и термодинамика развијала, као и теорија информације, са једном битном разликом. Природне, експерименталне науке напредују исправљањем малих грешака претходника. Међутим, математика се не побољшава исправљањем. Питагорина теорема, као и њен првобитни доказ, је и данас једнако тачан, као што је био и пре 2,5 миленијума.