Теорија информације — разлика између измена
Садржај обрисан Садржај додат
→Неодређеност: - непотребни делови склоњени |
|||
Ред 88:
Данас можемо рећи да је Болцман описивао тзв. [[Ергодичка теорија|ергодичке процесе]], код којих се ентропија спонтано повећава до своје максималне вредности. Пример са уљем, уместо мастила у Болцмановој чаши био би супротан, тзв. неергодички процес.
===
Питање математичке истинитости није ствар провере у лабораторији, експеримента, или веровања у сопствена чула. Математичка истина се не доказује провером у пракси.
Овде се бавимо питањем може ли се
▲Овде се бавимо питањем може ли се хартлијева дефиниција информације, заснована на целим бројевима (навели смо само примере за 8 и 16) могућности поопштити на све целе бројеве, и даље на све позитивне реалне бројеве? Чудно је да проверавамо нешто тако очигледно, али видећемо добићемо и неке нове резултате.
1. '''Пример''':
: Фабрика производи 16 врста кошуља за чију израду користи 64 врсте дезена. Претпоставка је да је сваки модел произведен у истом броју комада. Колико бита има неодређеност једне кошуље?
Линија 103 ⟶ 101:
:: <math>= log_2 16 + log_2 64 = 4 + 6 </math> бита.
2. '''Пример''':
Линија 109 ⟶ 107:
: Када имамо ''n'' = 1, 2, 3, ... једнако вероватних елемената тада је вероватноћа избора једног од њих <math>p=P(n)=\frac{1}{n}</math>, а информација према Хартлију је <math>I(p)=-log_2P(n)=log_2 n</math>.
Са само једним елементом ''n'' = 1
: логаритам производа једнак је збиру логаритама, тј.
Линија 119 ⟶ 117:
Дакле Хартлијева информација производа једнака је збиру Хартлијевих информација. Сада постављамо питање да ли је тачно и обрнуто.
;
: (i) позитивна, тј. за свако ''x'' > 1 је ''f''(''x'') > 0,
Линија 135 ⟶ 133:
: <math>f(x^k) \le f(2^r) < f(x^{k+1})</math>, одакле се због (iii) добија
: <math>k \cdot f(x) \le r \cdot f(2) < (k+1) \cdot f(x) </math>. Како према (i) је ''f''(''x'')> 0,
: <math>r \cdot f(x)</math> имамо
| |||