Википедија

Теорија информације — разлика између измена

Интерактиван преглед историје
← Старија изменаНовија измена →
Садржај обрисан Садржај додат
ВизуелноВикитекст
.
Ред 1:
'''Теорија информације''' је математичка дисциплина настала у 20. веку. Логаритамски израз за количину информације је предложио [[Ралф Хартли|Хартли]] 1928. године, у свом раду „Пренос информације“. Затим ју је 1948. поопштио амерички инжењер и математичар [[Клод Елвуд Шенон|Клод Шенон]], и нешто раније, руски математичар [[Андреј Колмогоров|Андреј Николајевич Колмогоров]]. Исте 1948. године је амерички математичар [[Норберт Винер]] у свом раду „[[Кибернетика]]“ изнео свој приступ количини информације система. Десило се да је математичка теорија информације настала „одједном“, малтене у неколико радова зачетника и да је у тим радовима „нацртан“ оквир за целу будућу дисциплину. Покретачко место целог тог развоја је откриће, математичка дефиниција појма „количина података“. И данас се сматра да је идеју за мерење количине информације први добио управо амерички инжењер Хартли 1928. године, али му историја математике не придаје велики значај можда због нејасноћа и (математички) непрецизних објашњења.<ref>[[Claude Elwood Shannon|Shannon, C.E.]] (1948), "[[A Mathematical Theory of Communication]]", ''Bell System Technical Journal'', 27, pp.&nbsp;379–423 & 623–656, July & October, 1948. [http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.]</ref><ref>R.V.L. Hartley, [http://www.dotrose.com/etext/90_Miscellaneous/transmission_of_information_1928b.pdf "Transmission of Information"], ''Bell System Technical Journal'', July 1928</ref>
 
== Информација ==
Ред 63:
 
То је Шенонова дефиниција информације. Откриће да се информација може мерити, колико једноставно, толико је било невероватно за математичаре. Била је веома изненађујућа чињеница да можемо (математички прецизно) рећи „има толико и толико бита информације у датој новинској вести“, баш као када кажемо „овај бурек је тежак 300 грама“. Математичари су били у шоку и неверици, али техника није чекала. У другој половини 20. века је наступила револуција информатике. За то време је математичка теорија информације полако, полако напредовала.
 
 
=== Неодређеност ===
Линија 149 ⟶ 148:
 
На пример, природна јединица информације, скраћено „нат“ или „нит“ користи базу природног логаритма ''е'' = 2,71828.... Тада је <math>ln N = ln 2 \cdot log_2 N</math>, па је 1 нат = 0,69315... бита.
 
== Reference ==
{{Reflist}}
 
== Literatura ==
{{refbegin|30em}}
* [[Andrey Kolmogorov]] (1968), "[https://www.tandfonline.com/doi/pdf/10.1080/00207166808803030 Three approaches to the quantitative definition of information]" in International Journal of Computer Mathematics.
* J. L. Kelly, Jr., [http://betbubbles.com/wp-content/uploads/2017/07/kelly.pdf Betbubbles.com], "A New Interpretation of Information Rate" ''Bell System Technical Journal'', Vol. 35, July 1956, pp.&nbsp;917–26.
* R. Landauer, [http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=615478 IEEE.org], "Information is Physical" ''Proc. Workshop on Physics and Computation PhysComp'92'' (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp.&nbsp;1–4.
* R. Landauer, [http://www.research.ibm.com/journal/rd/441/landauerii.pdf IBM.com], "Irreversibility and Heat Generation in the Computing Process" ''IBM J. Res. Dev.'' Vol. 5, No. 3, 1961
* {{cite arXiv |last=Timme |first=Nicholas|last2=Alford |first2=Wesley|last3=Flecker |first3=Benjamin|last4=Beggs |first4=John M.|date=2012 |title=Multivariate information measures: an experimentalist's perspective |eprint=1111.6857|class=cs.IT}}
* Arndt, C. ''Information Measures, Information and its Description in Science and Engineering'' (Springer Series: Signals and Communication Technology), 2004, {{isbn|978-3-540-40855-0}}
* Ash, RB. ''Information Theory''. New York: Interscience, 1965. {{isbn|0-470-03445-9}}. New York: Dover 1990. {{isbn|0-486-66521-6}}
* [[Gallager, R]]. ''Information Theory and Reliable Communication.'' New York: John Wiley and Sons, 1968. {{isbn|0-471-29048-3}}
* Goldman, S. ''Information Theory''. New York: Prentice Hall, 1953. New York: Dover 1968 {{isbn|0-486-62209-6}}, 2005 {{isbn|0-486-44271-3}}
* {{cite book |last1=Cover |first1=Thomas |author-link1=Thomas M. Cover |last2=Thomas |first2=Joy A. |title=Elements of information theory |edition=2nd |location=New York |publisher=[[Wiley-Interscience]] |date=2006 |isbn=0-471-24195-4}}
* [[Csiszar, I]], Korner, J. ''Information Theory: Coding Theorems for Discrete Memoryless Systems'' Akademiai Kiado: 2nd edition, 1997. {{isbn|963-05-7440-3}}
* [[David J. C. MacKay|MacKay, David J. C.]]. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003. {{isbn|0-521-64298-1}}
* Mansuripur, M. ''Introduction to Information Theory''. New York: Prentice Hall, 1987. {{isbn|0-13-484668-0}}
* [[Robert McEliece|McEliece, R]]. ''The Theory of Information and Coding". Cambridge, 2002. {{isbn|978-0521831857}}
*Pierce, JR. "An introduction to information theory: symbols, signals and noise". Dover (2nd Edition). 1961 (reprinted by Dover 1980).
* [[Reza, F]]. ''An Introduction to Information Theory''. New York: McGraw-Hill 1961. New York: Dover 1994. {{isbn|0-486-68210-2}}
* {{cite book |last1=Shannon |first1=Claude |author-link1=Claude Shannon |last2=Weaver |first2=Warren |author-link2=Warren Weaver |date=1949 |title=The Mathematical Theory of Communication |url=http://monoskop.org/images/b/be/Shannon_Claude_E_Weaver_Warren_The_Mathematical_Theory_of_Communication_1963.pdf |location=[[Urbana, Illinois]] |publisher=[[University of Illinois Press]] |lccn=49-11922 |isbn=0-252-72548-4}}
* Stone, JV. Chapter 1 of book [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html "Information Theory: A Tutorial Introduction"], University of Sheffield, England, 2014. {{isbn|978-0956372857}}.
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book/ A First Course in Information Theory]'' Kluwer Academic/Plenum Publishers, 2002. {{isbn|0-306-46791-7}}.
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book2/ Information Theory and Network Coding]'' Springer 2008, 2002. {{isbn|978-0-387-79233-0}}
* Leon Brillouin, ''Science and Information Theory'', Mineola, N.Y.: Dover, [1956, 1962] 2004. {{isbn|0-486-43918-6}}
* [[James Gleick]], ''[[The Information: A History, a Theory, a Flood]]'', New York: Pantheon, 2011. {{isbn|978-0-375-42372-7}}
* A. I. Khinchin, ''Mathematical Foundations of Information Theory'', New York: Dover, 1957. {{isbn|0-486-60434-9}}
* H. S. Leff and A. F. Rex, Editors, ''Maxwell's Demon: Entropy, Information, Computing'', Princeton University Press, Princeton, New Jersey (1990). {{isbn|0-691-08727-X}}
* [[Robert K. Logan]]. ''What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere'', Toronto: DEMO Publishing.
* Tom Siegfried, ''The Bit and the Pendulum'', Wiley, 2000. {{isbn|0-471-32174-5}}
* Charles Seife, ''[[Decoding the Universe]]'', Viking, 2006. {{isbn|0-670-03441-X}}
* Jeremy Campbell, ''[[Grammatical Man]]'', Touchstone/Simon & Schuster, 1982, {{isbn|0-671-44062-4}}
* Henri Theil, ''Economics and Information Theory'', Rand McNally & Company - Chicago, 1967.
* Escolano, Suau, Bonev, ''[https://www.springer.com/computer/image+processing/book/978-1-84882-296-2 Information Theory in Computer Vision and Pattern Recognition]'', Springer, 2009. {{isbn|978-1-84882-296-2}}
* Vlatko Vedral, ''Decoding Reality: The Universe as Quantum Information'', Oxford University Press 2010. {{ISBN|0-19-923769-7}}
* Raymond W. Yeung, "[http://www.inc.cuhk.edu.hk/InformationTheory/index.html Information Theory]" ([[The Chinese University of Hong Kong]])
{{refend}}
 
== Спољашње везе ==
{{Commons category-lat|Information theory}}
{{портал|Информатика}}▼
* {{SpringerEOM |title=Information |id=p/i051040}}
* Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education''
* [http://www.itsoc.org/ IEEE Information Theory Society] and [https://www.itsoc.org/resources/surveys ITSOC Monographs, Surveys, and Reviews]
 
{{Authority control}}
▲{{портал бар|Информатика}}
 
[[Категорија:Математика]]
Преузето из „https://sr.wikipedia.org/wiki/Теорија_информације”