Веб-претраживач — разлика између измена

Претраживач локација веба (web crawler) је рачунарски програм који преузима веб странице са веб -сервера. УРЛ сваке веб странице идентификује њену локацију на вебу. Обзиром на постојање УРЛ адресе, свака веб страница се може преузети са веб -сервера употребом протокола за пренос хипертекста ([[ХТТП]]). Полазећи од једне почетне УРЛ адресе, претраживач локација веба непрестано преузима веб странице базирајући се на њиховим УРЛ адресама и вади УРЛ адресе из оних већ преузетих, тако да је могуће преузети нове. Овај процес се завршава када је неки услов за заустављање програма испуњен. Неки од могућих услова за његово заустављање су: (1) нема више нових УРЛ адреса на локацији или (2) унапријед дефинисани број, односно списак веб страница је већ преузет. Пошто претраживач веб локација може бити у интеракцији са разноликим самосталним веб -серверима, битно је да буде пројектован тако да га је лако прилагодити новим захтјевима.

Како би се убрзао процес претраживања, могуће је употријебити више прераживача локација веба. Они могу бити два различита типа, централизовани и дистрибуирани.<ref name = "Wu">[http://wwwis.win.tue.nl/ah2003/proceedings/paper18.pdf Jie Wu, ''Towards a Decentralized Search Architecture for the Web and P2P Systems''], Приступљено 24. 4. 2013.</ref> Централизовани претраживачи локација веба се налазе на истој локацији са које се покрећу паралелно и са више машина.<ref name = Büttcher> Stefan Büttcher, Charles L. A. Clarke and Gordon V. Cormack [http://www.ir.uwaterloo.ca/book/14-parallel-information-retrieval.pdf Chapter 14 Parallel Information Retrieval] in ''Information Retrieval: Implementing and Evaluating Search Engines'' 2010 MIT Press</ref> Дистрибуирани претраживачи локација веба се налазе на више различитих локација на интернету и контролишу се путем једног централног координатора, другим ријечима сваки претраживач локација веба преузима само веб странице које су му географски близу. Најзначајнија предност дистрибуираних претаживача локација веба тиче се смањења трошкова комуникација који су резултат њихове активности. Међутим централизовани претраживачи су лакши за имплементацију и контролу него дистрибуирани.

Раст и константне промјене на вебу, стварају потребу да претраживачи локација веба регуларно врше нова претраживања као и да одржавају индексну базу података ажурном. Међутим, сувише често претраживање веба би довело до значајног трошења ресурса, али и потешкоће у раду веб -сервера на којима се тражене веб странице налазе. Стога је потребно употријебити једну стратегију инкременталног претраживања. Једна од њих је да се само претражују веб странице чији се садржај или УРЛ адреса промијенила од посљедње претраге. Друга стратегија је да се употријебе претраживачи локација веба који имају предефинисану област претраге, или предефинисани скуп тема за претрагу. Ови посљедњи се могу искористити за креирање специјализованих претраживача локација веба који су једино заинтересовани за веб странице одређене тематике.

=== Светски интернет претраживачи ===