Опен Рефине је десктоп апликација отвореног кода за самостално чишћење података и трансформације у другим форматима, ова активност позната је као подаци натезања (дата wранглинг).[1] Слично је апликацији за табеларне прорачуне (може да ради са форматима датотека табела), међутим, понаша се више као база података. Ради на принципу редова података који имају ћелије под стубовима, што је врло слично релационим табелама базе података. Један Опен Рефине пројекат је један сто. Корисник може да филтрира редове за приказ помоћу аспеката који дефинишу критеријуме филтрирања (на пример, показује редове где дата колона није празна). За разлику од табеле, највећи број операција у Опен Рефине се врши на свим видљивим редовима: трансформација свих ћелија у свим редовима испод једне колоне, стварање нове колоне на основу постојећих података у колони, итд. Све активности које су рађене на скупу података су сачуване у пројекту и могу се поновити на другом скупу података. За разлику од табеле, нема формула сачуваних у ћелијама, али формуле се користе за трансформацију података, а трансформација се врши само једном. Трансформација израза може се написати помоћу Гугл Рифајн-овог језика израза (Гоогле Рефине Еxпрессион Лангуаге(ГРЕЛ)),[2] Јyтхон-а (имплементација Пyтхон-а) и Цлојуре-а.[3]

ОпенРефине лого

Програм има кориснички wеб интерфејс. Међутим, није хостован на Интернету (СААС), али је доступан за преузимање и коришћење на локалном рачунару. Приликом покретања Опен Рефине-а, покрећемо wеб сервер али исто тако и претраживач како бисмо отворили кориснички wеб интерфејс базиран на овом wеб серверу.

Структура уреди

Опен Рефине је заснован на Јава језику. Софтвер је намењен типу управљања подацима и за визуализацију података. Поседује слободну БСД софтвер лиценцу. Подржан је на Мицрософт Wиндоwс, ГНУ/Линуx, Мац ОС платформама.

Могућа употреба софтвера уреди

  • Чишћење неуредних података: На пример, ако имате текстуалну датотеку са неким полу структурисаним подацима, можете је уређивати помоћу трансформација, аспеката и груписањем података како би били чисто структурисани.[4]
  • Трансформација података: претварање вредности у другим форматима, нормализација и денормализација.
  • Рашчлањивање података из wеб сајтова: Опен Рефине има УРЛ апортирану функцију и јсоуп ХТМЛ анализатор и ДОМ мотор.
  • Додавање података у скуп података привлачењем од wеб сервиса (тј. враћање ЈСОН-а). На пример, може да се користи за геокодирање (Геоцодинг) адресе географских координата.
  • Рад са Фреебасе:
    • Повећање скупова података са подацима из базе.
    • Допринос података на Фреебасе користећи шему поравнања функције. Ово укључује измирење - мапирање низа вредности у ћелијама према лицима у Фреебасе-у.[5]

Подржани формати од уноса до износа уреди

Унос је подржан од следећих формата:

Текст фајл са прилагођеним сепараторима или колоне подељене фиксном ширином

Ако су улазни подаци у не-стандардном текстуалном формату, могу се унети као целе линије, без поделе у колоне, а затим колоне екстраховане касније са Опен Рефине алаткама. Архивирани и компресовани фајлови који су подржани (.Зип,. Тар.гз,.Тгз,. Тар.бз2,.ГЗ, или .Бз2) и Рефине може преузети фајлове са улазне УРЛ адресе. Да бисте користили wеб странице као улаз, могуће је унети листу УРЛ адреса и онда се позивају УРЛ адресе да донесу функцију.

Износ је подржан у следећим форматима:

Читави Опен Рефине пројекти у изворном формату могу да се изнесу као .тар.гз архива.

Историја уреди

Опен Рефине је почео рад као Фреебасе Гридwоркс развијен од стране Метаwеб-а и био је доступан као отворени извор од Јануара, 2010. 16 Јула 2010, Гугл је стекао право над Метаwеб-ом,[6] креаторе Фреебасе-а. У мају 2010. Од своје прве верзије, Фреебасе Гридwоркс је отворени извор пројекат. У почетку је то био алат дизајниран да подржи Фреебасе базу података и заједницу за чишћење података, помиренја и уплоад. Ова историјска веза са Фреебасе-ом је и даље присутна у Гоогле Рефине-у, као решење подржава помирење против Фреебасе базе података. 10 новембра 2010. преименовали су свој Фреебасе Гридwоркс софтвер у Гоогле Рефине, избацивши везију 2.0. 2. Октобра 2012, оригинални аутор Давид Хуyнх најавио је да ће Гоогле ускоро престати да подржава Гоогле Рефине. Од тада кодирана база (цодебасе) је у транзицији на једном пројекту отвореног кода под називом Опен Рефине.[7] Верзија 2.6 је на путу.

Позадина уреди

Библиотекари, новинари, аналитичари података су користили Гоогле Рефине за чишћење својих података. Услуге са више базе података су изграђени, проширење подршке РДФ-а је написана. А вивид је отворила нове хоризонте према Рефине-овој способности. Кориснички интерфејс помогао је хиљадама корисника који нису могли технички да преузму контролу над својим подацима. Ми смо само на корак од великог света података и Гоогле Рефине спуштањем техничке баријере важи да оснажи јос више људи за анализу и обраду података. Гоогле Рефине је велики почетни ниво "Лепак Логике" алат за стварање мостова између различитих апликација или система.

Крај Гугловог бренда уреди

Захваљујући Гоогле подршци, Рефине је сада један од најважнијих начина зрелог чишћења података, натезанја алата на располагању. Гоогле брендирање такође ће много помоћи Гоогле Рефине-уом маркетингу и изградњи заједнице. Претпоставлјам да Гоогле име је нека врста гаранције на способност производа и зрелости за неке кориснике и овог назива, помогли су да демократизује алат. Међутим, губљење Гоогле-овог имена ће помоћи Рефине-у на два начина:

  1. Гоогле бренд је направио много нових Рефине-ових корисника мислећи да је Рефине "облак" апликација и да су подаци окачени на Гугловим серверима. То никада није било случај, Рефине-а јер је локална апликација. Међутим, неки корисници можда била уздржани коришћењем Рефине-а из овог разлога. Можда другачији брендинг ће имати више самопоузданја о својој приватности података. Захваљујући Гоогле подршци, Рефине је сада један од најважнијих извора зрелог чишћења података, натезање алата на располагању. Гоогле брендирање такође много помоћи Гоогле Рефине маркетинг и изграднја заједнице. Претпоставлјам да Гоогле име је врста гаранција на способност производа и зрелости за неке кориснике и овог назива помогли да демократизује алат.
  2. Већина људи не зна да је Гоогле Рефине већ отворен алат. Мислим да су Гоогле брендирањем збуњени већина нас. Тако да је именовање ОпенРефине (или нешто друго), надајмо се да ће се што више људи придружити заједници и помоћи са побољшањем истог.

Види још уреди

Референце уреди

Спољашње везе уреди

Литература уреди