Įrankiai duomenų atvėrimui

 

 

Šiame puslapyje pateikiamas pagrindinių įrankių sąrašas, kurie padeda organizacijoms atverti savo duomenų rinkinius. Taip pat pateikiama naudinga informacija, kuri palengvina įrankių supratimą ir integraciją į duomenų atvėrimo procesą.

Šis sąrašas yra rekomendacinio pobūdžio – galite naudoti ir kitus įrankius, kurie leidžia atverti duomenų rinkinius ir suformuoti duomenų struktūros aprašą pagal nustatytus reikalavimus.

 

Duomenų atvėrimo įrankiai dažniausiai yra ETL (angl. Extract, Transform, Load) arba DELP (angl. Describe, Extract, Load, Publish) tipo programinė įranga. Jie palengvina arba gali atlikti visą duomenų atvėrimo procesą:

  • paimti duomenis iš pirminių šaltinių,

  • juos transformuoti,

  • įkelti į Lietuvos atvirų duomenų portalą (Portalą).

 

Rekomenduojami įrankiai:

 

1. Spinta – VSSA vystomas DELP įrankis

VSSA siūlo naudoti vieningą DVTL integratorių Spinta, kuris optimizuoja duomenų atvėrimo procesą ir užtikrina duomenų prieinamumą per vieningą API.

Funkcijos:

  • Pagalba formuojant duomenų struktūros aprašą (DSA), kurį privaloma pateikti į Portalą, atveriant duomenų rinkinį ir jį aprašant metaduomenimis.

  • Atverto duomenų rinkinio struktūros aprašas suteikia atvertiems duomenims didesnį brandos lygį.

  • Atviro kodo, komandų eilutės priemonė, leidžianti automatiškai generuoti duomenų struktūros aprašus, nuskaityti duomenis pagal parengtą DSA ir publikuoti juos duomenų saugykloje.

  • Duomenys iš saugyklos gali būti atsisiųsti įvairiais formatais, pasiekiant aukščiausią brandos lygį.

  • Glaudžiai integruota su Lietuvos atvirų duomenų katalogu ir yra sudedamoji Lietuvos atvirų duomenų portalo dalis, leidžianti automatizuoti daugelį duomenų atvėrimo veiklų.

Atsisiuntimo nuoroda: Spinta PyPI
Diegimo instrukcijos: Spinta dokumentacija

 

2. Talend Open Studio – atviro kodo ETL įrankis

Talend Open Studio leidžia:

  • paimti duomenis iš pirminių šaltinių (Oracle, Teradata, Microsoft SQL Server ir kt.),

  • transformuoti, apjungti, nuasmeninti duomenis,

  • įkelti duomenis į Lietuvos atvirų duomenų portalą per REST API.

Atsisiuntimo nuoroda: Talend Open Studio

Pastaba: diegiant gali prireikti naujausios Java Runtime Environment (1.8.0.181 ar naujesnė).

Pavyzdinis projektas:

  •  DATA_TRANSFORMATION_AND_UPLOAD_JOB.zip. – paruoštas projektas CSV failų paėmimui, transformacijai, nuasmeninimui ir įkėlimui į portalą.

  • Instrukcijos importuojant į Talend projektą pateikiamos dokumentacijoje.

Mokymo medžiaga:

  • Susipažinimas su Talend aplinka

  • Duomenų įkėlimas į atvirų duomenų portalą

 

3. REST API klientai – duomenų įkėlimas į portalą

Lietuvos atvirų duomenų portale duomenų rinkinius galima įkelti automatizuotu būdu, naudojant REST API. Portale naudojamas standartinis REST API servisas, todėl galite naudoti bet kurį REST API klientą.

Pavyzdiniai įrankiai:

Insomnia REST Client

  • Nemokamas įrankis, leidžiantis atlikti kreipimus į portalo REST API.

  • Taip pat yra mokamų versijų su papildomu funkcionalumu.

Atsisiuntimo nuoroda: Insomnia