APRAKSTS

Milzu datu apstrāde – no Babilonijas līdz “Rimi” veikalam

Juris Kaža, telekomunikāciju eksperts12.04.2017
"ĪSUMĀ"
  • Milzu datu krājumi nav jaunums, taču agrāk tos nevarēja lietderīgi analizēt.
  • SAP HANA pavēra superātras datu analīzes un jaunu pakalpojumu iespējas.
  • Ātro datu analīzi izmanto veselības aprūpē un gudro pilsētu sistēmu izbūvē.
  • Komersanti, arī Latvijā, tiecas analizēt visus mūsu datus, viņuprāt, mums par labu.
Par milzu datu krājumiem (angliski – big data) un to izmantošanu komercdarbībā mediji sākuši rakstīt tikai pēdējos gados saistībā ar iespējām, kādas šādu datu krājumu analīze paver gan uzņēmumiem, gan valsts pārvaldei un pētniecībai. Runa ir par miljardiem un pat triljoniem datu vienību, piemēram, zvanu un datu pārraides rādītājiem mobilo sakaru tīklos, interneta veikalu pārlūkošanas darbību uzskaiti, katra industriālās ražošanas procesa soļa “ierakstu” un daudz ko citu, kas neizbēgami atstāj elektroniskas pēdas.

Milzu datu krājumi nav nekas jauns – jau pirms pāris gadu tūkstošiem senie babilonieši uz simtiem tūkstošu māla plāksnīšu fiksēja dažādus ikdienišķus notikumus – kurš kuram pārdevis aitas, kurš dzimis vai nomiris. Ir atrasta un atšifrēta pat kāda sūdzību vēstule negodīgam vara tirgotājam – tā tapusi 1700 gadus pirms mūsu ēras. Pateicoties arheologu savāktiem māla klucīšu krājumiem, var iegūt priekšstatu pat par Babilonijas aitu tirgus svārstībām. Taču tas ir iespējams tikai mūsdienās, ievadot datus datorā. Secinājumiem ir tikai vēsturiska nozīme. Aitu tirgus analīze, kas balstās uz tūkstošiem mālā ierakstītu darījumu, ir iespējama tikai tagad, kad Babilonijas aitu audzētāji un viņu aitu bari jau sen pārvērtušies putekļos.

Modernie datori ar milzu datu apjomiem strādā daudz ātrāk nekā kāds iedomāts babiloniešu statistiķis, kas, mēnešiem strādājot, ar roku veidotu vietējā aitu vai lopu tirgus pārskatu. Tomēr dažām vajadzībām arī mūsu līdzšinējā datorizētā datu apstrāde izrādījusies pārāk lēna. Pirms jaunu paņēmienu izgudrošanas tāds uzdevums kā "momentuzņēmuma" pārskata izveide par būtiskiem rādītājiem kādā globālā koncernā noteiktā dienā prasīja vairākas stundas, dažkārt pat pāris dienu.  Tik daudz laika vajadzēja, lai datorsistēmas "sagremotu" milzu datu krājumus, kas sakārtoti pēc agrākiem datubāzes struktūras standartiem un savākti no dažādām datubāzēm.

SAP izstrādāja jaunu datu struktūru un apstrādes paņēmienu

Vienu šādu revolucionāru datu analīzes paņēmienu izgudroja vācu globālais informācijas tehnoloģiju (IT) koncerns SAP un attiecīgo programmatūras un datu struktūras risinājumu nosauca par HANA. Par HANA  attīstību un iespējamiem pielietojumiem nesen Rīgā stāstīja viens no HANA izstrādātājiem Dr. Aleksandrs Ceiers (Alexander Zeier), kurš starplaikā pārgājis strādāt globāla mēroga IT konsultāciju uzņēmumā "Accenture" un specializējas HANA pielietojuma veidos.

Kā stāstīja A. Ceiers, HANA balstās uz divām inovācijām – vienkāršāku un ātrāk analizējamu datu sakārtojumu un tehnoloģiju, kas ļauj šādas lielas datu kopas vienlaicīgi ielādēt datora operatīvajā atmiņā, nevis "pa gabaliņam", tādējādi iespējams teju ar gaismas ātrumu izsijāt vairākus miljardus datu vienību. 

"Aprēķināt atlaides 30 miljoniem klientu, balstoties uz viņu līdzšinējo pirkšanas un maksāšanas vēsturi, agrāk prasīja dažas dienas – HANA to ļauj izdarīt sekundēs."

Darbs pie HANA aizsākās 2007.gadā un noritēja toreizējā SAP dibinātāja un vadītāja Haso Platnera (Hasso Plattner) vadībā. Risinājuma nosaukums patapināts no angliskā pilnā nosaukuma "Hasso’s New Architecture" (Haso jaunā datu struktūra).

Kā skaidroja A. Ceiers, HANA izmanto "visu datu turēšanu operatīvajā atmiņā" (tehnoloģiju arī oficiāli sauc "In Memory") un datu sakārtošana ātri lasāmā formātā ir samazinājusi milzu datu kopu apstrādes laiku no stundām līdz sekundes sīkdaļām.

"Aprēķināt atlaides 30 miljoniem klientu, balstoties uz viņu līdzšinējo pirkšanas un maksāšanas vēsturi, agrāk prasīja dažas dienas – HANA to ļauj izdarīt sekundēs," teica A. Ceiers. Vācu speciālists neslēpa, ka HANA visefektīvāk var pielietot, ja ir darīšana ar lielu datu kopu, kas radusies, ja uzņēmumam ir daudz klientu vai biznesa darbību, kas jāreģistrē datubāzēs.

HANA uzlabo pacientu aprūpi Berlīnes lielākajā slimnīcā

"Klasiskie HANA pielietojuma veidi ievērojami paātrina procesus, kurus veic ar SAP grāmatvedības un biznesa vadības sistēmām, piemēram, veidojot finanšu pārskatus un tos daudz ātrāk piegādājot vadītājiem," stāstīja A. Ceiers un uzsvēra, ka HANA pielietojums var būtiski uzlabot iestāžu darbību un biznesa procesus, pateicoties gandrīz momentānai piekļuvei sarežģītu datu kopu analīzēm.

Kā piemēru viņš minēja Berlīnes lielāko slimnīcu "Charite", kas esot arī viena no lielākajām Eiropā. "Ar HANA apkopojam visdažādākās pacientu datubāzes vienā lietotnē uz iPad planšetes, radot integrētu risinājumu katra pacienta ārstēšanai, kā arī iegūstot pārskatu par ārstēšanas un pacientu aprūpes procesiem kopumā," stāstīja A. Ceiers.

"Accenture" speciālists skaidroja, ka, apkopojot visus pieejamos datus par noteiktām slimībām, ir iespējams veikt tā dēvētās analīzes-prognozes par pacientiem, kas aprīkoti ar sirds, asinsspiediena vai citu veselības rādītāju sensoriem. Šādi pacienti var atgriezties normālā dzīvē ārpus slimnīcas, taču HANA balstītā sistēma pamanīs, ja sensori rāda iespējamu veselības stāvokļa pasliktināšanos (sirdsdarbības, asinsspiediena izmaiņas) un pacientu izsauks uz ārsta kontroli. Šāda rīcība, kas rada izmaksas veselības aprūpes vai apdrošināšanas sistēmai, balstās uz datiem par simtiem tūkstošu līdzīgu pacientu slimības gaitu, nevis uz vienas medmāsas vai ārsta secinājumu, ka "šodien Jānim mazliet augstāks asinsspiediens".

HANA uztur gudro pilsētu datu apstrādi

A. Ceiers stāstīja, ka tā saukto gudro pilsētu sensoru tīkli arī rada milzu datu plūsmas un HANA balstītas sistēmas jau darbojoties vairākās ASV pilsētās, kas izvēlējušās gudrās pilsētas attīstības ceļu. Šādās pilsētās mēra, uzskaita un cenšas uzlabot tādus procesus kā ceļu satiksmes regulēšana (luksoforu darbība sastrēguma stundās), sabiedriskā transporta noslodze un plūsma, kā arī ūdens, gāzes un elektrības tīklu darbība. Lai operatīvi reaģētu uz notikumiem, milzu un sarežģītu datu kopu analīzei jābūt gandrīz momentānai. Nevar, kā bija ar vecākām metodēm, teikt – jā, to visu šodien analizējot, varam secināt, ka pirms mēneša maģistrālajā ūdensvadā bija metāla sūces pazīmes, diemžēl tagad par to liecina 10 metrus augsta strūkla, kas šaujas ārā no pilsētas galvenās ielas.

"Eiropā datu aizsardzība vēl ir stingra, bet spēcīgām sistēmām “izsalkums” pēc visiem iespējamiem datiem arī ir liels."

Arī "Accenture" attīsta uz HANA tehnoloģijām balstītus risinājumus, tostarp mākslīgo intelektu jeb "datu mašīnas apmācīšanu" (machine learning). Šis mākslīgā intelekta paveids ļauj datorsistēmām meklēt kopsakarības un īpatnības milzu datu kopās. "Tā varam iegūt jaunus ieskatus. Piemēram, pētot piegādes ķēdi, ar HANA balstītu paņēmienu uzlabojām pareizās piegādes koeficientu no 60% līdz 87%," stāsta A. Ceiers.

Latvijā HANA risinājumus izmanto "Rimi"

Baltijā HANA izmanto mazumtirdzniecības tīkls "Rimi Baltic". Kā skaidroja uzņēmuma IT direktors Dainis Bērziņš, "Rimi Baltic" HANA platformu izmanto kopš 2015. gada: "Šobrīd tehnoloģija tiek pielietota iekšējām vajadzībām – gatavojot gan vadības, gan operatīvās atskaites reālā laikā. Tas ļauj ātri reaģēt uz izmaiņām tirgū un operatīvi  pieņemt lēmumus, tostarp plānojot precīzus preču apjomus veikalos."

D. Bērziņš arī atklāja, ka "HANA platformas pielietojums šobrīd tiek aktīvi attīstīts un jau drīz tas atbalstīs personalizētu piedāvājumu sagatavošanu mūsu klientiem".

Protams, ir eksperti, kas saka, ka mums zināmais par datu momentāno apstrādi un tās izmantošanu no komersantu un valsts iestāžu puses liek aizdomāties par sava veida "labdabīgo totalitārismu". Savlaicīgs brīdinājums, ka veselība sākusi pasliktināties, bet visu var savlaicīgi mainīt, var būt laba lieta, gluži tāpat kā iespēja īsziņā uzzināt, ka veikalā, kuru tobrīd apmeklē, tieši tev ir īpašs piedāvājums. Taču kā ir, ja kāds nezināms uzņēmums vai iestāde zina "visu par visiem"? ASV prezidenta Donalda Trampa iniciatīva atcelt interneta pakalpojumu sniedzējiem ierobežojumus tirgoties ar savu klientu "sērfošanas" datiem ir sacēlusi lielu traci. Eiropā datu aizsardzība vēl ir stingra, bet spēcīgām sistēmām "izsalkums" pēc visiem iespējamiem datiem arī ir liels.

KOMENTĀRI
JAUNĀKIE

Odze baznīcas azotē

Viņi sāka ar prasību pēc pārmaiņām baznīcā un nonāca līdz garīgai līderībai Atmodas ...

Norises/Apraksts 3
Bruņinieku 41, Tālr.: 673-106-75
Rīgā, LV-1011 E-pasts: portals@lv.lv