BLOG

Přečtěte si poslední novinky ze světa datových technologií a BI.
Nezapomeňte se přihlásit k jejich odběru na e-mail.

Jak migrace do cloudu pomohla datovým inženýrům? | 5

V naší studii sledujeme společnost, která se rozhodla pro migraci své datové  infrastruktury do cloudu. Při výběru vhodné technologie zvolila platformu Snowflake a úspěšně ji implementovala. Nyní se budeme věnovat tomu, jak migrace do cloudu pomohla vyřešit původní problémy a jaké nové výzvy otevřela v rámci jednotlivých oddělení.

V tomto článku se zaměříme na dopad adopce nových systémů na datové inženýry a jejich práci. 

Škálování

V původním řešení se noční nápočet datového skladu s rostoucím objemem dat a jejich komplexitou neustále prodlužoval – až tak, že situace začala negativně ovlivňovat byznysové uživatele. Ve špičkách potom chyběl výkon, protože pracovali vývojáři i konzumenti dat a bojovali mezi sebou o omezené zdroje.  

Díky přechodu na Snowflake má nyní každá oblast svůj vlastní výpočetní cluster – ETL procesy, vývojáři, analytici, data scientisté a uživatelé reportů tak mezi sebou nesoutěží. Pro každou z těchto skupin je připravený cluster odpovídající velikosti, který je díky funkci autosuspend zapnutý pouze, když je používaný a jen tehdy za něj firma platí. 

Špičky navíc vyvažuje funkce multicluster, díky které se při velkém množství dotazů na daný cluster vytočí další ve stejné velikosti a uživatelé nezažívají žádné zpomalení. Škálování je dynamické, šetří peníze a zároveň uspokojuje potřeby všech uživatelů. 

Clustery je pro administrátory velmi lehké nastavit, upravit a především i monitorovat – přesně vědí, kdy, kým a k čemu je který cluster využívaný a mají pod kontrolou náklady. 

Datový model 

Zatímco dřívě byla byznysová logika napočítávaná v několika vrstvách systému a dále upravovaná v Tableau, v rámci modernizace datového skladu jsme vytvořili datový model, který je materializovaný v jedné konkrétní vrstvě architektury. Díky nastaveným pravidlům, k jakým datovým transformacím může kde docházet, je byznysová logika koncentrovaná v jedné vrstvě, je tedy snažší se v modelu orientovat a dále ho udržovat a rozvíjet.  

Data Ops 

Snowlfake propojený s Azure DevOps znamená, že je transparentní, jaké změny kdy proběhly na produkčním prostředí. Datoví inženýři mohou pracovat ve svém oblíbeném IDE a díky pravidelným pull requestům mít přehled o tom, na čem pracují jejich kolegové. 

Díky funkci zero copy clone je navíc jednoduché vytvářet development a testovací prostředí bez nutnosti data kopírovat.  

Co Vás ještě čeká?

Jak migrace do cloudu pomohla:

  • data science
  • data governance
  • byznysu.

KATEGORIE