Zpracování reportů z několika hodin na několik sekund

Bezpečnost dat na prvním místě

Zpracovávat data pro banku podléhá několika zásadním požadavkům: Obrovský důraz je kladen na zabezpečení dat, jelikož banky pracují s daty, která jsou velice citlivá. My si toho jsme vědomi, proto jsme při budování řešení pro Tatra banku věnovali kapitole bezpečnosti 70 % z celkového času. Systém, který jsme společně s Tatra bankou postavili, pracuje s historií toku peněz za více než 20 let. Z tohoto důvodu jsme nastavili nejvyšší úroveň zabezpečení, která byla v rámci prostředí Cloudera možná.

Spolupráce s technologicky zdatným týmem

Tatra banka se rozhodla pro změnu systému, protože jejich regulátor kladl nové požadavky na uložení a dostupnost informací vycházejících z transakčních dat. To znamená držet v databázi data z transakcí za téměř 22 let. Jejich stávající databáze pro takto veliké množství dat nebyla vhodná, a to hlavně z ekonomických důvodů. Tatra banka je jedna z bank, která zaměstnává technologicky velmi zdatné specialisty, kteří sledují trendy a ví, co se děje v oboru. Implementace nového systému proto probíhala při společné diskuzi.

Společně s Tatra bankou jsme vybudovali plně zabezpečený systém zpracovávající transakční historii delší než 20 let.

Školení pro tým klienta

Klient si zvolil technologie z Hadoop ekosystému, který velice dobře známe. Jako jedni z mála zkušených dodavatelů těchto řešení na našem trhu jsme byli pozváni ke spolupráci. Na setkání jsme vysvětlili naši filozofii a přístup při výstavbě těchto systémů. Přesvědčili jsme také kolegy z Tatra banky k některým změnám v architektuře dat, které jim do budoucna umožní větší flexibilitu. Systém jsme zaváděli formou mentoringu, kdy jsme učili přímo klienta, jak vše nainstalovat a nakonfigurovat. Celkem jsme v rámci projektu proškolili 42 osob.

„Školení pro Tatra banku se velice vydařilo. Pochválit musím především datový a IT tým klienta, který se v oboru vyzná, proto byla radost je školit.“ Johnson Darkwah

Z několika hodin na pár vteřin

Nové řešení jsme propojili s existujícím reportingem, tudíž odběratelé reportů prakticky nepocítili změnu co se týče formátu. Nyní je část reportů podstatně rychlejší.

„Při části reportů, které jsme migrovali z Oracle DWH na Apache Impala, evidujeme zrychlení ve vykonání dotazů z původních několika minut na pár vteřin, což zlepšuje user experience,“ sděluje Filip Pafčo z Tatra banky.

„Avšak při ad hoc reportech, kde je potřeba provést analýzu nad velkou historií dat, může být zrychlení podle složitosti dotazu z několika hodin nad Oracle DWH na několik sekund, případně minut, nad Apache Impala,“ doplňuje Jana Šipická.

Zvýšení rychlosti tak umožnilo vyšší produktivitu otevřelo nové možnosti analýzy a práce s daty.