RealTime DWH

Predmetom dodávky bolo:

Realizácia PoC pre online synchronizáciu dát vybranej podmnožiny tabuliek, v rámci ktorej bol

• dodaný Log-based CDC source connector pre databázu IBM informix zabezpečujúci  odchytávanie zmien vykonaných v zdrojovej databáze SIRAEL, 
• nakonfigurovaný JDBC Sink connector pre zápis údajov do MS SQL databázy DWH,
• vytvorený mechanizmus na iniciálne naplnenie synchronizovaných tabuliek využívajúci IBM Informix External Tables a TSQL Bulk Insert,
• pripravený mechanizmus zabezpečujúci spracovanie odchytených transakcií (Commit, Rollback) na strane MS SQL databázy,
• navrhnutý spôsob historizácie zmien v synchronizovaných tabuľkách v MSSQL.  

Realizácia celého riešenia online synchronizácie dát, v rámci ktorej bolo

• riešenie rozšírené na celú množinu synchronizovaných dát (viac ako 300 tabuliek), pričom množina synchronizovaných tabuliek je riadená metadátami uloženými v konfiguračných tabuľkách v MS SQL,
• definovanie a odladenie prevádzkových procesov,
• inštalácia a konfigurácia prevádzkového Apache Kafka cluster-a,
• inštalácia a nastavenie nástrojov na monitoring riešenia (Prometheus, Grafana),
• prvotná inicializácia DWH databázy na MS SQL.

V rámci projektu sa podarilo dosiahnuť:

• Vybudovať platformu pre online sychronizáciu dát prostredníctvom Apache Kafka.
• Napojiť DWH priamo na produkčnú databázu core systému SIRAEL bez potreby vytvárania dennej kópie zdrojovej databázy na IBM Informix.
• Umožniť tvorbu online reportingu na strane DWH a tým znížiť prevádzkovú záťaž core systému.
• Zabezpečiť dôveryhodný zdroj dát obsahujúci informácie o všetkých zmenách vykonaných v core systéme SIRAEL a tým umožniť implementáciu optimalizovaných dátových púmp spracovávajúcich iba modifikované údaje pri časovo kritických spracovaniach.