Poisťovne

Multi-speed ODS

Operational Data Store s near real-time prenosom dát pre ČSOB Poisťovňu - analýza, vypracovanie architektúry a technických dokumentov, vytvorenie konektorov, dodávka microbatchového mechanizmu spracovania dát a implementácia celého riešenia ODS napojeného na viaceré zdrojové core systémy ČSOB Poisťovne. Vytvorenie vrstvy webových služieb nad ODS pre poskytovanie dát koncovým systémom. Následná údržba a rozvoj riešenia.

Predmetom dodávky bola realizácia riešenia synchronizácie a transformácie dát z viacerých zdrojových systémov ČSOB Poisťovne do nového jednotného ODS.

Predmetom projektu bolo:

Dodanie triggrov a source connectorov zabezpečujúcich real-time prenos odchytených zmien dát na zdroji pre informačné systémy ČSOB Poisťovne prevádzkované na DB platformách Sybase ASE, Sybase IQ, Oracle 19c a MS SQL 2019.
Konfigurácia JDBC Sink connectorov pre zápis údajov do cieľových štruktúr MS SQL databázy nového ODS.
Dodanie konfigurovateľného mechanizmu microbatchového spracovania dát.
Vytvorenie mechanizmu na iniciálne full-load naplnenie synchronizovaných tabuliek.
Vytvorenie mechanizmu na prenos, transformáciu a konsolidáciu inkrementálnych zmien aplikačných dát a číselníkov.
Inštalácia a konfigurácia prevádzkového Apache Kafka clustera vrátane nastavenia nástrojov na prevádzkový monitoring (Prometheus, Grafana).
Dodanie vrstvy REST webových služieb na poskytovanie dát z ODS pre koncové systémy poisťovne - Autorizovaná Klientská zóna.

V rámci projektu sa podarilo:

1. Vybudovať platformu pre online a near-real time synchronizáciu, transformáciu a konsolidáciu dát z viacerých zdrojových systémov poisťovne do jedného nového ODS prostredníctvom Apache Kafka a microbatch spracovania dát.

Vzhľadom na potrebu efektívneho narábania s výpočtovými zdrojmi a licenčnými nákladmi na prevádzku bol využitý pokrokový technologický koncept Multi-speed ODS, ktorý efektívne rozdeľuje výpočtovú záťaž medzi procesy:

prenášané cez Apache Kafka (real -time rýchlosť prenosu, ale zároveň vzhľadom na transformácie vysoký HW a licenčný CPU náklad),
microbatch processing na strane cieľového stroja ODS (near-real-time rýchlosť prenosu, ale zároveň výrazne nižšie licenčné a HW náklady).

Týmto spôsobom boli naplnené biznis potreby poisťovne a zároveň boli optimálne vynaložené finančné prostriedky na potrebné licencie komerčných softvérov a prevádzkový hardvér.

2. Vytvoriť konsolidovaný zdroj dát v ich prezentovateľnej podobe pre používateľov koncových systémov - Autorizovanej klientskej zóny.