Az adatvezérelt döntéshozatal ígérete az elmúlt évtizedben alapjaiban formálta át a vállalati architektúrákat. Kezdetben elegendő volt, ha egy szakember képes volt SQL-lekérdezéseket írni és ETL-folyamatokat (Extract, Transform, Load) menedzselni egy statikus adattárházban. Azonban a felhőalapú technológiák térnyerése, a valós idejű adatfeldolgozás iránti igény és a gépi tanulási modellek ipari méretű alkalmazása egy új típusú szakembert hívott életre: a „Full-Stack” data engineer (adatmérnök) szerepét. Ez a szerepkör már nem csupán az adatok mozgatásáról szól, hanem egy olyan hibrid terület, amely a szoftverfejlesztés, a rendszermérnöki ismeretek és az analitikai szemlélet metszéspontjában helyezkedik el.

A modern data engineer felelőssége kiterjed az adat teljes…

Főkép forrása: Unsplash