Pozyskiwanie nowych danych

Twoja firma planuje zbudować platformę danych w chmurze. W tym celu chce replikować dane z różnych źródeł – w tym z aplikacji natywnych dla chmury oraz lokalnych baz danych SQL. Zespół data science poprosił o kopię danych w chmurze do celów analitycznych. Po umieszczeniu danych w chmurze firma chce mieć możliwość korzystania z nich bezpośrednio z serwującego hurtowni danych. Dopuszczalne jest opóźnienie danych do 24 godzin, jeśli pozwala to obniżyć koszty.

Jak zaprojektujesz warstwę pozyskiwania danych (ingestion) na swojej platformie, aby spełnić wymagania firmy?