Streaming ETL with Spark Declarative Pipelines in Apache Spark 4.1

Mamy już oficjalne wydanie Spark Declarative Pipelines (SDP) w najnowszej wersji Apache Spark 4.1!

Podczas nadchodzÄ…cego spotkania przyjrzymy siÄ™ przetwarzaniu strumieniowemu danych w SDP (streaming ETL / streaming data processing pipelines).

Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines:

1. Zbudujesz i uruchomisz prostÄ… aplikacjÄ™ ETL do przetwarzania danych strumieniowo
2. Użyjesz SQL i Python (zgodnie z wÅ‚asnymi upodobaniami)
3. Wczytasz dane z lokalnych plików na Twoim dysku przyrostowo
4. (opcjonalnie) Uruchomisz Apache Kafka i zbudujesz bardziej wyrafinowanÄ… aplikacjÄ™ ETL

Pomysł dla odważnych: Jeśli chciał(a)byś całość kodować u Ciebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania. Ty prezentujesz, ja opowiadam. Brzmi ciekawie!

W razie pytaÅ„, sugestii lub chcesz pomóc, skontaktuj siÄ™ ze mnÄ… na jacek@japila.pl. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!