Streamelési adatok feldolgozása Azure Databricks streameléssel

Haladó
Adatmérnök
Databricks

Megtudhatja, hogyan segít a Structured Streaming a streamelési adatok valós idejű feldolgozásában, és hogyan összesíthet adatokat időablakok alatt.

Tanulási célkitűzések

Ebben a modulban az alábbiakkal foglalkozunk:

  • Megismeri a strukturált streamelés főbb funkcióit és használati funkcióit.
  • Adatokat streamelhet egy fájlból, és kiíratja őket egy elosztott fájlrendszerbe.
  • Csúszóablakok használata adattömbök összesítéséhez az összes adat helyett.
  • A vízjelezéssel el lehet dobni az elavult régi adatokat, amelyeken nem kell helyet tartania.
  • Csatlakozás Event Hubs és írási streamek íráshoz.

Előfeltételek

Nincsenek