Üzenetsorok és streamfeldolgozás

  • Modul
  • 8 Egység
Kezdő
Developer
Student
Azure

A rendelkezésre álló adatmennyiség növekedése a feldolgozandó valós idejű adatok folyamatos streamjeinek növekedéséhez vezetett. Megismerheti a valós idejű adatstreamek felhasználására és feldolgozására szolgáló különböző rendszereket és technikákat.

Tanulási célkitűzések

Ebben a modulban a következőkről lesz szó:

  • Egy üzenetsor meghatározása és egy alapvető architektúra átismétlése
  • Egy üzenetsor jellemzőinek átismétlése, valamint az előnyeinek és hátrányainak bemutatása
  • Az Apache Kafka alapvető architektúrájának ismertetése
  • A témakörök és a partíciók szerepköreinek, valamint a skálázhatóság és a hibatűrés eléréséhez vezető út megtárgyalása
  • A streamfeldolgozó rendszerek általános követelményeinek megtárgyalása
  • A streamfeldolgozás fejlődésének átismétlése
  • Az Apache Samza alapvető összetevőinek ismertetése
  • Annak ismertetése, hogy az Apache Samza hogyan éri el az állapotalapú streamfeldolgozást
  • A Lambda és a Kappa architektúra közötti különbségek megtárgyalása
  • Az üzenetsorok és a streamfeldolgozás bevezetését megalapozó motiváció megtárgyalása a LinkedInen alapuló használati esetnél

Partnereink: Dr. Majd Sakr és a Carnegie Mellon University.

Előfeltételek

  • A felhőalapú számítástechnika, a felhőszolgáltatás-modellek és felhőszolgáltatók fogalmának ismerete
  • A felhőalapú számítást lehetővé tevő technológiák megismerése
  • Megtudhatja, hogy a felhőszolgáltatók hogyan fizetnek és számláznak a felhőhasználatért
  • Megtudhatja, mik azok az adatközpontok, és hogy mire valók
  • Megtudhatja, hogyan lehet az adatközpontokat beállítani, üzemeltetni és kiépíteni
  • Megtudhatja, hogyan lehet a felhőerőforrásokat kiépíteni és mérni
  • A virtualizálás fogalmának ismerete
  • A különböző virtualizációs típusok ismerete
  • A CPU-virtualizálás ismerete
  • A memória virtualizálásának ismerete
  • Az I/O-virtualizálás ismerete
  • A különböző adattípusok és azok tárolásának ismerete
  • Az elosztott fájlrendszerek és azok működésének ismerete
  • A NoSQL-adatbázisok, az objektumtárolás és ezek működésének ismerete
  • Annak ismerete, hogy mit jelent az elosztott programozás, illetve hogy miért hasznos a felhőben
  • A MapReduce és annak ismertetése, hogy a MapReduce hogyan teszi lehetővé a big data-számításokat
  • A Spark ismerete, valamint a Spark és a MapReduce közötti különbségek ismerete
  • A GraphLab ismerete, valamint a Spark, a MapReduce és a GraphLab közötti különbségek ismerete