Elosztott számítástechnika a felhőben: MapReduce
A MapReduce áttörést jelentett a big data típusú adatok feldolgozása terén, amely széles körben elterjedtté vált, és jelentős fejlődésen ment keresztül. Ismerkedjen meg a MapReduce működésével.
Tanulási célkitűzések
Ebben a modulban a következőkről lesz szó:
- A MapReduce alapjául szolgáló elosztott programozási modell azonosítása
- Hogyan tudja kihasználni a MapReduce az adatok párhuzamosságát?
- A leképezési és csökkentési feladatok bemenetének és kimenetének azonosítása
- A tevékenységek rugalmasságának definiálása, valamint a feladatok hatékony ütemezésében betöltött szerepük megjelölése
- A Hadoop MapReduce leképezési és csökkentési feladatütemezési stratégiáinak magyarázata
- A YARN-architektúra elemeinek felsorolása, és az egyes elemek szerepének azonosítása
- Egy MapReduce-feladat életciklusának összegzése a YARN-ban
- A YARN- és az előző Hadoop MapReduce-architektúrák és -erőforráskiosztók hasonlóságainak és különbségeinek felsorolása
- Milyen különbségek vannak a YARN és az előző Hadoop MapReduce feladat-, illetve tevékenységütemezése között?
Partnereink: Dr. Majd Sakr és a Carnegie Mellon University.
Előfeltételek
- A felhőalapú számítástechnika, a felhőszolgáltatás-modellek és felhőszolgáltatók fogalmának ismerete
- A felhőalapú számítást lehetővé tevő technológiák megismerése
- Megtudhatja, hogy a felhőszolgáltatók hogyan fizetnek és számláznak a felhőhasználatért
- Megtudhatja, mik azok az adatközpontok, és hogy mire valók
- Megtudhatja, hogyan lehet az adatközpontokat beállítani, üzemeltetni és kiépíteni
- Megtudhatja, hogyan lehet a felhőerőforrásokat kiépíteni és mérni
- A virtualizálás fogalmának ismerete
- A különböző virtualizációs típusok ismerete
- A CPU-virtualizálás ismerete
- A memória virtualizálásának ismerete
- Az I/O-virtualizálás ismerete
- A különböző adattípusok és azok tárolásának ismerete
- Az elosztott fájlrendszerek és azok működésének ismerete
- A NoSQL-adatbázisok, az objektumtárolás és ezek működésének ismerete
- Annak ismerete, hogy mit jelent az elosztott programozás, illetve hogy miért hasznos a felhőben