HDInsight-fürtök beállítása egyéni Ambari-adatbázissal

  • Cikk

Az Apache Ambari leegyszerűsíti az Apache Hadoop-fürtök felügyeletét és monitorozását. Az Ambari könnyen használható webes felhasználói felületet és REST API-t biztosít. Az Ambari megtalálható a HDInsight-fürtökben, és a fürt figyelésére és a konfiguráció módosítására szolgál.

A normál fürtlétrehozás során, más cikkekben, például a FÜRTÖK BEÁLLÍTÁSA a HDInsightban, az Ambari egy HDInsight által felügyelt S0 Azure SQL Database-ben van üzembe helyezve, és nem érhető el a felhasználók számára.

Az egyéni Ambari DB funkció lehetővé teszi egy új fürt üzembe helyezését és az Ambari beállítását egy ön által felügyelt külső adatbázisban. Az üzembe helyezés egy Azure Resource Manager-sablonnal történik. Ez a funkció a következő előnyökkel jár:

  • Testreszabás – Kiválaszthatja az adatbázis méretét és feldolgozási kapacitását. Ha nagy méretű fürtök dolgoznak fel intenzív számítási feladatokat, az alacsonyabb specifikációkkal rendelkező Ambari-adatbázisok szűk keresztmetszetet jelenthetnek a felügyeleti műveletekhez.
  • Rugalmasság – igény szerint skálázhatja az adatbázist a követelményeknek megfelelően.
  • Vezérlés – az adatbázis biztonsági mentéseit és biztonságát úgy kezelheti, hogy megfeleljen a szervezet követelményeinek.

A cikk további része a következő szempontokat tárgyalja:

  • az egyéni Ambari DB-funkció használatára vonatkozó követelmények
  • a HDInsight-fürtnek az Apache Ambarihoz készült saját külső adatbázis használatával történő kiépítéséhez szükséges lépések

Egyéni Ambari DB-követelmények

Az egyéni Ambari DB-t az összes fürttípussal és verzióval üzembe helyezheti. Több fürt nem használhatja ugyanazt az Ambari-adatbázist.

Az egyéni Ambari DB-nek a következő egyéb követelményei vannak:

  • Az adatbázis neve nem tartalmazhat kötőjeleket vagy szóközöket
  • Rendelkeznie kell egy meglévő Azure SQL DB-kiszolgálóval és -adatbázissal.
  • Az Ambari beállításához megadott adatbázisnak üresnek kell lennie. Az alapértelmezett dbo-sémában nem lehetnek táblák.
  • Az adatbázishoz való csatlakozáshoz használt felhasználónak rendelkeznie kell Standard kiadás LECT, CREATE TABLE, IN Standard kiadás RT, UPDATE, DELETE, ALTER ON SCHEMA és REFERENCES ON SCHEMA engedélyekkel az adatbázison.
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
  • Kapcsolja be az Azure-szolgáltatások hozzáférésének engedélyezése azon a kiszolgálón, ahol az Ambarit üzemelteti.
  • A HDInsight szolgáltatásból származó felügyeleti IP-címeket engedélyezni kell a tűzfalszabályban. A kiszolgálószintű tűzfalszabályhoz hozzáadandó IP-címek listájáért tekintse meg a HDInsight felügyeleti IP-címeit .

Amikor az Apache Ambari DB-t külső adatbázisban üzemelteti, jegyezze meg a következő szempontokat:

  • Ön a felelős az Ambarit tartalmazó Azure SQL DB többletköltségeiért.
  • Rendszeresen biztonsági másolatot készít az egyéni Ambari DB-ről. Az Azure SQL Database automatikusan készít biztonsági mentéseket, de a biztonsági mentések megőrzési időkerete változó. További információ: További információ az SQL Database automatikus biztonsági mentéseiről.
  • Ne módosítsa az egyéni Ambari DB-jelszót, miután a HDInsight-fürt elérte a Futó állapotot. Ez nem támogatott.

Fürtök üzembe helyezése egyéni Ambari-adatbázissal

Ha saját külső Ambari-adatbázist használó HDInsight-fürtöt szeretne létrehozni, használja az egyéni Ambari DB gyorsútmutató-sablont.

A paraméterek azuredeploy.parameters.json szerkesztésével adja meg az új fürtre és az Ambarit tartalmazó adatbázisra vonatkozó információkat.

Az üzembe helyezést az Azure CLI használatával kezdheti el. Cserélje le <RESOURCEGROUPNAME> azt az erőforráscsoportot, amelyben üzembe szeretné helyezni a fürtöt.

az deployment group create --name HDInsightAmbariDBDeployment \
    --resource-group <RESOURCEGROUPNAME> \
    --template-file azuredeploy.json \
    --parameters azuredeploy.parameters.json

Figyelmeztetés

Használja az alábbi ajánlott SQL DB-t és headnode virtuális gépet a HDInsight-fürthöz. Ne használja az alapértelmezett Ambari DB-t (S0) semmilyen éles környezethez.

Adatbázis- és átjárócsomópont méretezése

Az alábbi táblázat útmutatást nyújt arra vonatkozóan, hogy melyik Azure SQL DB-szintet válassza ki a HDInsight-fürt mérete alapján.

Feldolgozó csomópontok száma Szükséges adatbázisszint Szükséges átjárócsomópont virtuális gép
<=4 S0 4 mag/28 GB RAM vagy újabb
>4 &> <=8 S1 4 mag/28 GB RAM vagy újabb
>8 &> <=16 S2 4 mag/28 GB RAM vagy újabb
>16 &> <=32 S3 8 mag/56 GB RAM vagy újabb
>32 &> <=64 S4 8 mag/56 GB RAM vagy újabb
>64 &> <=128 P2 16 mag/112 GB RAM vagy újabb
>128 Contact Support Contact Support

További lépések