Azure HDInsight k vydání verze

Tento článek obsahuje informace o nejnovějších aktualizacích Azure HDInsight verzí. Informace o starších verzích najdete v archivu zpráv k vydání verze HDInsight.

Souhrn

Azure HDInsight je jednou z nejoblíbenějších služeb mezi podnikovými zákazníky pro open source analýzy v Azure.

Pokud se chcete přihlásit k odběru poznámek k verzi, podívejte se na vydání tohoto GitHub úložiště.

Datum vydání: 27. 7. 2021

Tato verze platí pro HDInsight 3.6 i HDInsight 4.0. Verze HDInsight je dostupná pro všechny oblasti během několika dnů. Datum vydání zde uvádí datum vydání první oblasti. Pokud se níže uvedené změny nezjeví, počkejte na to, až se verze během několika dnů zobrazí ve vaší oblasti.

Verze operačního systému pro tuto verzi:

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

Nové funkce

Azure HDInsight 15. října 2021 je obecně dostupná podpora omezeného veřejného připojení.

Azure HDInsight teď podporuje omezené veřejné připojení ve všech oblastech. Níže jsou uvedeny některé klíčové body této funkce:

  • Schopnost obrátit poskytovatele prostředků na komunikaci clusteru tak, aby byla odchozí z clusteru do poskytovatele prostředků
  • Podpora přenosu vlastních prostředků s podporou Private Link (např. úložiště, SQL, trezor klíčů) pro cluster HDInsight pro přístup k prostředkům pouze přes privátní síť
  • Prostředky nejsou zřízené žádné veřejné IP adresy.

Pomocí této nové funkce můžete také přeskočit pravidla značek služeb příchozí skupiny zabezpečení sítě (NSG) pro IP adresy správy služby HDInsight. Další informace o omezení veřejného připojení

Privátní koncové body teď můžete použít pro připojení ke clusterům HDInsight přes privátní propojení.Privátní propojení je možné využít ve scénářích mezi virtuálními sítěmi, kde není k dispozici nebo povolen partnerský vztah virtuálních sítí.

Azure Private Link umožňuje přístup ke službám Azure PaaS (například Azure Storage aSQL Database) a partnerským službám hostovaným v Azure přes privátní koncový bod ve vaší virtuální   síti.

Provoz mezi vaší virtuální sítí a službou je v páteřní síti Microsoftu. Vystavení služby veřejnému internetu už není nutné.

Další informace najdete v tématu povolení služby Private Link.

Nové Azure Monitor integrace s aplikacemi (Preview)

Nové prostředí integrace služby Azure Monitor bude ve verzi USA – východ a Západní Evropa v této verzi. Další podrobnosti o novém prostředí služby Azure Monitor najdete tady.

Vyřazení

podpora Basic pro HDInsight 3.6 od 1. července 2021

Od 1. července 2021 Microsoft nabízí podpora Basic určité typy clusterů HDInsight 3.6. Plán podpora Basic bude k dispozici do 3. dubna 2022. Od 1. července 2021 podpora Basic automaticky zaregistrovaná ve společnosti . K přihlášení se nevyžaduje žádná akce. Informace o tom, které typy clusterů jsou zahrnuté v rámci podpora Basic.

Nedoporučujeme v HDInsightu 3.6 žádná nová řešení, u stávajících prostředí 3.6 blokovat změny. Doporučujeme migrovat clustery do služby HDInsight 4.0. Přečtěte si další informace o novinek ve službě HDInsight 4.0.

Změny chování

HdInsight Interactive Query podporuje pouze automatické škálování na základě plánu.

S tím, jak se zákaznické scénáře rozmanitější a rozmanitější, jsme identifikovali určitá omezení automatického škálování založeného na Interactive Query zatížení (LLAP). Tato omezení jsou způsobená povahou dynamics dotazů LLAP, budoucími problémy s přesností předpovědi zatížení a problémy při redistribuci úkolů plánovače LLAP. Kvůli těmto omezením se uživatelům může při povolení automatického škálování zobrazit pomalejší dotazy na clusterech LLAP. Vliv na výkon může převyšovat nákladové výhody automatického škálování.

Od července 2021 podporuje Interactive Query v HDInsight pouze automatické škálování na základě plánu. Automatické škálování na základě zatížení už na nových clusterech Interactive Query clusteru. Stávající spuštěné clustery mohou i nadále běžet se známými omezeními popsanými výše.

Microsoft doporučuje přejít na automatické škálování llap na základě plánu. Aktuální vzor využití clusteru můžete analyzovat prostřednictvím řídicího panelu Grafana Hive. Další informace najdete v tématu Automatické škálování Azure HDInsight clusterů.

Připravované změny

V nadcházejících verzích dojde k následujícím změnám.

Integrovaná komponenta LLAP v clusteru ESP Spark se odebere.

Cluster HDInsight 4.0 ESP Spark obsahuje integrované komponenty LLAP spuštěné na obou hlavní uzlech. Komponenty LLAP v clusteru ESP Spark byly původně přidány pro HDInsight 3.6 ESP Spark, ale nemá žádný skutečný uživatelský případ pro HDInsight 4.0 ESP Spark. V další verzi naplánované v září 2021 HDInsight odebere integrovanou komponentu LLAP z clusteru HDInsight 4.0 ESP Spark. Tato změna vám pomůže přesmezit zatížení uzlu na hlavní uzel a vyhnout se nejasnostem mezi typem clusteru ESP Spark a ESP Interactive Hive.

Nová oblast

  • USA – západ 3
  • Jio India – západ
  • Austrálie – střed

Změna verze komponenty

V této verzi jsme změnili následující verzi komponenty:

  • Verze ORC od 1.5.1 do 1.5.9

Aktuální verze součástí pro HDInsight 4.0 a HDInsight 3.6 najdete v tomto dokumentu.

Back ported JIRAs

Tady jsou back-portované apache JIRA pro tuto verzi:

Ovlivněná funkce Apache JIRA
Datum / časové razítko HIVE-25104
HIVE-24074
HIVE-22840
HIVE-22589
HIVE-22405
HIVE-21729
HIVE-21291
HIVE-21290
UDF HIVE-25268
HIVE-25093
HIVE-22099
HIVE-24113
HIVE-22170
HIVE-22331
ORC HIVE-21991
HIVE-21815
HIVE-21862
Schéma tabulky HIVE-20437
HIVE-22941
PODREGISTR-21784
PODREGISTR-21714
PODREGISTR-18702
PODREGISTR-21799
PODREGISTR-21296
Správa úloh PODREGISTR-24201
Komprimační PODREGISTR-24882
PODREGISTR-23058
PODREGISTR-23046
Materializované zobrazení PODREGISTR-22566