Azure HDInsight information

Den här artikeln innehåller information om de Azure HDInsight uppdateringarna. Information om tidigare versioner finns i HDInsight Release Notes Archive.

Sammanfattning

Azure HDInsight är en av de mest populära tjänsterna bland företagskunder för analys med öppen källkod i Azure.

Om du vill prenumerera på versionerna kan du titta på versioner på den här GitHub lagringsplatsen.

Utgivningsdatum: 2021-07-27

Den här versionen gäller för både HDInsight 3.6 och HDInsight 4.0. HDInsight-versionen görs tillgänglig för alla regioner under flera dagar. Utgivningsdatumet här anger det första datumet för regionens lansering. Om du inte ser ändringarna nedan väntar du på att versionen ska vara live i din region på flera dagar.

Os-versionerna för den här versionen är:

  • HDInsight 3.6: Ubuntu 16.04.7 LTS
  • HDInsight 4.0: Ubuntu 18.04.5 LTS

Nya funktioner

Azure HDInsight för begränsad offentlig anslutning är allmänt tillgängligt den 15 oktober 2021

Azure HDInsight stöder nu begränsad offentlig anslutning i alla regioner. Nedan visas några av de viktigaste funktionerna:

  • Möjlighet att omvända resursprovidern till klusterkommunikationen så att den är utgående från klustret till resursprovidern
  • Stöd för att ta med dina Private Link-aktiverade resurser (t.ex. lagring, SQL, nyckelvalv) för att HDinsight-kluster ska få åtkomst till resurserna endast via ett privat nätverk
  • Inga offentliga IP-adresser har etablerats med resurser

Genom att använda den här nya funktionen kan du även hoppa över de inkommande NSG-tjänsttaggreglerna (Network Security Group) för HDInsight-hanterings-IP-adresser. Läs mer om att begränsa offentliga anslutningar

Nu kan du använda privata slutpunkter för att ansluta till dina HDInsight-kluster via privat länk.Private Link kan användas i scenarier mellan virtuella nätverk där VNET-peering inte är tillgängligt eller aktiverat.

Azure Private Link kan du komma åt Azure PaaS-tjänster (till exempel Azure Storage och SQL Database) och Azure-värdbaserade kundägda/partnertjänster via en privat slutpunkti ditt   virtuella nätverk.

Trafiken mellan ditt virtuella nätverk och tjänsten färdas via Microsofts stamnätverk. Det är inte längre nödvändigt att exponera tjänsten för det offentliga Internet.

Låt mer på aktivera private link. 

Ny Azure Monitor integreringsupplevelse (förhandsversion)

Den nya Integreringsupplevelsen för Azure Monitor blir förhandsversion i USA, östra och Europa, västra med den här versionen. Mer information om den nya Azure Monitor-upplevelsen finns här.

Utfasning

Basic Support HDInsight 3.6 från och med 1 juli 2021

Från och med 1 juli 2021 erbjuder Microsoft Basic Support vissa TYPER av HDInsight 3.6-kluster. Den Basic Support planen är tillgänglig fram till den 3 april 2022. Du registreras automatiskt i Basic Support 1 juli 2021. Ingen åtgärd krävs av dig för att välja. Se vår dokumentation för vilka klustertyper som ingår i Basic Support.

Vi rekommenderar inte att du skapar några nya lösningar i HDInsight 3.6, låser ändringar i befintliga 3.6-miljöer. Vi rekommenderar att du migrerar dina kluster till HDInsight 4.0. Läs mer om vad som är nytt i HDInsight 4.0.

Beteendeändringar

HDInsight Interaktiv fråga stöder endast schemabaserad autoskalning

I och med att kundscenarier blir mognare och mer skiftande har vi identifierat vissa begränsningar med Interaktiv fråga llap-belastningsbaserad autoskalning. Dessa begränsningar beror på typen av LLAP-frågedynamik, problem med framtida noggrannhet för förutsägelse av inläsning och problem i LLAP-schemaläggaren för omdistribution av uppgifter. På grund av dessa begränsningar kan användarna se att deras frågor körs långsammare i LLAP-kluster när autoskalning är aktiverat. Prestandaeffekten kan uppväga kostnadsfördelarna med autoskalning.

Från och med juli 2021 Interaktiv fråga arbetsbelastningen i HDInsight endast stöd för schemabaserad autoskalning. Du kan inte längre aktivera belastningsbaserad automatisk skalning på nya Interaktiv fråga kluster. Befintliga kluster som körs kan fortsätta att köras med de kända begränsningar som beskrivs ovan.

Microsoft rekommenderar att du flyttar till en schemabaserad autoskalning för LLAP. Du kan analysera klustrets aktuella användningsmönster via Grafana Hive-instrumentpanelen. Mer information finns i Skala Azure HDInsight kluster automatiskt.

Kommande ändringar

Följande ändringar kommer att ske i kommande versioner.

Den inbyggda LLAP-komponenten i ESP Spark-klustret tas bort

HDInsight 4.0 ESP Spark-kluster har inbyggda LLAP-komponenter som körs på båda huvudnoderna. LLAP-komponenterna i ESP Spark-klustret lades ursprungligen till för HDInsight 3.6 ESP Spark, men har inget verkligt användarfall för HDInsight 4.0 ESP Spark. I nästa version som är schemalagd i sep 2021 tar HDInsight bort den inbyggda LLAP-komponenten från HDInsight 4.0 ESP Spark-klustret. Den här ändringen hjälper till att avlasta huvudnodens arbetsbelastning och undvika förvirring mellan ESP Spark- och ESP Interactive Hive-klustertypen.

Ny region

  • USA, västra 3
  • Jio Indien, västra
  • Australien, centrala

Ändring av komponentversion

Följande komponentversion har ändrats med den här versionen:

  • ORC-version från 1.5.1 till 1.5.9

Du hittar de aktuella komponentversionerna för HDInsight 4.0 och HDInsight 3.6 i det här dokumentet.

Tillbaka porterade JIRA:er

Här är de bakåtportade Apache JIRA:erna för den här versionen:

Påverkad funktion Apache JIRA
Datum/tidsstämpel HIVE-25104
HIVE-24074
HIVE-22840
HIVE-22589
HIVE-22405
HIVE-21729
HIVE-21291
HIVE-21290
UDF HIVE-25268
HIVE-25093
HIVE-22099
HIVE-24113
HIVE-22170
HIVE-22331
ORC HIVE-21991
HIVE-21815
HIVE-21862
Tabellschema HIVE-20437
HIVE-22941
HIVE-21784
HIVE-21714
HIVE-18702
HIVE-21799
HIVE-21296
Arbetsbelastningshantering HIVE-24201
Packning HIVE-24882
HIVE-23058
HIVE-23046
Materialiserad vy HIVE-22566